VL-ThyNet：一个可解释的分析框架，结合了视觉基础模型和视觉-语言推理技术，用于评估CTIRADS 4分类中甲状腺结节为恶性结节的风险

《Talanta》：VL-ThyNet: An interpretable analytical framework integrating visual foundation models and vision-language reasoning for malignancy risk assessment of C-TIRADS 4 thyroid nodules

　　

摘要

准确区分良性与恶性C-TIRADS 4级别的甲状腺结节尤为重要，因为这些结节的恶性风险处于中间水平，且其超声特征具有重叠性，但这对临床决策至关重要。在此，我们提出了VL-ThyNet这一可解释的恶性风险评估分析框架。VL-ThyNet结合了DINOv2视觉基础模型和ResNet适配器，从横截面和纵截面视图共同捕捉全局语义表示和局部空间-纹理特征。同时，一个视觉-语言模型生成结构化的放射学描述符并附上置信度分数，为后续的特征融合提供可临床解释的放射学信息。消融实验评估了双视图输入、DINOv2编码器以及VLM衍生放射学特征的效果，结果表明它们的贡献因模型配置而异。在测试集上，VL-ThyNet的准确率为84.8%，AUC为0.902，优于传统的基于CNN和Transformer的模型。通过整合Grad-CAM视觉定位与结构化的VLM基础解释，VL-ThyNet提供了与临床一致的诊断证据。在读者研究中，VL-ThyNet的辅助使用提高了放射科医生的诊断准确性，并将六名放射科医生的平均图像解读时间减少了18.4%，表明其作为甲状腺结节评估的可解释且高效的辅助分析工具具有潜力。

引言

过去几十年中，医学成像技术和设备的进步显著提高了甲状腺结节的检出率^[1]。鉴于甲状腺结节中恶性的发病率较低，且许多恶性结节通常没有明显的临床症状^[2]，准确诊断恶性结节对临床医生而言非常重要。由于超声检查无创且方便，因此常被用作甲状腺结节的常规检查方法^{[3], [4]}。超声医师可以利用横截面和纵截面超声图像全面评估甲状腺病变的性质，从而指导后续的诊断和治疗决策^[5]。然而，传统的超声成像技术严重依赖于医师的个人经验，在区分良性与恶性结节以及识别病理亚型方面存在显著局限^[6]。甲状腺超声图像包含了空间、纹理、形态和仪器依赖的信息，这些信息的量化解释受到斑点噪声、对比度有限、病变边界模糊以及成像设备和采集程序差异的影响。此外，良性与恶性结节之间的信号模式重叠，使得单独分析单个超声特征时可靠性不足。先前的系统评价和荟萃分析显示，对于整体TI-RADS分类的观察者间一致性仅为中等水平，而在回声性、形状、边缘和回声焦点方面的共识仍不理想^[7]。因此，潜在的恶性征兆可能会被低估，而良性结节中的孤立可疑发现可能会被高估，从而导致反复的假阴性和假阳性评估。

为了标准化这些异质超声特征的解读，中国甲状腺成像报告和数据系统（C-TIRADS）定义了五个关键的超声特征用于恶性风险分层^{[8], [9]}。具体包括：（1）垂直方向或长宽比高的形状；（2）实性成分；（3）明显低回声表现；（4）微钙化；（5）边界不清晰或不规则或甲状腺外扩展。基于这些特征，C-TIRADS 4级别的结节进一步细分为4A、4B和4C，对应的恶性率分别为2-10%、10-50%和50-90%。鉴于这种广泛的风险范围，决定是否进行细针穿刺（FNA）等侵入性检查在临床上仍然具有挑战性^[10]。一项针对3,438个甲状腺结节的比较研究显示，在C-TIRADS分类下不必要进行FNA的比例为21.2%，而在ACR TI-RADS下为41.7%，EU-TIRADS下为58.3%^[11]。这些发现表明，即使在使用结构化的超声风险分层系统的情况下，仍有相当比例的良性结节可能接受不必要的侵入性检查。除了超声特征和结节大小外，年龄、性别和家族史等临床因素也可能影响恶性评估^{[12], [13], [14]}。因此，在决定是否进行FNA时，应同时考虑临床特征和C-TIRADS分类^[15]。这些局限性凸显了需要一种计算分析方法，该方法能够从复杂的超声信号中提取可重复的信息，整合来自多个成像视图的健康测量数据，并将异质性的成像和临床变量转化为定量的恶性风险输出。深度学习通过自动学习定量图像表示并在统一的计算框架内整合异质输入，为实现这一分析目标提供了合适的方法^[16]。

先进的神经网络能够学习复杂的空间关系并从具有挑战性的医学图像中提取可靠的表示。例如，Yang等人将深度生成建模应用于立体内镜图像的差异估计，展示了深度视觉表示在动态临床场景空间分析中的价值^{[17][18]。然而，深度视觉模型生成的潜在表示通常是隐式的，难以转化为明确的放射学证据，限制了其预测的可解释性[19], [20]。视觉-语言模型（VLM）结合了视觉编码器和大型语言模型，可以通过零样本视觉-语言推理将视觉观察转化为明确的自然语言或结构化输出[21], [22], [23], [24], [25], [26]。然而，通用VLM可能会产生语义幻觉，并且在描述医学图像中的细微病变特征方面存在困难，从而限制了其在直接临床应用中的可靠性[27]}

基于这些考虑，本研究提出了视觉-语言甲状腺网络（VL-ThyNet），这是一种用于区分C-TIRADS 4级别甲状腺结节良恶性的可解释分析框架。VL-ThyNet不仅依赖于隐式的图像嵌入，还使用DINOv2编码器和ResNet适配器将配对的横截面和纵截面超声图像转换为互补的潜在视觉表示。同时，引入了视觉-语言模型将超声观察转化为符合C-TIRADS标准的结构化放射学描述符。为了提高这些明确描述符的可靠性，将相应的置信度分数与VLM衍生的放射学标签结合，使模型在特征融合之前能够学习到基于置信度的semantic表示。通过整合潜在的成像特征、基于置信度的semantic描述符和基本临床变量，VL-ThyNet建立了用于甲状腺超声评估的信号到信息的分析工作流程，实现了准确、可解释且具有临床意义的恶性风险评估。

章节片段

图像收集和预处理

这项研究是经株洲市中心医院伦理委员会批准的一项回顾性研究（编号KY2025011-01）。由于回顾性研究的性质，免去了患者的知情同意要求。研究纳入了2018年至2024年间在株洲市中心医院被诊断为C-TIRADS 4级别甲状腺病变的323名患者。所有病例均通过组织病理学检查得到确认。其中，170名患者通过组织病理学检查确诊为恶性病变。

患者特征

表1显示了参与者的关键人口统计特征。最初收集了257名患者，并以8:2的比例随机分配到训练集和验证集。随后，又纳入了66名在不同时间进行超声检查的患者，形成了一个时间上分离的保留测试集。患者的年龄范围从18岁到78岁不等。具体来说，平均年龄和标准差为44.7 ± 11.0岁

结论

本研究提出了VL-ThyNet，这是一个专门设计用于区分C-TIRADS 4级别良性与恶性甲状腺结节的可解释分析框架。为了克服单视图感知的局限性和传统神经网络的可解释性不足，全面的评估和消融研究确定了最佳配置：结合DINOv2视觉编码器和ResNet适配器、多视图输入等

CRediT作者贡献声明

陈瑶：撰写 – 审阅与编辑，撰写 – 原始草稿，方法论，概念化。胡俊阳：研究，形式分析。陈星宇：撰写 – 原始草稿，研究，数据管理。王英奇：数据管理。谭明智：数据管理。王彤：资源获取，资金筹集，概念化。聂丽波：形式分析

利益冲突声明

作者声明他们没有已知的可能会影响本文工作的竞争性财务利益或个人关系。

数据和代码的可用性

支持本研究结果的数据可通过GitHub仓库公开获取：https://github.com/cclcck/VL-ThyNet

利益冲突声明

? 作者声明他们没有已知的可能会影响本文工作的竞争性财务利益或个人关系。

致谢

作者感谢国家自然科学基金（编号-->22574045的科学研究项目和教育部的基础与跨学科学科突破计划（编号-->JYB2025XDXM602的财政支持。

陈瑶|陈星宇|胡俊阳|谭明智|王英奇|聂丽波|王彤

湖南工业大学生物科学与医学工程学院，中国湖南株洲，412007