基于混合监督的多分支神经网络与语义感知技术，用于超声图像下的甲状腺结节诊断

《Engineering Applications of Artificial Intelligence》：Hybrid-supervised multi-branch neural network with semantic perception for thyroid nodule diagnosis using ultrasound images

　　黄庆华|陈子岩|何一辉|董晓峰中国上海同济大学机械工程学院，201800摘要全球范围内甲状腺癌的发病率持续上升，因此对甲状腺结节进行早期且可靠的诊断成为一项重要的临床任务。超声是评估甲状腺结节的首选成像手段，但人工解读仍依赖于操作者，且易受不同观察者之间的差异影响。近年来，人工智能辅助诊断在甲状腺超声图像分析方面取得了显著进展。然而，现有的许多方法仍然主要依赖图像层面的良恶性分类，缺乏具有临床结构的中间表示形式，这限制了模型的透明度和稳定性。在本研究中，我们提出了一种基于混合监督的多分支神经网络，用于超声引导下的甲状腺结节诊断。该模型在超声图像表示与恶性预测之间引入了由甲状腺影像报告和数据系统指导的语义感知作为中间层，并结合了属性级语义监督、基于响应分布的结构正则化以及最终的良恶性分类监督。多分支语义感知模块能够学习具有临床意义的属性，包括成分、回声特性、形状、边缘特征以及钙化情况，而全局诊断分支则能捕捉到预定义属性之外的其他图像层面诊断线索。此外，还有一个由原型引导的语义对齐与融合模块，用于整合结构化的语义表示与全局诊断表示。实验结果表明，与单一任务分类模型、通用多任务模型以及针对甲状腺的专用诊断框架相比，所提出的模型在整体诊断性能上更具竞争力。本研究为基于超声的甲状腺结节诊断提供了一种具有临床结构的人工智能方法。引言全球范围内甲状腺癌的发病率持续上升，因此对甲状腺结节进行早期且可靠的诊断成为一项重要的临床任务（Cheng等人，2021）。虽然分化型甲状腺癌通常进展缓慢，且对治疗反应较好（Haugen等人，2015），但早期发现对于合理的风险分层、及时处理以及减少不必要的侵入性手术仍然至关重要。此外，某些与甲状腺相关的疾病可能涉及复杂的系统性和免疫相关背景（Peng等人，2024），这进一步凸显了需要可靠、高灵敏度且易于临床理解的诊断工具。由于具有高分辨率、成本效益高、能够实现实时成像以及不存在电离辐射等优势，超声仍然是评估甲状腺结节的首选成像手段（Grani等人，2024）。为了规范图像解读，临床医生广泛采用甲状腺影像报告和数据系统，该系统为评估不同的超声特征提供了结构化的评分方案（Grani等人，2019）。如图1所示，TI-RADS将甲状腺结节评估分解为多个具有临床意义的属性，包括成分、回声特性、形状、边缘特征以及钙化情况，并为这些属性分配相应的分数，以帮助判断恶性风险。然而，人工超声解读仍然高度依赖于操作者，耗时较长，且在不同观察者之间容易出现差异，尤其是在图像表现较为微妙、不均匀或模糊的情况下。近年来，基于深度学习的计算机辅助诊断系统在甲状腺结节分析方面展现了良好的性能（Park等人，2021；Yoon等人，2021；Ye等人，2020）。随着这类系统被越来越多地应用于智能医疗基础设施中，模型的稳定性、可解释性以及可信赖的部署方式已成为确保其安全用于临床的重要要求（Zhao等人，2023）。目前大多数深度学习模型都是在端到端的确定性分类框架下进行训练的，在这种框架中，超声图像直接被映射为良性或恶性标签。尽管这类方法在内部数据集上能够取得不错的性能，但它们难以揭示预测结果背后的中间临床证据。此外，甲状腺超声图像往往包含复杂且模糊的视觉特征，如边界不清、回声特性不均、后方声学变化以及细微的钙化现象。在严格的硬标签监督下，将这些复杂的超声特征映射为单一的全局表示形式，可能会导致语义纠缠、过拟合，以及在复杂病例中稳定性下降。另外，黑箱模型有限的语义透明度也使得临床医生难以追溯那些有助于恶性预测的图像证据。为了在自动化、可解释性和稳定性之间取得更好的平衡，最近的一些研究探索了将TI-RADS特征预测作为辅助监督的多任务学习框架。这些方法代表了向具有临床意义的人工智能诊断迈出的重要一步。然而，现有的许多方法仍然将TI-RADS属性视为平行的辅助输出，未能充分建模不同语义属性之间的结构关系，或是语义特征与全局诊断表示之间的对应关系。在临床实践中，经验丰富的放射科医生通常会遵循一种结构化的诊断流程：他们首先评估局部超声特征，如成分、回声特性、形状、边缘特征以及钙化情况，然后再将这些多维度的线索综合起来，形成整体的诊断意见。这一临床工作流程表明，一个可解释的诊断模型不仅应能够预测TI-RADS属性，还应在结构化的表示空间中对这些属性进行组织和整合。为了解决这些局限性，我们提出了CogPerNet，这是一种具有语义感知功能的混合监督多分支神经网络，用于基于超声图像进行甲状腺结节诊断。在本研究中，混合监督学习指的是同时运用明确的TI-RADS语义监督、基于响应分布的结构正则化以及最终的恶性分类监督。受放射科医生结构化诊断流程的启发，CogPerNet在超声图像表示与恶性预测之间引入了由TI-RADS指导的语义感知作为中间层，而非将甲状腺结节诊断视为纯粹的确定性图像层面分类任务。本研究的主要贡献如下：1）我们提出了一种由TI-RADS指导的混合监督诊断框架，该框架在超声图像表示与恶性预测之间引入了结构化的语义感知作为中间层，从而提升了诊断过程的透明度。2）我们设计了一个多分支认知感知模块，用于学习多种TI-RADS语义属性以及补充的全局诊断线索。此外，还引入了基于响应分布的结构正则化约束，以避免不同感知分支之间的表示同质化和语义纠缠。3）我们开发了一个由原型引导的语义对齐与融合模块，用于在共享的原型空间中对不同的TI-RADS语义特征和全局诊断表示进行对齐与整合。结合层次渐进优化策略，该框架旨在实现更为连贯的特征融合以及分支级的语义透明度。章节节选甲状腺结节诊断早期针对甲状腺结节的计算机辅助诊断研究主要依靠手工设计的特征、放射组学数据以及临床先验知识来辅助良恶性分类。例如，Shi等人将标准化的临床词汇表嵌入到一个基于知识引导的生成-分类框架中，其中利用辅助的分类器生成对抗网络来合成甲状腺超声图像，以提高分类的稳定性（Shi等人，2020）。Zhou等人进一步...方法本节介绍了CogPerNet，这是一种具有语义感知功能的混合监督多分支神经网络，用于基于超声图像进行甲状腺结节诊断（见图2）。给定一幅超声图像，该框架旨在在一个统一的诊断模型中，同时学习具有临床结构的TI-RADS语义属性以及图像层面的恶性信息。在该框架中，混合监督是通过三个相互关联的学习目标来实现的：明确的TI-RADS语义监督、基于...数据集我们从中国一家三级医疗机构收集了1173例甲状腺结节病例，其中包括524例良性结节和649例恶性结节。这项回顾性研究已经获得了机构审查委员会的批准，并且按照机构要求获得了知情同意。所有患者信息在分析前都经过了匿名处理。所有结节都是在细针穿刺活检或手术之后通过病理检查确认的。放射科医生还对这些结节进行了TI-RADS属性的标注，包括成分、...比较实验与外部验证为了评估CogPerNet的诊断性能，我们将其与三组具有代表性的方法进行了比较。第一组包括单一任务的图像分类模型，如EfficientNet-V2（Tan和Le，2021）、ConvNeXt-V2（Woo等人，2023）、DeiTIII（Touvron等人，2022）、LeViT（Graham等人，2021）、Swin Transformer V2（Liu等人，2022）以及MLP-Mixer（Tolstikhin等人，2021）。这些方法直接从超声图像中预测良性或恶性标签，可作为...讨论CogPerNet的设计目的在于连接图像层面的恶性预测与具有临床结构的TI-RADS解读。它的贡献在于构建了一个基于临床实践的语义感知框架，该框架将TI-RADS指导下的属性学习、分支级的结构正则化以及由原型引导的语义-全局对齐整合到了一个统一的甲状腺超声诊断模型中。与单一任务分类模型相比，所提出的框架在性能上更具竞争力，且各方面的表现更为均衡...结论在本研究中，我们提出了CogPerNet，这是一种具有语义感知功能的混合监督多分支框架，用于基于超声图像进行甲状腺结节诊断。该框架引入了由TI-RADS指导的语义感知作为中间表示层，同时还整合了明确的属性监督、基于响应分布的结构正则化以及恶性分类监督。MCPM模块能够从多个与TI-RADS相关的分支中学习出结构化的语义表示，以及...CRediT作者贡献声明黄庆华：资金获取、方法设计、项目管理、监督指导、初稿撰写、审稿与编辑。陈子岩：数据收集、方法设计、验证分析、结果可视化、审稿与编辑。何一辉：概念构思、方法设计、项目管理、验证分析、结果可视化、初稿撰写。董晓峰：数据整理、资源协调、验证分析。利益冲突声明作者声明自己没有已知的、可能影响本文研究结果的财务利益或个人关系。致谢本研究得到了中国国家自然科学基金（编号：U25A20448）、广西科技重大专项（编号：GuikeAA23073013）、广州市科技计划项目（编号：2025B03J0125）以及中国国家自然科学基金天元数学基金（资助编号：12326609）的支持。