基于对比学习的肺结节恶性预测双分支互补视觉框架

《Neurocomputing》：A dual-branch complementary visual framework for pulmonary nodule malignancy prediction via contrastive learning

　　

摘要

肺结节恶性预测的准确性对于早期肺癌诊断至关重要。然而，对于外观高度相似且弱线索的疑难结节，纯视觉模型缺乏临床语义监督，容易产生不稳定的预测。近期的视觉-语言方法引入文本先验并利用对比语言-图像预训练来改进结节分类，但全局对齐目标可能使表示偏向语义一致性，从而降低对细微形态变化的敏感性。此外，当文本描述粒度粗、样本间高度同质或存在噪声时，语义约束可能引发负迁移和性能不稳定。为解决这些问题，我们提出了一种用于肺结节恶性预测的双分支互补视觉框架，基于对比学习。该框架通过两个互补分支显式建模细微形态和全局语义。形态分支强调精细纹理，而视觉-语义分支学习具有语义基础的全球特征。我们进一步引入了一种语义校准模块，通过特征级调制和注意力驱动的自适应门控检索来整合互补特征。同时，在语言-图像对齐过程中，我们纳入样本级不确定性估计，以自适应地重新加权不可靠的文本线索并缓解文本置信度问题。在公开的LIDC-IDRI数据集和700例回顾性临床队列上的实验表明，与纯视觉基线和多模态方法相比，分类性能有所提升，表明所提框架在回顾性评估中的有效性。

引言

肺癌是全球癌症相关死亡的主要原因之一[1]，因此肺结节恶性风险分层是迈向早期诊断的临床关键步骤。随着低剂量计算机断层扫描（CT）筛查的广泛采用，检测到的肺结节数量显著增加[2]。然而，在众多筛查发现中区分良性和恶性病变在常规实践中仍然具有挑战性[3]。因此，开发一个可靠的计算机辅助诊断系统来支持放射科医师准确进行肺结节分类至关重要[4]。

近年来，肺结节分类已从纯视觉深度学习模型发展到基于对比语言-图像预训练（CLIP）的视觉-语言模型[5]、[6]。然而，仍然存在重要局限性。尽管纯视觉模型能够捕获细粒度的形态和纹理，但它们往往难以处理不确定结节，特别是在影像线索微弱、语义上下文有限且病变外观不典型时[7]。虽然视觉-语言模型旨在通过纳入文本知识来弥补这一缺陷，但它们通常依赖于主要为全局图像-文本对齐优化的单一视觉编码器。这种设计可能削弱对细微形态差异的敏感性。此外，当文本描述粒度粗、样本间高度同质或与影像发现弱匹配时，刚性的语义约束可能向视觉表示中引入不可靠的先验，导致负迁移和性能不稳定[8]。

现有肺结节分类研究仍主要以纯视觉为主，卷积神经网络（CNN）仍然是主要的架构选择。为了更好地捕获结节异质性，先前的研究探索了多尺度和多视角特征聚合、集成学习和带有辅助目标的迁移学习[9]、[10]、[11]、[12]。最近，基于Transformer的架构和CNN-Transformer混合体被研究用于改进长距离依赖建模和全局上下文聚合[13]。然而，尽管取得了这些架构进展，纯视觉方法仍然可能因其仅依赖视觉编码器而面临挑战。当判别性线索微弱或模糊时，仅从影像外观学习可能不足以产生鲁棒的表示，导致决策边界附近困难病例的预测不稳定。

近期研究表明，由放射科医师标注的临床文本提供了对模糊结节尤为有用的判别性信息[14]。因此，许多研究致力于将文本语义纳入其中以补充纯视觉学习，并缓解纯视觉模型在表达诊断意义方面能力有限的缺陷。实际上，肺结节的形态特征，通常称为属性，对于良恶性结节的分类、诊断和后续治疗规划至关重要[15]。不断积累的证据表明，毛刺状边缘构成肺癌诊断的重要形态线索。其他属性，如球形度、钙化和分叶，也被推荐作为区分恶性病变的重要参考[16]、[17]。随着视觉-语言模型的出现，最近的基于CLIP的方法利用结构化属性描述作为语义先验并进行图像-文本对齐，以在视觉特征上引入语义约束[14]、[18]。尽管前景广阔，CLIP风格的公式存在几个局限性。首先，视觉分支通常依赖于主要为全局图像-文本对齐优化的单一编码器，这可能削弱对细微形态差异的敏感性。如先前工作广泛指出，CLIP训练在全局嵌入层面优化图像-文本相似性，而细粒度的视觉-文本对齐通常不受显式监督[19]、[20]。因此，即使存在与恶性相关的形态差异，具有相似属性文本的结节也可能被映射到相近的嵌入中，降低了对弱线索的敏感性并导致预测不稳定。其次，LIDC-IDRI数据集中的属性评分是由多位放射科医师提供的主观五分制评分，因此不可避免地存在观察者间差异[21]、[22]。然而，大多数现有方法将这些评分视为确定性监督，直接使用它们进行图像-文本对齐或语义正则化，对主观性引起的不确定性建模有限。当文本描述粒度粗、样本间高度同质或与影像发现弱对齐时，语义约束可能向视觉表示中引入不可靠的先验，导致负迁移和性能不稳定。

为应对这些挑战，我们提出了一种用于肺结节恶性预测的双分支互补视觉表示学习框架，旨在当判别性线索微弱时支持更稳定的决策。首先，为了利用临床文本信息同时缓解全局图像-文本对齐可能引起的对细微形态线索敏感性降低的问题，我们在传统的CLIP风格框架中引入了额外的形态编码器。形态编码器捕获细粒度的形态变化，而视觉-语义编码器在文本监督下建模全局上下文和具有临床基础的语义模式。其次，直接拼接这些异构表示可能无法充分考虑它们不同的特征粒度，并可能保留冗余或弱相关的语义信息。因此，我们引入了一种语义校准模块来协调两个分支。具体而言，特征级线性调制（FiLM）模块使用全局视觉-语义特征生成通道级调制参数，从而对形态表示进行语义重校准。调制后的形态特征随后作为查询，通过多头交叉注意力（MHA）模块从视觉-语义分支的补丁-token序列中检索互补的语义证据。生成器进一步自适应地控制检索证据的贡献，减少弱相关语义响应的影响。最后，为缓解图像-文本对齐过程中的不可靠文本监督，我们引入了样本级不确定性感知对齐，以减少不太可靠的图像-文本对的影响。

同时，我们观察到，在常规临床实践中，与CT检查配对的放射学报告可能包含比单纯属性标注更丰富的结节特征描述以及更广泛的上下文信息，从而为诊断困难的病例提供额外的判别性线索。此外，作为临床护理的常规副产品，放射学报告通常可以在不需要大量额外标注努力的情况下获取。尽管具有这种实际优势，自由文本放射学报告在肺结节分类中仍相对未被充分探索。因此，除了在LIDC-IDRI数据集上的评估外，我们进一步在有配对的CT扫描和放射学报告的回顾性私有队列上验证我们的框架，以评估其在更现实的临床文本监督下的有效性。

我们的主要贡献可总结如下：

- 不同于传统的基于CLIP的方法，我们提出了一种双分支互补视觉框架，在利用文本监督的同时保持对细微形态的敏感性，用于肺结节恶性预测。
- 我们提出了一种语义校准模块，执行通道级语义调制和基于交叉注意力的检索，以融合互补的形态和视觉-语义线索。
- 为缓解对齐过程中的文本置信度问题，我们使用样本级不确定性估计重新加权不可靠的文本线索。
- 除公开数据集外，我们进一步在回顾性私有队列上验证了所提框架，证明其在更现实的临床文本监督下的适用性。

章节摘要

基于影像的肺结节分类模型

随着深度学习的快速发展，卷积神经网络已成为从胸部CT扫描中学习判别性视觉表示的主要方法。为了捕获肺结节的复杂异质性，研究人员开发了各种策略来增强特征表达能力。一类突出的方法专注于多尺度和多视角表示学习。例如，Shen等人[9]、[23]采用了多裁剪池化策略来……

整体工作流程

我们提出了一种双分支互补视觉框架，在利用文本监督的同时保持对细微形态的敏感性，从而改进肺结节恶性分类。如图1所示，该框架主要由双分支互补视觉架构和语义校准模块组成，并使用包含不确定性感知图像-文本对齐损失和恶性分类损失的联合目标进行优化。具体来说，给定一个3D……

数据集

LIDC-IDRI数据集：我们在公开的LIDC-IDRI数据集[21]上评估我们的方法，该数据集包含1010例患者的低剂量胸部CT扫描。每次扫描都与最多四位有经验的放射科医师提供的XML注释文件相关联。对于每个注释结节，注释包括结节位置和勾画、恶性评分以及用于表征结节的八个放射学属性评分，即细微度、内部结构、钙化、球形度、边缘……

讨论

在本节中，我们进一步讨论了不同形式的文本监督对所提框架性能的影响，包括公开基准文本和真实临床报告。在LIDC-IDRI数据集中，文本信息来源于放射科医师赋值的离散有序评分的结构化结节属性。尽管这种基于属性的描述提供了标准化的语义监督，但它们与自由文本放射学报告所遇到的……

结论

本研究提出了一种在文本监督下的双分支互补视觉框架，用于肺结节恶性预测。通过将形态表示学习和语义引导的全局表示学习分离为两个互补分支，并引入语义校准和样本级不确定性估计，该框架更好地平衡了细微形态判别和临床语义引导。在公开LIDC-IDRI数据集上的实验结果……

CRediT作者贡献声明

黄丽勤：写作 – 审阅与编辑、监督、资源、项目管理、经费获取。董昭荣：写作 – 原稿撰写、软件、方法论、调查、概念化。张震：软件、概念化。杨晓：数据管理。潘林：验证。陈伟生：监督、经费获取。

伦理批准

本回顾性研究获得了福建医科大学附属协和医院伦理委员会的批准，该委员会提供了本研究中使用的数据集（批准号：2024KY164）。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文所报告的工作。

致谢

本工作得到国家自然科学基金（62271149）、福建省科技计划项目（2024J01353、2024Y9082）和福建省肿瘤医院高层次人才发展计划的资助。

黄丽勤是福州大学的教授和博士生导师。他于1996年获得浙江大学信息与电子技术学士学位，并获得福州大学硕士和博士学位。他目前在福州大学物理与信息工程学院工作。他一直从事电子信息 technology、计算机视觉和智能图像分析方面的教学和研究。他的研究兴趣包括……

黄丽勤 | 董昭荣 | 张震 | 杨晓 | 潘林 | 陈伟生