用于生成可靠胸部放射学报告的跨模态正交自适应对比学习方法

《Engineering Applications of Artificial Intelligence》：Cross-modal Orthogonal Adaptive Contrastive Learning for robust chest radiology report generation

　　

唐倩|刘立军|朱登|丁佳曼|彭伟|刘丽

中国云南省昆明市650500，昆明理工大学信息工程与自动化学院

摘要

自动生成胸部放射学报告对临床决策至关重要，它能够减轻放射科医生的诊断负担，同时降低遗漏病变的风险。然而，由于两个关键问题，有效的跨模态语义对齐仍然具有挑战性：（1）图像和文本模态在特征表示上的固有差异性；（2）传统负样本选择策略缺乏语义意识。前者会引入冗余和干扰信号，降低对齐质量，而后者则会将语义相似的样本误判为负样本，从而模糊决策边界，削弱模型的区分能力。为解决这些问题，我们提出了一种新的框架——跨模态正交自适应对比学习（COACL），该框架通过三个核心组件来提升图像与文本的语义对齐能力，并改进胸部报告的生成效果：（1）模态正交化模块（MOM），通过施密特正交化将图像和文本特征分解到正交子空间中；（2）门控融合模块（GFM），采用双流门控结构动态突出关键语义区域，增强不同模态之间的互补性；（3）自适应对比学习模块（ACLM），利用三元组比较机制根据语义相似度和特征一致性调整负样本的难度，逐步优化决策边界。在IU-Xray和MIMIC-CXR标准数据集上的实验表明，所提出的方法在多项指标上均显著优于现有的先进方法，消融实验也证明了各个模块的重要性。

引言

在临床实践中，胸部放射学报告是医学影像与临床诊断之间的重要纽带，在疾病识别、病情描述以及治疗建议等方面发挥着关键作用（Gajbhiye等人，2020；Gale等人，2019；Liang等人，2017；Zhang等人，2020）。自动生成高质量的胸部放射学报告不仅能通过自动化图像解读过程有效减轻放射科医生的工作负担，还能提高诊断效率，从而在一定程度上降低漏诊和误诊的风险。这一功能在医学人工智能研究领域受到了广泛关注。

近年来，医学图像与自然语言之间的跨模态建模已成为推动自动胸部放射学报告生成发展的核心方向。尽管已有众多方法通过视觉-语言联合建模、注意力机制以及对比学习策略来实现图像与文本的对齐（Song等人，2022；Tao等人，2024；Zhang等人，2023；Jeong等人，2024；Hou等人，2023），但实现精细化的 Semantic对齐仍然是一项重大挑战。这是因为图像和文本在结构、分布以及语义表达方面存在固有的差异性。一方面，图像模态通常具有高维且稀疏的特征，其中包含精细的病变信息，而文本模态则拥有复杂的语法结构以及丰富的语义表达。这种表征上的差异会引入冗余和干扰因素，进而削弱不同模态之间的语义一致性（You等人，2021；Wang等人，2021；Wang等人，2022）。另一方面，现有对比学习策略中使用的静态负样本选择方法缺乏语义意识，往往会导致语义相似的样本被误判为负样本。这种误分类会造成语义混淆，降低模型的边界区分能力和泛化性能（Huynh等人，2022）。

为解决这些问题，我们提出了一种新的跨模态正交自适应对比学习（COACL）框架，用以提升语义对齐能力并改善报告生成质量。COACL由三个核心模块组成：模态正交化模块（MOM）、门控融合模块（GFM）以及自适应对比学习模块（ACLM），它们分别针对模态差异性、融合效率低下以及负样本混淆等问题。本文的主要贡献如下：

• •
  MOM通过施密特正交化明确分离图像和文本特征，构建出正交的特征子空间，从而消除冗余干扰，提升跨模态特征的对齐性。
• •
  GFM旨在构建双流结构，融合正交特征与原始特征，并结合注意力机制与双重门控策略，实现语义增强的模态融合，有效提升图像与文本模态之间的互补性和对齐一致性。
• •
  ACLM通过基于三元组的策略动态调整负样本的难度，该策略会综合考虑语义相似度和特征一致性，从而实现从简单到复杂的负样本逐步优化，进一步提升语义边界区分能力与模型的泛化性能。
• •
  在IU-Xray和MIMIC-CXR标准数据集上进行的大量实验表明，所提出的方法在多项评估指标上均显著优于现有的先进方法，充分证明了其有效性、稳健性以及临床应用潜力。

章节节选

基于正交基的图像特征分离

在多模态学习任务中，图像和文本分别代表视觉结构与抽象语义，二者存在固有的模态差异性。传统方法通过构建联合嵌入空间来实现图像与文本的对齐（Frome等人，2013；Lee等人，2018），但这些方法往往无法明确建模内部的重叠区域与冗余信息，因此在复杂任务中会导致语义漂移和模态干扰，进而影响后续生成结果的质量以及跨模态对齐的效果。

方法

我们提出了一种新的跨模态正交自适应对比学习（COACL）框架，用于解决胸部放射学报告生成过程中存在的语义对齐不佳以及临床准确性不足的问题。如图1所示，COACL由四个相互协作的模块组成：模态正交化模块（MOM）、门控融合模块（GFM）、自适应对比学习模块（ACLM）以及报告生成模块（RG）。

MOM通过施密特正交化明确分离图像和文本特征，从而抑制冗余信息的影响

数据集

我们在两个广泛使用的胸部X光数据集上进行了实验：MIMIC-CXR（Johnson等人，2019）和IU-Xray（Demner-Fushman等人，2016）。

MIMIC-CXR包含377,110张胸部X光图像以及对应于65,379名患者的227,827份自由文本形式的胸部放射学报告。该数据集包含了14种常见的放射学观察标签，这些标签是通过CheXpert标注工具从报告中正式提取出来的。

IU-Xray包含7470张胸部X光图像以及3955份相应的报告，每份报告都经过结构化处理

讨论

为解决胸部放射学报告生成过程中模态对齐不足以及关键病变表达不清晰的问题，我们提出了跨模态正交自适应对比学习（COACL）方法。该方法通过正交建模方式提升图像与文本之间的语义一致性及信息融合效果。与那些主要依赖局部视觉特征融合的现有方法（如Multicriteria、MMTN、AlignTrans、Prior SA）不同，我们的方法更注重语义匹配的提升

结论

我们提出了一种新的跨模态正交自适应对比学习（COACL）框架，用于解决自动胸部放射学报告生成过程中存在的模态对齐问题以及病变表达不充分的问题。COACL通过正交建模方式提升图像与文本之间的语义一致性及融合效果，进而提高生成的报告的准确性与稳定性。在IU-Xray和MIMIC-CXR数据集上的实验表明，COACL在多项指标上均显著优于现有的先进方法

CRediT作者贡献说明

唐倩：撰写——初稿、软件、方法论、研究实施、形式分析、数据整理、概念设计。刘立军：撰写——审阅与编辑、验证、监督、项目管理、方法论、资金获取、概念设计。朱登：撰写——初稿、软件、方法论、数据整理、概念设计。丁佳曼：监督、资源提供。彭伟：监督、资源提供。刘丽：监督、资源提供。

利益冲突声明

作者声明，他们不存在任何可能影响本文研究结果的已知财务利益关系或个人关系。

致谢

本研究得到了中国国家自然科学基金的资助，项目编号为81860318，同时还得到了昆明理工大学的资助，项目编号为KKZ3202203020。