基于跨模态增强Transformer的医疗报告自动生成方法研究

《IEEE Journal of Translational Engineering in Health and Medicine》：Cross-Modal Augmented Transformer for Automated Medical Report Generation

本研究针对医学影像解读中人工撰写诊断报告工作量大、易出错的问题，提出了一种创新的跨模态增强Transformer（CAT）框架。该框架通过关键词-区域预对齐（KRP）模块精准定位病灶区域，结合多模态编码器（ME）和双流解码器（DSD），显著提升了医疗报告生成的准确性和可解释性。实验结果表明，CAT在IU X-Ray和ROCO数据集上的CIDEr指标分别达到45.7%和11.8%，优于现有主流方法。这项研究为临床自动化诊断提供了重要技术支撑，推动了智慧医疗的发展。

　　

在临床实践中，医生需要解读医学影像并撰写诊断报告，这是一个既耗时又容易出错的过程。尤其在全球医疗专业人员短缺的背景下，如何快速准确地生成诊断报告成为亟待解决的难题。传统的图像描述方法虽然在其他领域取得不错效果，但直接应用于医学影像时却面临两大挑战：一是医学图像本身存在较多噪声，难以精准捕捉病灶区域；二是医学报告需要专业术语的支持，而现有方法往往忽视这一关键要素。

为了解决这些问题，来自江苏警官学院、中国工商银行江苏省分行等机构的研究团队开发了一种创新的跨模态增强Transformer（CAT）框架。该研究发表在《IEEE Journal of Translational Engineering in Health and Medicine》上，其核心思想是模拟医生的诊断流程：先定位异常区域，再生成相应报告。

研究人员采用的关键技术方法包括：首先设计关键词-区域预对齐（KRP）模块，通过注意力机制建立图像块与医学术语间的映射关系；其次构建多模态编码器，整合视觉特征与检索到的术语信息；最后创新性地使用双流解码器，动态平衡模板句子与专业术语的生成权重。实验数据来自MIMIC-CXR和ROCO两个公共数据集，分别包含377,110张胸部X光图像和81,000张多类型医学图像。

关键词-区域预对齐模块的有效性

通过将图像分割为55个区块并提取特征，利用注意力机制计算每个区块与医学术语的关联度。研究表明，当特征选择比例超过40%时，模型性能趋于稳定，这说明预对齐操作能有效过滤噪声，聚焦关键区域。与随机丢弃特征的方法相比，KRP模块在各项指标上均表现更优。

多模态编码器的增强作用

该模块通过对比学习强化图像-报告对的关联性，采用交叉注意力机制实现视觉特征与文本特征的深度融合。实验显示，加入多模态编码器后，模型在IU X-Ray数据集上的CIDEr分数从33.0%提升至39.4%，证明该设计能有效缓解医学影像中的视觉偏差问题。

双流解码器的创新价值

与传统单流解码器不同，双流解码器（DSD）同时处理术语流和报告流，通过交叉分支自注意力机制实现信息互补。研究发现，当术语流权重α设为0.4、报告流权重β设为0.6时，模型达到最佳平衡状态。这种设计使模型生成的专业术语比例提高8.6%，同时减少了无意义的模板化描述。

在可视化分析中，CAT模型展现出优异的病灶定位能力。例如，对于"肺不张"（atelectasis）这一术语，模型能准确关注到肺部塌陷区域；而对"动脉"（artery）等组织的分割也明显优于基线模型。这表明预对齐操作有效强化了异常术语与视觉内容之间的关联。

在临床数据验证环节，研究人员收集了2000例真实肺炎患者数据进行测试。结果显示，CAT模型的BLEU-4指标达到40.2%，CIDEr分数为20.3%，且推理速度达到基准模型的1.11倍。不过研究也发现，对于"双侧胸腔积液"等罕见病症，模型的生成效果仍有提升空间，这主要是由于训练数据中此类样本较少所致。

五位资深放射科医生对生成报告的评估显示，CAT模型能准确描述常见显著症状，但在捕捉细微征象方面尚有不足。例如，模型可能会遗漏次要诊断信息（如右上肺叶纤维化病灶），或未能建议对模糊阴影进行进一步CT检查。这表明当前模型仍无法完全替代医生，但可作为重要的辅助诊断工具。

该研究的重要意义在于：首先，提出的"先定位后生成"范式显著提升了报告生成的可解释性；其次，跨模态对齐方法为处理医学影像噪声提供了新思路；最后，双流解码器设计解决了医学报告特有的逻辑结构问题。这些创新不仅推动了医学人工智能的发展，也为后续研究指明了方向——包括开发更轻量级的端到端模型，以及探索移动设备上的部署方案，从而更好地服务于临床实践。