事实序列化增强：胸部X光报告生成的关键创新

《Expert Systems with Applications》：Factual Serialization Enhancement: A Key Innovation for Chest X-ray Report Generation

本文提出Factual Serialization Enhancement（FSE）方法，通过两阶段流程提升胸部X光报告生成质量。第一阶段采用事实导向的对比学习，通过结构实体方法过滤非事实性描述，增强图像与事实描述的跨模态对齐；第二阶段利用检索到的历史病例事实序列化信息，指导生成器生成更精准的文本。实验表明FSE在MIMIC-CXR和IU X-ray数据集上显著优于SOTA方法，且消融实验验证了事实序列化的关键作用。

　　

Kang Liu|Zhuoqi Ma|Mengmeng Liu|Zhicheng Jiao|Xiaolu Kang|Qiguang Miao|Kun Xie

西安电子科技大学计算机科学与技术学院，中国陕西西安710071

摘要

放射学报告包含两种互补的词汇类型：一种是确保结构清晰度和可读性的表述性语言；另一种是基于可观察临床发现、传达准确客观描述的事实性术语。虽然手动编写报告耗时且劳动强度大，但自动生成放射学报告已成为提高临床效率的一种有前景的解决方案。然而，大多数现有方法依赖于完整的报告来进行视觉-语言对齐，隐含地将所有文本成分同等对待，而忽略了表述性词汇的独特作用。这种做法可能会削弱事实性内容的监督作用，阻碍有效的跨模态对齐。为了解决这个问题，我们提出了FSE（事实序列化增强）方法，该方法在表示学习和报告生成过程中都明确强调了事实性内容。在第一阶段，我们引入了基于事实的对比学习，通过最大化放射图像与其对应事实描述之间的语义对应关系来学习视觉表示。在第二阶段，我们提出了基于证据的报告生成方法，通过整合类似历史案例的洞察力来提高诊断准确性，这些案例以事实序列化的形式进行组织。在MIMIC-CXR和IU X-ray数据集上进行的广泛实验表明，FSE在词汇相似性和临床效果方面均优于现有最先进方法。消融研究验证了事实序列化在增强跨模态对齐和下游报告生成性能方面的有效性。我们的代码可在以下链接公开获取：https://github.com/mk-runner/FSE

引言

胸部X光报告生成旨在使用自然语言准确描述医学图像中关键器官和组织的形态和位置特征。这些报告在疾病筛查、诊断和临床决策过程中发挥着重要作用。然而，传统上生成此类报告依赖于具有医学专业知识和临床经验的手动解读，这使得这一过程既耗时又高度专业化（Li, Liu, Wang, Jiang, Jiu, Chen, Lu, Li, Xu, 2025a, Li, Li, Wang, Huang, 2025b, Miao, Liu, Ma, Li, Kang, Liu, Liu, Xie, & Jiao）。

自动胸部X光报告生成（CXRG）（Bannur, Bouzid, Castro, Schwaighofer, Bond-Taylor, Ilse, Pérez-García, Salvatelli, Sharma, Meissen, Ranjit, Srivastav, Gong, Falck, Oktay, Thieme, Lungren, Wetscherek, Alvarez-Valle, & Hyland, Liu, Li, Zhao, Chen, Chang, Yao, 2024c, Zeiser, da Costa, de Oliveira Ramos, Maier, da Rosa Righi, 2024）通过为放射科医生生成高质量的草稿报告，提供了一种有前景的替代方案，从而提高了诊断效率。为了提高生成报告的临床准确性，当前主流的CXRG方法包括跨模态对齐方法（Hou, Li, Liu, Sang, Lu, Zhang, 2025, Liu, Ma, Kang, Li, Xie, Jiao, Miao, 2025a, Qin, Song, 2022, Wang, Bhalerao, He, 2022b）、知识增强策略（Huang, Zhang, Zhang, 2023, Liu, Ma, Kang, Zhong, Jiao, Baird, Bai, Miao, 2024b, Wang, Teng, Zhang, Yang, Wang, Yi, Zhang, Wang, Tavares, Xu, 2025a, Yang, Wu, Ge, Zheng, Zhou, Xiao, 2023）、区域引导技术（Hou, Cheng, Xu, Li, Liu, 2023, Karwande, Mbakwe, Wu, Celi, Moradi, Lourentzou, 2022, Tanida, Müller, Kaissis, Rueckert, 2023）以及基于大型语言模型的方法（Liu, Tian, Chen, Song, Zhang, 2024a, Liu, Li, Zhao, Chen, Chang, Yao, 2024c, Lu, Hong, Shah, Xu, 2023, Luo, Jiang, Wang, Cai, Gao, Yang, 2025）。

尽管这些方法有效，但当前的CXRG方法面临一个关键挑战：忽视了表述性词汇对跨模态对齐的影响。放射学报告包含两种互补的词汇类型：确保结构清晰度和可读性的表述性表达，以及传达基于可观察临床发现的确切客观描述的事实性术语。尽管后者对医学应用至关重要，但现有的对齐方法（Gao, Yao, Liang, Chen, Liu, Dang, 2024, Wang, Zhou, Wang, Vardhanabhuti, Yu, 2022a, Yang, Wu, Ge, Zheng, Zhou, Xiao, 2023）会不加区分地处理整个报告，导致风格化的噪声稀释了重要的临床信息。为了解决这个问题，Yan等人（2023）提出了一种方法，该方法利用RadGraph（Jain等人，2021）从完整的放射学报告中提取实体和属性，并将它们组织成结构化的RadGraph序列化。随后使用编码器-解码器架构将视觉特征与这些序列化对齐。尽管这种方法有效，但它有几个局限性：首先，RadGraph的输出可能存在固有噪声（见第3.2节），这可能会传播到表示学习阶段；其次，序列化策略依赖于连接的子图，这可能导致即使在单个句子内也出现多个不连续的组件，从而破坏语义关系并可能扭曲原始的临床含义。

为了解决这些问题，我们提出了FSE（事实序列化增强）方法，这是一种新颖的两阶段胸部X光报告生成方法。在第一阶段，我们引入了基于事实的对比学习，通过最大化放射图像与其对应报告中的事实序列化之间的语义对应关系来改进视觉表示。为此，我们开发了一种结构实体方法，将自由文本报告转换为仅保留临床事实信息的事实序列化——紧凑的句子，同时排除表述性词汇。利用这些序列化，我们通过实例级和令牌级的跨模态语义目标将放射图像与文本事实性对齐。在第二阶段，我们提出了基于证据的报告生成方案，通过整合类似历史案例的洞察力来提高诊断准确性，这些案例以相同的事实序列化格式进行组织。对于每个输入的放射图像，我们根据对齐的单模态表示检索语义相似的历史案例，无需依赖疾病标签或额外的监督。然后，跨模态融合网络整合检索到的事实证据，指导文本解码器生成临床准确的报告。在MIMIC-CXR（Johnson等人，2019a）和IU X-ray（Demner-Fushman等人，2016）数据集上进行的广泛实验表明，FSE在词汇相似性和临床效果方面均优于最近的最先进方法。此外，消融研究证实了事实序列化在基于事实的对比学习和基于证据的报告生成中的关键作用，这也解释了“事实序列化增强”这一术语的由来。我们的主要贡献总结如下：

•

我们提出了一种结构实体方法，通过过滤表述性描述从完整报告中提取事实序列化，同时保留临床发现。这样的序列化对表示学习和报告生成都有益。

•

我们引入了基于事实的对比学习，明确地将放射图像与相应的事实描述对齐。

•

我们提出了基于证据的报告生成方法，通过整合以事实序列化形式组织的类似历史案例的洞察力来提高诊断准确性，提供简洁且具有临床相关性的证据。

•

我们在紧急和一般场景中对FSE进行了全面评估，证明了其优于现有方法。

相关工作

相关工作

我们简要回顾了关于图像-报告对跨模态对齐、基于检索的胸部X光报告生成和基于实体的胸部X光报告生成的相关工作。

图像-报告对的跨模态对齐。这项技术在医学图像分析中至关重要，因为它通过最大化匹配的图像-报告对之间的一致性来增强单模态表示，同时区分不相关的对。

方法论

图1展示了我们提出的FSE的概览。在第一阶段，我们引入了基于事实的对比学习，专注于捕获临床相关的视觉特征，然后利用这些特征检索类似的历史案例。在第二阶段，我们提出了基于证据的报告生成方案，通过整合以相同事实序列化格式组织的类似历史案例的洞察力来提高诊断准确性。以下小节提供了详细信息

实验细节

数据集。我们在广泛使用的基准数据集MIMIC-CXR（Johnson等人，2019a）和IU X-ray（Demner-Fushman等人，2016）上评估了我们提出的FSE的有效性。与之前的研究（Chen, Song, Chang, Wan, 2020, Li, Lin, Chen, Lin, Liang, Chang, 2023, Tanida, Müller, Kaissis, Rueckert, 2023, Yang, Wu, Ge, Zhou, Xiao, 2022）一致，我们将放射学报告的“发现”部分视为参考报告。关于数据划分，我们遵循MIMIC-CXR的官方设置

讨论

为了提高临床实用性，图7展示了FSE在实际放射工作流程中的集成情况。给定一张胸部X光图像，我们的FSE首先生成一个初步草稿，总结检测到的发现，并附上关注热图，标出与每个关键事实陈述（例如“心脏轮廓略增大”）最相关的图像区域。在实际应用中，生成的草稿会呈现给放射科医生

结论

在本文中，我们介绍了Factual Serialization Enhancement（FSE），这是一种用于生成胸部X光报告的两阶段方法。首先，我们提出了基于事实的对比学习，将胸部X光图像与我们结构实体方法得到的事实序列化对齐，减轻了表述性词汇对跨模态对齐的影响。随后，我们引入了基于证据的报告生成方法，通过整合类似案例的洞察力来提高诊断准确性

CRediT作者贡献声明

Kang Liu：撰写——原始草稿、方法论、概念化、审阅和编辑。Zhuoqi Ma：撰写——方法论、概念化、审阅和编辑。Mengmeng Liu：撰写——概念化、审阅和编辑。Zhicheng Jiao：可视化、调查。Xiaolu Kang：可视化、调查。Qiguang Miao：撰写——审阅和编辑、监督。Kun Xie：撰写——审阅和编辑、监督。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。