MFDP：多视图特征集成与强化疾病提示机制，用于放射学报告生成

《IEEE Journal of Biomedical and Health Informatics》：MFDP: Multi-View Feature Integration and Enhanced Disease Prompting for Radiology Report Generation

本文提出MFDP框架解决医学影像报告生成中的多视图特征融合不足和诊断信息缺失问题，通过动态多视图注意力机制和增强疾病提示模块，在MIMIC-CXR和IU X-Ray数据集上实现临床有效性和自然语言生成能力的提升，平均CE Recall提高10%。

　　

摘要：

放射学报告生成的目标是从医学图像中自动生成诊断报告，从而减轻放射科医生的工作负担。现有的大多数模型通常采用编码器-解码器架构，其中文本解码器根据编码后的图像特征生成报告。然而，这些方法存在两个主要局限性：1) 它们总是使用单一视图特征或简单的静态多视图融合特征，无法捕捉多视图图像中的互补信息；2) 在文本解码过程中缺乏与疾病相关的明确诊断信息，导致生成的报告在临床准确性和相关性方面有所下降。为了解决上述问题，本文提出了一种新的框架，称为“多视图特征整合与增强疾病提示放射学报告生成”（Multi-view Feature Integration and Enhanced Disease Prompting for Radiology Report Generation，简称MFDP）。具体来说，MFDP引入了两个关键创新：1) “多视图特征融合”（Multi-view Feature Fusion，MFF）模块通过多视图注意力机制动态整合多视图图像（例如正面视图和侧面视图），从而自适应地捕捉视图间的依赖关系，丰富解码器的输入特征，以生成更全面的报告；2) “增强疾病提示”（Enhanced Disease Prompting，EDP）模块通过构建增强的疾病提示来指导文本解码过程，提供明确的诊断信息。在两个基准数据集MIMIC-CXR和IU X-Ray上的实验表明，所提出的MFDP在临床有效性（Clinical Efficacy，CE）和自然语言生成（Natural Language Generation，NLG）指标方面都具有竞争力。值得注意的是，与最先进的模型相比，MFDP在临床有效性召回率方面平均提高了10%，能够在保持诊断完整性的同时更精确地定位关键异常。