《Frontiers in Digital Health》：Enhanced vision language framework for medical report generation using agent-based retrieval
编辑推荐：
摘要：自动化胸部X光报告生成有望通过结合深度学习与自然语言处理来减轻放射科医生的工作负担。然而，现有的视觉语言模型（vision-language models, VLMs），包括R2Gen，在未能充分捕获相关上下文信息时，可能生成不正确或缺乏依据的陈述。本研
摘要：自动化胸部X光报告生成有望通过结合深度学习与自然语言处理来减轻放射科医生的工作负担。然而，现有的视觉语言模型（vision-language models, VLMs），包括R2Gen，在未能充分捕获相关上下文信息时，可能生成不正确或缺乏依据的陈述。本研究提出一个模块化框架，通过推理时检索和基于语言模型的优化来改进自动化报告生成。方法：给定输入胸部X光图像，R2Gen生成初步报告。使用基于FAISS的相似性检索机制，通过图像衍生表示和文本表示检索相关上下文信息。将检索到的文本信息与初步报告合并，提供给Zephyr 7B语言模型以生成最终报告。在IU X-Ray和CheXpert Plus数据集上使用BLEU、ROUGE-L、METEOR以及基于token重叠的精确率、召回率和F1值进行评估。检索和优化阶段均在推理时运行，无需对底层R2Gen模型进行额外再训练或微调。结果：实验结果表明，在所述数据集和评估指标上，该框架相对于R2Gen基线性能有所提升，生成报告与参考报告之间的相似性更高。讨论：研究结果提示，将基于相似性的检索与基于语言模型的优化相结合，可以提高自动化胸部X光报告系统的文本生成性能。该模块化框架提供了一种推理时方法，避免了对底层报告生成模型的额外训练。
研究背景与问题
胸部X光检查是临床实践中使用最频繁的影像检查之一，具有可及性高、成本低和辐射剂量小等特点，约占全球每年36亿次诊断性X光检查的40%。书写放射学报告是一项耗时且劳动密集的任务，需要受过训练的专科医生对胸片进行深入分析并撰写详细发现。因此，从胸片自动生成自由文本报告具有重要临床价值。尽管以R2Gen为代表的视觉语言模型（vision-language model, VLM）已在医学报告生成中展现出潜力，但现有方法在生成报告时主要依赖模型开发阶段学到的表示，可能无法充分捕获相关上下文信息，从而产生不正确或缺乏依据的陈述。此外，传统图像描述方法适用于简短场景描述，难以满足放射学报告这种包含多句、长叙述和“发现”与“印象”结构的医学分析需求。常规检索增强生成（retrieval-augmented generation, RAG）方法可能检索到冗余或相关性较低的信息，因此本研究提出一个模块化框架，将初步报告生成、推理时检索和基于语言模型的报告优化整合在同一流程中，以在不重新训练底层R2Gen模型的情况下提升胸部X射线报告生成性能。
研究内容与结论
研究人员构建的框架分为三个主要阶段：初步报告生成、上下文信息检索和报告优化。给定输入胸部X光图像后，R2Gen首先通过视觉编码器和报告生成网络生成初步报告；随后利用图像特征和文本嵌入，通过FAISS进行相似性检索，从外部放射学报告库中获取相关报告信息；Zephyr 7B语言模型接收初步报告与检索得到的文本上下文，通过固定提示词生成最终报告。文中“智能体”指预定处理流程中的功能专用模块，而不是自主多智能体推理系统。该框架的一个重要特点是检索和优化均在推理时完成，不需要对R2Gen进行额外再训练或微调，因此检索库可独立扩展或更新，同时保留预训练R2Gen组件。
在IU X-Ray和CheXpert Plus两个数据集上的实验表明，所提出框架在BLEU、ROUGE-L、METEOR以及基于token重叠的精确率、召回率和F1值等指标上均优于R2Gen基线。这说明将基于相似性的检索与语言模型优化相结合，可以提升生成报告与参考报告之间的文本相似性和内容一致性。该研究的意义在于提供了一种模块化、推理时的增强策略，避免了对底层报告生成模型的大规模重新训练，为检索增强式医学报告生成提供了一种可行且易于更新的技术路径。
主要关键技术方法
研究人员使用IU X-Ray（包含7,470张胸部X光图像和3,955份放射学报告）和CheXpert Plus（包含来自64,700名患者的223,000对图像-报告）两个数据集，均按80:20比例划分，80%用于构建FAISS向量数据库，20%用于测试；IU X-Ray与CheXpert Plus的检索库独立构建，且保持患者级别分离。R2Gen使用预训练检查点初始化，未在检索或评测数据上进行额外训练。视觉特征由R2Gen中的ResNet-101编码器提取，报告文本由预训练句子编码器sentence-transformers/all-MiniLM-L6-v2映射为固定维度嵌入。FAISS索引同时存储视觉特征向量和对应文本嵌入，推理时以联合余弦相似度（视觉相似度加文本相似度）进行Top-K检索。检索到的文本与R2Gen初步报告一起输入Zephyr 7B模型，在固定提示词下生成最终报告。实验在NVIDIA GeForce RTX 4060 GPU（8GB显存）上进行。
研究结果
在CheXpert Plus数据集上的结果
在CheXpert Plus数据集上，所提出框架的BLEU-4得分为0.2085，ROUGE-L得分为0.3622，METEOR得分为0.3917，精确率为0.5847，召回率为0.3857，F1值为0.4546。这些数值反映出生成报告与参考报告在n-gram层面、词汇和语义重叠方面均高于R2Gen基线。
在IU X-Ray数据集上的结果
在IU X-Ray数据集上，所提出框架的BLEU-4得分为0.3939，ROUGE-L得分为0.5070，METEOR得分为0.5382，精确率为0.5997，召回率为0.6976，F1值为0.6338。该数据集上的指标整体高于CheXpert Plus，说明在此数据集上生成报告与参考报告的一致性更高。
定性比较
定性比较显示，模型生成的报告能够捕获关键诊断要素，包括无急性病变、肺野清晰、无胸腔积液或实变、心脏轮廓和纵隔形态正常，以及骨性结构完整、无骨折或破坏性病变。生成报告与真实报告在上述内容上具有一致性，说明框架能够生成连贯且上下文恰当的放射学摘要。
消融研究
消融研究将本研究中实现的R2Gen基线与完整检索优化框架进行比较。R2Gen基线在CheXpert Plus上的BLEU-4为0.081，在IU X-Ray上为0.165；所提出框架在相应数据集上的BLEU-4分别为0.2085和0.3939。ROUGE-L和METEOR也呈现类似提升。结果表明，完整框架在采用的本研究评估指标下优于R2Gen基线。
与已有方法的比较
与文献中已发表方法相比，所提出框架在CheXpert Plus上的BLEU-4和F1值分别为0.2085和0.4546，高于MambaXray-VL-L的0.112和0.335；在IU X-Ray上，BLEU-4、ROUGE-L和METEOR分别为0.3939、0.5070和0.5382，高于R2GenCSR的0.206、0.401和0.215。需要说明的是，对比方法的结果取自相应论文，评估协议可能不完全相同。
讨论
研究结果表明，在R2Gen流程中加入推理时检索和报告优化能够提升本研究评估设置下的报告生成性能。检索阶段依赖于报告库中可用信息，检索库的特征会影响优化阶段获得的上下文质量。当前评估集中在胸部X光报告生成，未来需要在更多数据集和医学影像模态上验证框架的适用性，也可引入更先进的视觉语言或多模态模型，以考察不同视觉和语言表示对检索与报告优化过程的影响。值得注意的是，本研究采用的BLEU、ROUGE-L、METEOR、精确率、召回率和F1值主要反映文本相似性和内容重叠，其结果应在自动报告生成评估范围内解释，而非直接作为临床正确性的证据。
研究结论
本研究提出了一个用于胸部X光报告生成的模块化框架，通过将成熟的R2Gen模型与推理时检索及独立的Zephyr 7B报告优化阶段相结合。框架首先由R2Gen生成初步报告，从报告库中检索相关上下文信息，再将检索信息与初步报告一起用于生成最终报告。在IU X-Ray和CheXpert Plus数据集上的实验结果显示，所提出框架在所报告的评估指标上优于R2Gen基线，生成报告与参考报告的对齐程度更高。该工作的主要贡献在于对已有报告生成、检索和语言模型组件的模块化组织，而非引入新的检索算法。检索在推理时进行，不需要对底层R2Gen模型进行额外微调，因此检索库可以在保留预训练R2Gen组件的情况下独立扩展或更新。当前研究聚焦于胸部X光报告生成，评估基于自动报告生成和token重叠指标；未来需要采用专门的临床事实性指标，并在其他医学影像模态上进一步验证框架的广泛适用性。
