基于视觉语言模型与强化学习的胸部X射线影像报告自动生成方法（BLIX-Ray）

《Journal of Imaging Informatics in Medicine》：BLIX-Ray: Chest X-Ray Report Generation with Vision-Language Models and Reinforcement Learning

　　

专业术语翻译（摘要部分） 放射学报告对于指导患者的治疗方案至关重要。然而，撰写放射学报告对放射科医生而言是一项沉重的负担。由于标注者内部（intra-labeler）和标注者之间（inter-labeler）的变异性，人工报告面临诸多挑战，这可能导致患者治疗和诊断结果不一致，并因警觉性变化和判断变更而使问题更加复杂。为应对这些挑战，研究人员提出了一种专门针对胸部X射线影像的自动化放射学报告生成模型。研究人员引入了BLIX-Ray，一种视觉语言模型（Vision-Language Model, VLM），采用迁移学习方法生成放射学报告。BLIX-Ray对预训练的BLIP模型进行微调，以提取并对齐适用于医学影像领域的丰富视觉与文本表征。研究人员使用强化学习（Reinforcement Learning, RL）直接基于语言评估指标优化报告生成，以进一步提升性能。研究人员在两个公开数据集上评估了BLIX-Ray：IU-Xray和CheXpert Plus。实验结果表明，该模型在两个数据集上均取得了最高的CIDEr和BERTScore得分，而基于n-gram的基线方法在BLEU指标上仍保持优势。BLIX-Ray整合了强化学习与迁移学习，在数据有限且异质的条件下改进了医学报告生成。研究结果凸显了视觉语言模型在支持自动化和标准化放射学报告方面的潜力。值得注意的是，BLIX-Ray在IU-Xray上取得了目前报道的最佳CIDEr（0.6534）和BERTScore（0.8765）得分，并在CheXpert Plus上于CIDEr、METEOR和BERTScore指标上领先（BERTScore为0.8407），展示了与参考报告之间较强的报告级一致性和语义相似性。

论文解读文章

一、研究背景与问题

放射学报告是指导患者治疗决策的关键依据，但撰写高质量放射学报告对放射科医生而言负担极重。人工报告面临两大核心挑战：一是标注者内部变异性（同一医生因疲劳、警觉性波动和判断变化导致报告不一致），二是标注者之间变异性（不同医生对同一影像的解读存在差异），这两类变异均可能导致患者治疗和诊断结果不一致。此外，胸部X射线（Chest X-Ray, CXR）作为全球最频繁执行的影像学检查，其报告需求量大，而准确解读需要高度专业知识和经验。

在自动化报告生成研究领域，早期方法多采用卷积神经网络（Convolutional Neural Network, CNN）结合循环神经网络（Recurrent Neural Network, RNN）如长短期记忆网络（Long Short-Term Memory, LSTM）的框架，但这些方法难以捕捉图像中全面的上下文信息。视觉Transformer（Vision Transformer, ViT）虽通过自注意力机制改善了特征提取能力，但医学报告生成仍面临数据集规模小、正常与异常发现不平衡、医学词汇复杂、需捕捉并描述异常等独特挑战。近年来的视觉语言模型（VLM）如BLIP、CLIP等虽在通用领域取得突破，但直接应用于医学影像报告生成时，仍存在对医学语义和临床相关性优化不足的问题。多数现有方法依赖n-gram目标函数，忽视了临床和语义正确性；部分方法虽引入强化学习，但依赖复杂的奖励工程、多阶段对比预训练或检索流程，带来较大的设计和计算开销。

基于上述问题，本研究提出以下三个研究问题：（RQ1）从预训练视觉语言模型进行迁移学习，能否在医学报告数据规模有限且变异大的条件下生成临床相关的胸部X射线报告；（RQ2）直接优化序列级语言指标的强化学习，能否在监督微调基础上进一步提升报告质量；（RQ3）该方法能否在不同数据集（包括新发布的CheXpert Plus基准和IU-Xray）上实现泛化。

二、研究内容与核心方法

研究人员提出了BLIX-Ray模型，一种基于预训练BLIP（Bootstrapping Language-Image Pre-training）架构的视觉语言模型，用于胸部X射线影像报告生成。该模型采用选择性微调策略：冻结初始参数，随后解冻视觉编码器最后两层、文本编码器和文本解码器最后四层以及负责报告预测的MLP头层，以适配医学影像领域特征。模型的核心技术方法包括：

第一，迁移学习。BLIX-Ray从Hugging Face提供的预训练检查点Salesforce/blip-image-captioning-base初始化，利用BLIP在大型多模态数据集上学习到的通用视觉-语言表征，通过微调适应胸部X射线报告生成任务，有效缓解医学数据稀缺问题。

第二，强化学习优化。研究人员采用自临界序列训练（Self-Critical Sequence Training, SCST）策略，以CIDEr（Consensus-based Image Description Evaluation）作为奖励函数直接优化报告生成。对每张图像，从模型分布中采样一个报告，同时用贪婪解码生成基线报告，优势函数定义为采样报告与贪婪解码报告的CIDEr得分之差。强化学习损失与监督交叉熵损失结合形成总损失，权重因子λ设为1.0，两者在全部五个训练轮次中同时激活。

第三，模型训练配置。模型在两张NVIDIA L40S GPU上使用Adam优化器端到端微调，学习率1e-5，批次大小32，共五个轮次。CIDEr奖励使用pycocoevalcap实现计算，采用逐样本得分使每张图像获得独立奖励。模型选择基于验证损失，保留五个轮次中验证损失最低的检查点。为验证改进并非仅来自额外优化，监督微调（Supervised Fine-Tuning, SFT）基线在计算量上与BLIX-Ray完全匹配，仅损失函数中缺少奖励项。

第四，数据集。研究使用两个公开数据集：CheXpert Plus包含223,228对放射学报告与胸部X射线影像，来自187,711项研究、64,725名患者，研究仅使用报告中的Findings部分；IU-Xray包含7,470张正位和侧位胸部X射线影像，关联3,955份放射学报告，采用80%/20%训练-测试划分。

三、研究结果

定量结果。 在CheXpert Plus数据集上，BLIX-Ray在CIDEr（0.4894）、METEOR（0.1582）和BERTScore（0.8407）指标上取得最高分，而Disease-Aware在BLEU-4（0.133）和ROUGE-L（0.291）上领先，DFT在BLEU-1、BLEU-2和BLEU-3上取得最高分。在IU-Xray数据集上，BLIX-Ray取得最高CIDEr（0.6534）和BERTScore（0.8765），ROUGE-L（0.3573）和METEOR（0.2898）上保持竞争力，而COATT在BLEU系列指标上领先（BLEU-1为0.517）。与仅监督微调的BLIP变体相比，BLIX-Ray在IU-Xray上将CIDEr从0.572提升至0.6534、BERTScore从0.834提升至0.8765；在CheXpert Plus上将CIDEr从0.405提升至0.4894、METEOR从0.1312提升至0.1582、BERTScore从0.7926提升至0.8407，同时BLEU得分略有下降。这一模式表明强化学习阶段提升了报告级一致性和语义对齐，而非单纯增加词面重叠。

定性结果。 研究展示了胸部X射线影像及其对应的真实报告和模型生成报告示例。模型生成的报告在句号后句子以小写字母开头，与真实报告的大写开头存在差异，且偶尔包含真实标注中不存在的发现。

错误分析。 研究从IU-Xray测试集中随机选取30例，由一名放射科医生进行非盲审阅。结果显示：正常发现的胸部X光片生成报告通常流畅且语法正确，术语接近标准放射学报告语言；但存在多项局限——模型未报告双腔右颈内静脉中心静脉导管、漏检两例胸腔积液、漏检一例双肺底不张、将右侧起搏器误报为颈内静脉导管、未提及多处脊柱退行性改变。模型在报告顺序和结构上存在不一致，在发现模棱两可、影像质量欠佳或存在导管、起搏器、胸管等医疗设备时不一致性显著增加，部分情况下模型虽检测到异常但侧别判断错误。

四、讨论与结论

讨论部分。 研究结果回答了三个研究问题：迁移学习使BLIX-Ray在两个数据集上生成流畅、结构良好的报告，确认了通用领域视觉语言模型可有效缓解医学报告生成中的数据稀缺和变异问题；强化学习直接优化CIDEr序列级指标，在语义评估指标上优于仅监督微调，表明全局语义导向目标的直接优化比词级监督能获得更高的报告级一致性得分；模型在IU-Xray和新发布的CheXpert Plus上均取得强结果，证明方法可跨不同规模和组成的数据集泛化。

研究还指出，BLIX-Ray的BLEU得分低于多个基线及其自身SFT变体，但CIDEr和BERTScore最高，这一现象反映了指标间的已知分歧而非报告质量缺陷。BLEU奖励与参考文本的精确n-gram重叠且对所有n-gram等权，被放射学报告中高频模板化措辞主导；CIDEr通过TF-IDF加权降低模板化措辞权重、强调稀有且临床信息丰富的术语；METEOR通过词干化和同义词匹配放宽精确匹配；BERTScore比较上下文嵌入而非表面词元。研究以具体示例说明，语义相反的文本因共享大量n-gram可获得高BLEU得分，而语义正确的改写反而得分低，凸显了BLEU在医学文本评估中的局限。研究强调自动指标是工具而非标准答案，应谨慎使用并辅以人工评估。

结论部分。 本文提出了BLIX-Ray，一种利用预训练BLIP模型提取和对齐视觉与文本特征以生成胸部X射线影像报告的视觉语言模型架构。BLIX-Ray对BLIP进行微调以产生丰富且适配胸部X射线报告生成任务的多模态表征，并采用强化学习进一步优化报告生成，通过直接优化语言指标提升模型性能。该方法有效将复杂视觉信息转化为准确且上下文相关的文本描述，捕捉医学应用所需的细节。在两个重要数据集（印第安纳大学胸部X射线数据集和CheXpert Plus）上的广泛评估证明了BLIX-Ray的有效性。使用标准自然语言生成指标，BLIX-Ray在CIDEr和BERTScore上超越当前最先进基准，在BLEU上低于基于n-gram的基线。这一成果标志着该领域的显著进展，有助于更准确、可靠和高效的诊断流程。