受控评估揭示乳腺X线摄影报告自动生成中合成预训练无效及文本质量与临床质量脱节问题

《Scientific Reports》:Two-stage synthetic-to-real transfer learning for automated mammography report generation using vision-language models

【字体: 大 中 小 】 时间:2026年10月24日 来源:Scientific Reports 4.9

编辑推荐:

   我们提出了一种用于自动生成乳腺X线摄影报告的两阶段从合成到真实的训练流水线,并对其合成预训练阶段是否有助于提升最终报告质量进行了受控的、预先注册的评估。乳腺X线摄影报告的自动生成受到配对影像-报告数据稀缺的限制:VinDr-Mammo和CBIS-DDSM等公开数据集提供结构化

  我们提出了一种用于自动生成乳腺X线摄影报告的两阶段从合成到真实的训练流水线,并对其合成预训练阶段是否有助于提升最终报告质量进行了受控的、预先注册的评估。乳腺X线摄影报告的自动生成受到配对影像-报告数据稀缺的限制:VinDr-Mammo和CBIS-DDSM等公开数据集提供结构化标注,但缺乏自由文本报告。该流水线将BI-RADS标注转换为合成报告(生成400份,保留390份),利用多模态LoRA对MedGemma-4B进行预训练,随后在407份真实DMID报告上进行微调。在无数据泄漏的DMID测试子集(n = 49)上,该模型达到ROUGE-L 0.656、METEOR 0.666、CIDEr 0.649和BERTScore 0.917,超越所有外部基线,包括已发表的最优方法。然而评估表明,合成预训练并未带来这些成果:所观察到的优势是在适配器容量不等的模型之间测得的,而在匹配容量的条件下,两种方案效果相当。在涵盖三种语料库规模、三种容量和五种初始化的60次训练运行中,相对于预先设定的差距阈值,没有任何配置有利于两阶段训练;仅容量差异即可重现该差距。两项发现与评估方法相关:在断言级别准则下,没有任何模型在正常病例中编造发现,其失效模式为遗漏。在同一模型内部,文本质量与临床质量出现分歧:当两阶段训练获得0.058的ROUGE-L增益时,BI-RADS一致性和敏感度均有所下降。在一致性从未超过κ = 0.14的情况下,实现临床实用化报告的主要障碍是诊断准确性,而非语言流畅性。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号