从影像到报告：基于视觉语言模型（VLM）的肺癌筛查解读与报告生成自动化研究及其临床意义

本文推荐一项创新研究，作者开发了LUMEN（肺癌统一多模态评估与导航系统），该系统整合计算机视觉（CV）、视觉语言模型（VLM）与大语言模型（LLM），通过模拟放射科医师工作流，实现低剂量CT（LDCT）影像中肺结节的识别、特征提取及结构化报告自动生成。研究强调其临床评估体系优于传统自然语言处理（NLP）指标，为肺癌筛查提供更准确的自动化解决方案。

　　

亮点

问题

目前极少有研究利用低剂量CT（LDCT）进行肺癌筛查的放射学报告生成。此外，缺乏足够的性能指标来评估报告生成系统的临床准确性。

已知内容

近期计算机视觉（CV）与大语言模型（LLM）的进展促进了视觉语言模型（VLM）系统的开发，以辅助起草放射学报告。然而，大多数评估仍依赖于自然语言处理（NLP）语义指标，未能充分衡量临床正确性，尤其在肺癌筛查方面。

本文贡献

我们开发了基于临床实践的评价指标……

LDCT影像-报告配对数据集的构建

我们利用佛罗里达大学健康系统集成数据仓库（IDR）的数据，该库包含来自多家医院的CT影像与临床笔记。我们提取了接受基于LDCT的肺癌筛查（LCS）研究的患者队列，通过现行 procedural terminology（CPT）代码（71271、G0297、G0296、S8032）或肺癌诊断（ICD-9代码162.，ICD-10代码C34.）进行识别。

结果

本节展示真实世界研究队列的特征，以及LUMEN系统相对于基线方法的评估结果。我们从肺癌筛查视觉问答（VQA）三元组数据中的研究队列特征和结节属性开始，接着通过视觉语言模型（VLM）进行关键图像选择和结节属性提取的评估，最后说明LUMEN在端到端报告生成中的整体性能。

讨论

本研究提出整合CV、VLM和LLM模型的LUMEN系统，用于生成肺结节描述。我们基于真实世界电子健康记录（EHR）构建了包含影像-报告对和以结节属性为中心的肺癌筛查VQA三元组数据的视觉语言数据集。我们使用标准NLP指标和基于NCCN与Lung-RADS临床指南开发的临床相关LCS指标评估LUMEN及其组件，并进行了亚组分析。

结论

本研究提出LUMEN系统，通过整合CV、VLM和LLM方法，从LDCT影像生成临床准确的肺结节描述。我们构建了包含来自大型医疗中心真实世界EHR的影像-文本对和以结节属性为中心的肺癌筛查VQA三元组数据的医学视觉语言数据集。除了用标准NLP指标衡量语义准确性，我们还开发了一套临床相关指标，更准确地反映生成报告的临床效用。