基于视觉语言模型的CT肺动脉造影报告生成与预后预测系统：一项多中心临床验证研究

本研究针对肺动脉栓塞(PE)诊断中CTPA图像解读特异性不足和结构化报告缺失的临床挑战，开发了集成视觉语言模型(VLM)和大型语言模型(LLM)的智能诊断框架。研究人员通过分析69,761例来自布朗大学、约翰霍普金斯大学和INSPECT数据库的CTPA扫描，构建了可检测32种PE相关异常的多标签分类器(AUROC 0.710-0.788)，并创新性地采用异常引导的报告生成策略(BERT-F1 0.891)。该框架首次实现了异常检测、结构化报告生成与多模态生存预测(C-index 0.863)的临床闭环，显著优于传统PESI评分系统。

　　

肺动脉栓塞(PE)作为威胁生命的急症，每年导致全美超6万例死亡，其诊断高度依赖计算机断层扫描血管造影(CTPA)。然而传统解读方式面临三大困境：放射科医师疲劳导致的30%漏诊率、非结构化报告造成的关键信息遗漏，以及单纯依赖临床指标(PESI评分)的预后预测局限性。这些瓶颈使得近三成未及时诊治的患者在确诊后一个月内死亡，凸显智能化解决方案的紧迫性。

布朗大学健康中心(Brown University Health)联合约翰霍普金斯大学的研究团队在《npj Digital Medicine》发表突破性研究，开发出首个整合异常检测、报告生成与预后预测的CTPA全流程分析框架。该研究通过多中心69,761例CTPA扫描的大规模训练，构建的视觉语言模型(VLM)可精准识别32种PE相关异常，其AUROC在外部验证集达0.710-0.788。更创新的是采用异常引导策略生成结构化报告，在专家盲评中96.7%的案例优于传统器官导向式报告。最终通过融合影像特征、临床变量和生成报告文本构建的多模态预后模型，将生存预测C-index提升至0.863，显著超越传统PESI评分(0.764)。

关键技术方法包括：1)基于I3D架构的3D多异常分类器，采用Merlin预训练权重增强特征提取；2)分层提示工程，通过器官导向和异常导向双策略驱动CT-CHAT VLM生成区域化发现；3)Llama 3模型实现从图像发现到结构化报告的语义升华；4)Cox比例风险模型整合影像(Img)、文本(Text)、诊断(Dia)和临床变量(Clin)四模态数据。研究队列涵盖BUH(19,565例)、JHU(1,077例)和INSPECT(4,248例)三大数据集，预后分析纳入1,012例确诊PE患者。

【结构化CTPA诊断和报告框架】
研究设计七解剖区域分层分析体系，涵盖肺动脉、心肺等关键结构。多标签分类器在检测"肺动脉栓塞"等32种异常时，F1分数达56.7-60.9%。

显示该框架通过异常预测指导CTPA阅读代理生成区域化发现，再经报告写作代理合成符合临床标准的完整报告。

【异常诊断性能】
在PE检测任务中，模型AUROC(0.740)超越专用算法PENet(0.715)。

显示模型在肺部(0.82)和胸膜(0.79)区域表现尤为突出，对临床关键的胸腔积液、淋巴结肿大等异常识别准确。

【报告生成质量】
异常引导策略(Abn-Pred)使BLEU-4提升114.9%，

对比显示其显著优于器官导向方法。专家评估中90%案例认为异常引导报告更符合临床需求，尤其在"研究印象"部分准确突出PE相关结论。

【多模态预后预测】

显示四模态融合(Img+Clin+Dia+Text)将BUH队列C-index提升至0.863，决策曲线分析证实其临床效用跨越广泛风险阈值。

这项研究开创性地构建了PE诊疗全流程智能化解决方案，其核心突破在于：1)首次实现从影像解读到预后预测的临床闭环；2)异常引导的报告生成策略使AI输出更契合临床思维；3)多模态融合模型突破传统评分系统局限。尽管存在32种预设异常的覆盖局限，但框架设计支持灵活扩展。未来通过前瞻性验证和罕见异常检测增强，该技术有望重塑PE诊疗范式，为AI在急重症医学中的落地提供标杆范例。