用于自动化多帧右上腹超声图像判读与临床决策支持的多任务框架

《Nature Communications》：A multitask framework for automated multi-frame right upper quadrant ultrasound interpretation and clinical decision support

　　

摘要

超声检查是急诊和肝胆成像的基石，但其解读仍然高度依赖操作员且时间敏感。在此，我们展示了一个多任务视觉语言智能体（VLM），旨在协助右上腹（RUQ）超声解读的诊断流程。该系统基于单一三级学术医疗中心的数据进行训练（9189 例病例，594,099 张图片），并在两个独立机构的数据集上进行了评估（1704 例病例，90,616 张图片；以及 108 例病例，3240 张图片）。该智能体将帧级视觉理解与基于报告的语言推理相结合，以执行三项任务：(i) 16 种临床发现分类，(ii) 诊断报告生成，以及 (iii) 基于超声发现和临床数据的手术决策支持。在分类方面，该模型在内部、科罗拉多大学和斯坦福队列中分别达到了 0.820、0.794 和 0.775 的宏接收者操作特征曲线下面积（AUROC），内部微 AUROC 为 0.865。它还生成了经过编辑的报告，在盲测评估中，放射科医生很难将其与专家撰写的版本区分开来。该智能体还利用生成的报告和临床数据预测了胆囊切除术。这些结果支持进一步评估视觉语言模型，以改善超声实践中的诊断一致性、报告效率和手术分诊。