利用医学知识构建自举式多模态大型语言模型，用于食管胃十二指肠镜检查的自动诊断与报告生成

《Nature Communications》：Bootstrapping multimodal large language model with medical knowledge for automatic esophagogastroduodenoscopy diagnosis and reporting

　　

摘要

食管胃十二指肠镜检查是诊断胃肠道疾病的重要临床手段，而由此产生的检查报告对临床决策和治疗方案的制定具有关键作用。本文首次尝试将多模态大语言模型与医学知识相结合，用于食管胃十二指肠镜检查的诊断与报告生成。我们收集了迄今为止规模最大的多中心食管胃十二指肠镜数据集，包含4461名受检者、203,838张镜检图像以及相应的4461份检查报告。实验结果表明，所提出的MLLM-EDR方法在19种胃肠道疾病的诊断中平均准确率为0.882，这一成绩优于现有的最先进人工智能模型（0.720）以及经验较少的内镜医师（0.784）。我们生成的报告在完整性和准确性方面可与经验丰富的内镜医师所撰写的报告相媲美。此外，该方法还将内镜医师的工作时间从7分钟大幅缩短至13.48秒。这些结果充分体现了MLLM-EDR在人工智能辅助食管胃十二指肠镜检查诊断与报告应用中的巨大潜力与重要价值。