一种用于眼底荧光血管造影逐步解读的临床视觉语言框架

《npj Digital Medicine》：A clinician aligned vision language framework for stepwise interpretation in fundus fluorescein angiography

　　

摘要

荧光素眼底血管造影是诊断视网膜血管疾病的重要手段，但其结果解读需要专业技能。本文介绍Clin-FFA-VLM，这是一种多模态视觉-语言框架，通过将FFA结果解读分为三个阶段——基于病变的视觉感知、临床报告生成以及诊断决策支持——来模拟视网膜疾病专家的认知工作流程。该模型在包含13,178张带有专家标注的FFA图像、以及21,717张配有1790份针对7种视网膜疾病的临床报告的多中心数据集上进行了训练和测试，其在病变检测方面的F1值为0.834，在报告生成方面的实体级F1值为0.73，而通过结合图像与自动生成的报告进行推理时，其诊断领域的F1值为0.77。在两家独立医院进行的外部验证也证明了其通用性（F1值分别为0.78和0.70）。在一项涉及200例FFA病例的前瞻性研究中发现，Clin-FFA-VLM显著提升了医学生和住院医生的诊断准确性（p?<?0.05），从而缩小了自动化系统与临床实践之间的差距。