《Ophthalmology and Therapy》：An Agentic AI Workflow for Automated Macular Hole Diagnosis and Structured Report Generation
编辑推荐：
引言 当前针对光学相干断层扫描（optical coherence tomography, OCT）的人工智能（artificial intelligence, AI）模型主要聚焦于将诊断作为独立任务。研究人员开发并验证了一种端到端智能体AI工作流，其整合了基
引言 当前针对光学相干断层扫描（optical coherence tomography, OCT）的人工智能（artificial intelligence, AI）模型主要聚焦于将诊断作为独立任务。研究人员开发并验证了一种端到端智能体AI工作流，其整合了基于OCT图像的黄斑裂孔（macular hole, MH）自动诊断与结构化、患者友好型报告生成。方法 所提出的由工作流编排智能体协调的序贯工作流包括图像诊断阶段和语言生成步骤。将自监督视网膜基础模型RETFound的OCT版本进行微调，用于将黄斑OCT扫描二分类为MH或正常黄斑。使用多个公开OCT数据集并以患者水平分层拆分进行训练、验证和内部测试，随后在两个独立数据集上进行外部验证。采用准确率、敏感度、特异度和受试者工作特征曲线下面积（receiver operating characteristic area under the curve, ROC AUC）评估微调后基础模型的性能。对于每张新OCT图像，AI智能体使用训练后的RETFound模型对图像进行分类，接收诊断输出，将其纳入结构化提示，并调用大型语言模型（large language model, LLM；GPT-4）生成临床报告。结果 在内部测试集（n = 180）上，模型准确率为100%（95%置信区间（confidence interval, CI）97.9–100%），AUC为1.00。在外部验证（n = 1014）中，准确率为98.8%（95% CI 97.9–99.3%），敏感度为97.9%（95% CI 96.3–98.8%），特异度为100%（95% CI 99.2–100.0%），AUC为0.999（95% CI 0.998–1.000）。梯度加权类激活映射（Gradient-weighted Class Activation Mapping, Grad-CAM）分析显示，预测由相关视网膜区域驱动，尤其是黄斑裂孔及邻近层。端到端智能体AI工作流为所有样本生成了简洁且标准化的患者友好型报告，且语言模型未影响诊断决策。结论 本研究证明了由工作流编排智能体协调的端到端AI工作流用于稳健的基于OCT的MH诊断并联合大型语言模型进行结构化报告生成的可行性。通过将基于图像的诊断与语言生成分离，该方法为虚拟玻璃体视网膜诊所提供了实用且可扩展的解决方案。
论文主体内容解读：
研究背景与目的：人工智能（artificial intelligence, AI）在眼科已用于诊断、预后和手术规划；在光学相干断层扫描（optical coherence tomography, OCT）上，深度学习可自动识别全层黄斑裂孔（macular hole, MH）并量化或分期。但现有OCT AI模型多只完成单一环节（如图像分类或分割），与临床工作流脱节，尤其缺少将诊断转化为患者可理解语言报告的环节。虚拟/混合玻璃体视网膜诊所（virtual/hybrid vitreoretinal clinics）用于应对患者量增长和资源优化，却仍依赖临床医生解读图像并撰写诊所信件和患者报告；清晰一致的解释耗时但对共享决策重要。视网膜基础模型经数百万未标注图像训练，较任务专用算法具更好泛化和标签效率（label efficiency）；大型语言模型（large language model, LLM）在患者教育中显示潜力；AI正从孤立预测模型转向由智能体调用多种工具的智能体AI工作流（agentic AI workflow）。为此，研究人员开展概念验证研究，开发并验证一个智能体AI工作流，将视网膜基础模型与LLM连接，用于疑似MH的OCT诊断和患者友好型报告生成。结论表明该端到端工作流可行，能将稳健的OCT MH诊断与结构化报告生成整合；通过分离图像诊断与语言生成保留诊断独立性，模块化架构（modular architecture）利于扩展，为虚拟玻璃体视网膜诊所提供实用可扩展方案，并为自动化OCT评估、诊断和报告提供概念验证。
关键技术方法：将RETFound-MAE（掩码自编码预训练的视网膜基础模型）OCT分支微调为MH/正常黄斑二分类；训练、验证和内部测试使用公开OCT数据集（MH来自CHU、OCTDL、OCTID；正常来自Kermany、OCTID、OCTDL），按患者水平分层拆分（patient-level stratified splitting）；外部验证用OIMHS（MH）和Noor Eye Hospital（正常黄斑）。以准确率、敏感度、特异度、ROC AUC评价，并用Grad-CAM及Adebayo et al.的参数随机化、删除测试评估可解释性。工作流智能体调用微调模型分类新OCT图像，将诊断纳入结构化提示（structured prompt），经OpenAI应用程序编程接口（application programming interface, API）（Chat Completions端点）调用GPT-4生成报告；两名眼科医生以三点量表（three-point scale）独立评价40份随机报告（20份MH、20份正常）。
研究结果
数据集特征（Dataset Characteristics）：2134张OCT图像用于RETFound微调，按患者水平分层分为训练、验证和测试集；另用两个外部数据集1014张图像独立验证。
模型训练性能（Model Training Performance）：微调中模型快速收敛，训练和验证曲线稳定，无过拟合（overfitting）迹象；F1和ROC AUC持续较高，按最高验证综合评分选择检查点。
内部测试集性能（Internal Test Set Performance）：内部测试集（n = 180；130张MH、50张正常）准确率100%（95% CI 97.9–100%），敏感度和特异度均100%，ROC AUC 1.00，混淆矩阵无错分。
外部验证性能（External Validation Performance）：外部验证集（n = 1014；563张MH、451张正常）准确率98.8%（95% CI 97.9–99.3%），MH敏感度97.9%（95% CI 96.3–98.8%），正常黄斑特异度100.0%（95% CI 99.2–100%），ROC AUC 0.999（95% CI 0.998–1.000）；12张MH误分类，正常图像无误分类。
可解释性分析（Interpretability Analysis）：Grad-CAM显示MH预测主要集中于黄斑裂孔及邻近视网膜层；正常图像无一致焦点，呈可变弥漫模式。参数随机化后归因图相关性低（平均Pearson相关系数?0.15，95% CI ?0.17至?0.13；MH为?0.10、正常为?0.21），删除测试中去除高重要像素可降低MH预测概率，说明高亮区域对决策有贡献。
自动诊断报告生成（Automated Diagnostic Report Generation）：智能体工作流用RETFound分类器和GPT-4为所有测试及外部样本生成简洁、标准化报告，报告嵌入预测诊断；LLM未分析OCT图像，也未影响诊断输出。
报告评价（Report Evaluation）：两名眼科医生独立评价40份随机报告（20份MH、20份正常），评定者间一致率（inter-rater agreement）92.5%（37/40）；92.5%（37/40）被两位评审均评为准确且充分。一名评审全部评为准确且充分；另一名将92.5%评为准确且充分、2.5%准确但不充分、5.0%不准确。不准确报告将白内障形成错误描述为MH手术相对罕见并发症；不充分报告遗漏视网膜脱离和眼压升高等风险。
讨论部分总结：讨论指出玻璃体视网膜疾病负担上升，虚拟/混合诊所可管理患者量并优化资源，但图像解读和报告撰写仍依赖临床医生；清晰一致的患者解释耗时却对共享决策重要。既往OCT MH研究覆盖纹理/形态学、深度学习诊断/分级/预后和分割，证实技术可行性，但多只处理临床路径单一步骤，与下游报告工作流脱节；RETFound等基础模型经约160万张视网膜图像自监督训练，具更好标签效率和外部泛化。本研究中内部测试完美表现可能因图像较同质、裂孔边界清楚且位于中央；严格患者水平拆分后外部表现稳健但非完美。模块化架构将诊断与语言生成分离：诊断仅由微调视网膜专用基础模型作出，GPT-4只将结构化已验证诊断转为患者友好报告，不分析图像且不影响诊断，各组件可独立验证、更新或替换。与通用视觉语言模型（visual language model, VLM）相比，后者在专家级OCT解释中可靠性有限；该设计保留诊断完整性、透明性和可扩展性。可解释性对临床采用重要，Grad-CAM显示预测由解剖相关区域驱动。局限包括仅二分类、未评估分期或预后；部分源数据“MH”标签未明确全层，未区分板层裂孔、假孔等；公共数据临床元数据不足，难以评估创伤性、小裂孔、高度近视或合并视网膜病变；基于单张2D B扫描而非容积OCT（volumetric OCT），可能漏诊小或偏心裂孔；外部验证数据集各仅含一个诊断类别（OIMHS仅MH、Noor Eye Hospital仅正常），不能完全排除人群、扫描仪和采集方案混杂，需多中心含两类数据验证；报告生成仅定性评价，未正式测量患者理解。未来应扩展至更复杂场景、多B扫描或容积OCT、图像质量评估、诊断置信度、电子健康记录（electronic health record, EHR）整合及不确定病例临床评估。
研究结论（翻译）：综上所述，本研究证明了由智能体AI工作流将用于稳健OCT黄斑裂孔诊断的视网膜基础模型与用于结构化报告生成的大型语言模型相结合的可行性。通过将基于图像的诊断与语言生成分离，工作流编排智能体协调专用AI组件，同时保留诊断独立性并允许模块化、可扩展部署。该方法结合两类模型优势并规避其主要局限，为虚拟眼科诊疗提供实用且可扩展的解决方案。
