评估角膜专用大语言模型在复杂角膜病例中的诊断和管理准确性

《International Ophthalmology》：Evaluation of a cornea-specialized large language model for diagnostic and management accuracy in complex corneal cases

　　

摘要

目的

旨在评估增强检索生成（RAG）技术的角膜专用大语言模型（LLM），与通用型 GPT-4o 模型及未辅助的临床医生表现相比，是否能提高临床医生在复杂角膜病例中的诊断和管理准确性。

方法

这项前瞻性、随机、盲法评估研究涉及三名角膜科培训医生，他们在三种实验条件下各自独立回顾了 39 例真实世界角膜病例：未辅助、GPT-4o 辅助，以及由角膜专用 GPT-4o 模型辅助。角膜专用模型是通过将超过 200 篇公开的维基百科文章嵌入 GPT-4o 的 RAG 框架构建而成的。参与者提供开放式诊断并选择下一步管理方案（多项选择题）。每个病例允许最多三次 GPT-4o 查询，AI 辅助组别随机分配以最小化偏差。两项任务的准确性均使用麦克尼马尔检验与专家参考标准进行比较。

结果

未辅助情况下的诊断准确性分别为 48.7%、20.5% 和 38.5%，使用通用 GPT-4o 后提高至 69.2%、46.2% 和 59.0% (p<0.04)。角膜专用 GPT-4o 进一步将准确性提高至 71.8%、48.7% 和 74.4%，所有临床医生的表现均优于未辅助状态 (p<0.01)。对于下一步决策，未辅助准确性分别为 76.9%、87.2% 和 59.0%。使用专用模型后，眼科医生 3 提高至 71.8% (p<0.05)，眼科医生 1 保持在 82.1% 的高水平，而眼科医生 2 下降至 64.1% (p<0.05)。

结论

增强检索生成技术的角膜专用大语言模型提高了复杂角膜病例的诊断准确性，尤其是在基线表现较低的临床医生中。对管理准确性的影响不一致。未来研究应探索开放式管理任务的使用，并检查较小、精选的检索语料库是否能带来更好的模型性能。