大型语言模型在罕见病诊断中的准确性：一项系统评价与元分析

《npj Digital Medicine》：Diagnostic accuracy of large language models for rare diseases: a systematic review and meta-analysis

　　

摘要

大型语言模型已被视为辅助罕见病诊断的工具，但关于其准确性的证据仍然零散。我们进行了系统评价和荟萃分析，检索了六个数据库（PubMed、Embase、Web of Science、Cochrane Library、arXiv和medRxiv；2020年1月–2026年2月），以综合分析基于大型语言模型的系统在罕见病诊断中的表现。我们找到了15项符合条件的研究，共涉及19个系统-数据集组合（总病例数N＝39,529例）。计算得出，综合召回率@1（R@1，即正确诊断排在首位的比例）为43.3%（95%置信区间为35.1–51.6%），差异性极强，I²＝99.6%，95%预测区间为11.6–78.3%，这表明在新的评估环境中，R@1值很可能与综合平均值有很大差异。那些经过检索增强、基于智能体推理或微调处理的大型语言模型系统（k＝8）的R@1值为52.5%（42.0–62.9%），而单纯的大型语言模型系统（k＝11；p＝0.004）的R@1值为35.4%（30.6–40.4%）；与整体综合结果类似，这一子组间的对比也仅具有描述性意义，因为两个子组内的差异依然很大（I²＞95%）。事后探索性分析显示，评估所用疾病的构成会影响性能：在Phenopacket Store上的R@1值低于在RareBench上的值，p＜0.001。这些研究结果表明，基于大型语言模型的诊断系统具有潜力，尤其是在结合外部知识后，同时也表明，疾病特异性信息的可用性——以疾病患病率作为可测量的指标之一——会影响到不同评估标准下的性能。不过，由于回顾性测试存在数据泄露带来的高偏倚风险，因此需要开展前瞻性研究来确立其临床应用价值，未来的评估也应采用能够识别数据污染的设计。