《PLOS Digital Health》：Artificial intelligence-driven study selection in systematic reviews of randomized controlled trials, emulated trials and economic evaluation studies using large language models
编辑推荐：
系统评价（Systematic Reviews, SRs）是循证医学的关键支撑，但其研究筛选步骤往往耗时耗力。本研究评估了利用大型语言模型（Large Language Models, LLMs）自动化SR研究筛选与选择的可行性。研究纳入五项SR项目：两项已发
系统评价（Systematic Reviews, SRs）是循证医学的关键支撑，但其研究筛选步骤往往耗时耗力。本研究评估了利用大型语言模型（Large Language Models, LLMs）自动化SR研究筛选与选择的可行性。研究纳入五项SR项目：两项已发表的治疗性SR（SR1–2）、两项进行中的基于真实世界数据的模拟试验（emulated-trial）SR（SR3–4），以及一项经济性评价SR（SR5）。各SR初筛文献量分别为3966、3147、695、3096和485篇，最终合格研究数为20、24、46、32和70篇。研究人员以五篇研究作为训练集，基于PICOS框架迭代优化提示策略，采用“召回率优先（recall-first）”思路，评估了Gemini 2.0 Flash、Llama 3.1与Qwen 2.5在三模型下的题录/摘要与全文筛选表现，并以人类评审分类为参照，计算召回率、需筛数（Number Needed to Screen, NNS）及工作量缩减百分比（含95%置信区间）。题录/摘要阶段，Llama 3.1与Gemini 2.0 Flash召回率稳定于90.00%–100.00%与90.48%–100.00%，工作量缩减61.92%–97.10%与65.21%–97.03%；Qwen 2.5工作量缩减最高（76.16%–99.19%）但召回率最低（76.67%–88.89%）。全文选择阶段，Llama 3.1召回率最高（93.33%–100.00%），工作量缩减73.15%–97.41%，但推理较慢（约2.3–3.6分钟/篇）；Qwen 2.5召回率较低（66.67%–89.71%）而工作量缩减最高（80.82%–99.44%），推理亦慢（约3.0–4.2分钟/篇）；Gemini 2.0 Flash在召回率（83.33%–100.00%）、工作量缩减（76.71%–98.91%）与速度（约4–8秒/篇）间取得平衡。研究表明，在召回率优先提示框架下，LLMs（尤指Llama 3.1与Gemini 2.0 Flash）可大幅降低SR筛选工作量并保持高召回率；剩余挑战包括闭源模型可复现性及跨主题泛化性。
研究背景方面，系统评价（Systematic Reviews, SRs）联合荟萃分析是循证实践的核心，但研究筛选阶段需人工审阅海量记录以甄别少数合格文献，负担极重。既有自然语言处理（Natural Language Processing, NLP）工具（如Abstrackr、DistillerSR、EPPI-Reviewer、Rayyan、Covidence）多依赖监督式机器学习，需大量标注且对小规模SR可能反增负担；少样本学习（Few-Shot Learning, FSL）虽标注更高效，仍受限于输入长度（如384词元），难以用于全文选择。大型语言模型（Large Language Models, LLMs）具备长上下文与推理能力，但既往研究召回率波动大（25%–100%）。因此，研究人员在《PLOS Digital Health》报道了该项跨越题录/摘要与全文两阶段、覆盖治疗性SR、模拟试验SR与经济性评价SR的LLM辅助筛选研究，以探明其在真实SR流程中作为第二评审辅助工具的价值。
关键技术方法上，研究人员取自玛希隆大学拉马蒂博迪医院临床流行病学与生物统计科五项SR数据（SR1网片增强筋膜关闭预防疝气、SR2肾移植巨细胞病毒预防抗病毒治疗、SR3真实世界数据骨质疏松骨折预防、SR4真实世界高强度vs中等强度他汀、SR5心衰SGLT-2i/ARNI/Guideline-Directed Medical Therapy成本效用），以五篇研究（2合格3不合格）作训练集模拟早期SR；题录/摘要测试集剔除训练篇后含SR1 3937篇（18合格）、SR2 3055篇（21）、SR3 572篇（44）、SR4 2890篇（30）、SR5 365篇（68）；全文测试集由各LLM在题录阶段判为TP/FP及刻意保留的FN组成，篇幅约5200–7300词。模型选取开源Llama 3.1（2024-07-23）、Qwen 2.5（2024-09-19）与闭源Gemini 1.5 Flash升级版Gemini 2.0 Flash（2025-02-05），通过Python API执行；提示工程经V1基础、V2顺序PICOS、V3自问自答、V4定稿四版迭代，题录阶段采用“信息不明即判True”的召回率优先规则，全文阶段（V5）改为明确不满足则False。评估指标以召回率为首要，辅以精确率、假阴率（False Negative Rate, FNR）、需筛数（NNS1题录/NNS2全文）、需读数（Number Needed to Read, NNR）、工作量缩减%及Wilson/Wald 95%置信区间，并行三次重测（开源固定随机种子）。
研究结果部分，3.1题录/摘要筛选中，Gemini 2.0 Flash与Llama 3.1在SR1、SR3、SR4、SR5多达100.00%召回（SR2为90.48%与95.24%），工作量缩减中位89.72%与88.71%；Qwen 2.5召回中位仅81.82%、FNR最高达23.33%（SR4），虽工作量缩减中位96.54%。3.2全文选择中，Llama 3.1召回0–6.67% FN（SR1/SR2 100.00%），但单篇2.3–3.6分钟；Gemini 2.0 Flash召回83.33%–100.00%、单篇4–8秒；Qwen 2.5召回66.67%–89.71%、FN率10.29%–33.33%。3.3可复现性分析显示Llama 3.1/Qwen 2.5固定种子下三次完全一致，Gemini 2.0 Flash无种子仅NNS微浮动而召回不变。3.4错误分析指出Gemini漏判多因人群（P）域隐含条件（如≥50%符合、年龄亚组、间接推断用药），Llama漏判多因干预比较（I&C）或模拟试验设计（S）识别失败，Qwen则频现“任一”逻辑误为“全部”及临床概念缺失；阶段间稳定性上Gemini/Llama的TP→TP保留佳，Qwen的TP→FN横跨五项SR。
讨论部分总结，研究人员强调召回率优先契合SR方法论（漏掉合格文献致偏倚甚于多筛FP），Gemini 2.0 Flash以速度/一致性适大数据或时效场景，Llama 3.1以本地部署/可种子化适审计与透明场景，Qwen 2.5高缩减低召回不被推荐；误分类根因归为概念知识失败、逻辑失败与证据识别失败三类。结论部分译文如下：本研究证明了开源Llama 3.1与闭源Gemini 2.0 Flash在自动化题录/摘要筛查与全文选择中的强潜力，在优化提示框架下取得高召回、大幅工作量缩减与可接受可复现性；该框架可助降低评审负担，使LLM在人类监督下作为决策支持工具融入研究选择。进一步精炼提示设计、跨SR域评估、前瞻测试混合多模型策略、建立可复现与推理透明标准及用户端工具，是LLM筛选可靠扩展集成至SR流程的关键下一步。
