《Orthopaedics & Traumatology: Surgery & Research》：Artificial intelligence in systematic reviews and meta-analyses: Task-specific performance, residual error quantification, and human oversight
编辑推荐：
背景：已发表研究数量迅速增长，加剧了对可靠、定期更新的证据综合的需求。系统评价（SRs）和Meta分析（MAs）仍然是最高级别的证据，但其完成耗时且资源密集，通常超过一年。人工智能（AI）越来越多地被应用于自动化这一工作流程的各个阶段，然而对其性能和方法的严谨
背景：已发表研究数量迅速增长，加剧了对可靠、定期更新的证据综合的需求。系统评价（SRs）和Meta分析（MAs）仍然是最高级别的证据，但其完成耗时且资源密集，通常超过一年。人工智能（AI）越来越多地被应用于自动化这一工作流程的各个阶段，然而对其性能和方法的严谨性验证仍然有限。本文叙述性综述探讨三个问题：1）在SR/MA工作流程的哪些阶段可以可靠地使用AI；2）应如何对每项任务的AI性能进行基准测试；3）如何在人类检查后量化残余误差。方法：研究人员概述了传统Meta分析的原则和关键步骤，并考察了AI在每个阶段的贡献。文献来源于主要生物医学数据库；未进行系统检索。AI性能按任务总结，分别考虑基准测试和残余误差量化。结果：在整个工作流程中，AI的成熟度是异质的。在2025年对19项比较研究的系统评价中，生成式AI在搜索中遗漏了68.0%–96.0%的相关研究，在纳入决策中出现了0.0%–29.0%的错误，在排除决策中出现了1.0%–83.0%的错误，在数据提取中出现了4.0%–31.0%的错误，在偏倚风险评估中出现了10.0%–56.0%的错误。一项2025年的范围综述识别了37篇文章：15/37（41%）涉及搜索，14/37（38%）涉及研究选择，11/37（30%）涉及提取，33/37（89%）基于GPT，21/37（57%）为验证研究；20/37（54%）得出了乐观结论，但没有一个作为经过验证的实施。标题/摘要筛选最为成熟（敏感性99.2%，特异性83.6%），而全文筛选为97.6%和47.4%。对于30篇文章的结构化提取，一个工具达到了92.0%的精确率、召回率和F1值，但针对综述特定变量的敏感性降至77.0%–80.0%，在4/90（4%）的数据点中存在虚构；在107项试验中，提取准确率为96.2%（经优化后为97.9%），而平均时间从每项试验86.9分钟降至14.7分钟。偏倚风险评估最为脆弱（kappa 0.51，95% CI: 0.36?0.66）。对于残余误差，60个检查项目中0个错误对应于单侧上界95%置信区间为4.9%。讨论：AI正在将SR/MA向混合人机工作流程转变，而非取代它们。性能是任务特异性的，仅凭指标是不够的：应量化残余不确定性。当前证据支持AI作为人类监督下的辅助技术，而非自主使用。证据级别：IV级；叙述性综述。
**1. Introduction**
随着科研文献数量空前增长，队列研究和随机对照试验（RCTs）持续增长，导致证据体日益密集和复杂，加剧了对可靠、透明、可重复且定期更新的证据综合的需求。系统评价（SRs）和Meta分析（MAs）作为二级研究产出，其产生速度甚至超过原始研究。这些方法基于明确定义、结构化且可重复的过程，需要详尽的文献检索并严格遵循预定义方案和标准，以确保有效性并减少偏倚。数据提取作为关键步骤，要求对单个研究进行详细阅读、分析和解释，但仍极其耗费时间和人力资源，导致完成系统评价的整体时间线延长，常超过一年，这引发了对研究结果发表时相关性的担忧。为解决此问题，快速评价和持续更新的“活体”系统评价等替代方法已被开发。同时，人工智能（AI）技术，特别是自然语言处理（NLP）和机器学习（ML），正越来越多地被应用于自动化包括文献筛选和数据提取在内的关键阶段，有望显著减少综合时间，提高数据提取的稳健性和质量，并处理不断增长的数据量。然而，对其性能、可靠性和方法严谨性的验证仍然有限。本叙述性综述旨在探讨如何将AI整合到传统Meta分析的各个步骤，以提高效率同时保持方法论严谨性，并回答三个问题：1）在SR/MA工作流程的哪些阶段可以可靠地使用AI；2）如何对每项任务的AI性能进行基准测试；3）如何在人类检查后量化残余误差。
**2. Traditional meta-analysis: principles, key steps, and quality assessment**
**2.1. General principles and types of meta-analysis**
Meta分析是一种定量方法，将针对特定预设研究问题的独立研究结果相结合，以得出治疗效应的合并估计。它与系统评价密不可分，确保证据综合的全面性和无偏性。当严谨进行时，Meta分析被认为是循证医学中最高级别的证据之一。根据数据类型和方法学，可区分多种类型的Meta分析：最常见的是基于已发表研究汇总数据的分析，具有可及性和可重复性，但依赖于报告结果的质量和研究特定的分析选择；个体参与者数据Meta分析则基于原始患者水平数据，允许更详细和灵活的分析，但更复杂且资源密集。其他变体包括累积Meta分析（随时间更新证据）和网状Meta分析（在同一分析框架内实现多种干预措施间的间接比较）。Meta分析也可能因仅纳入随机对照试验或观察性研究而有所不同，每种都有其优势和局限性。
**2.2. Key steps of a meta-analysis and the role of systematic review**
Meta分析的可靠性依赖于结构化、预定义的方法学过程，主要由系统评价部分驱动，应遵循PRISMA等既定指南，包括多个顺序步骤：首先，明确聚焦的研究问题，通常按PICO框架（Population, Intervention, Comparator, Outcomes）构建；随后制定方案，指定纳入标准、结局和统计方法，并最好在PROSPERO等数据库中预注册以确保透明度和限制偏倚。然后进行全面的、系统的文献检索，涵盖多个来源，包括主要文献数据库（如PubMed, Embase, Google Scholar）、临床试验注册库（如ClinicalTrials.gov, WHO ICTRP）、会议摘要和论文集、已纳入研究的参考文献列表，以及必要时直接联系领域专家或研究者。随后，根据预定义的纳入标准筛选和选择研究，并使用经过验证的标准化工具（如用于RCTs的Cochrane偏倚风险工具RoB 2、用于非随机干预研究的ROBINS-I、或用于队列研究和病例对照研究等观察性研究的Newcastle-Ottawa Scale NOS）系统评估每项纳入研究的方法学质量。使用结构化表格进行数据提取以确保一致性和可重复性。最后，进行数据综合（即正式的Meta分析），计算每项研究的效应量及其方差，并使用加权模型（固定效应或随机效应）以及频率学派或贝叶斯推断将其合并为合并估计，并附上精确度度量（如95%置信区间CI）。对于随机效应Meta分析，还可报告预测区间。应评估和报告研究间异质性，并可进行敏感性分析或亚组分析等额外分析。结果解释必须考虑统计显著性、临床相关性和异质性。许多这些步骤，特别是文献筛选、数据提取和偏倚风险评估，是AI可以发挥重要作用的潜在领域，以提高效率、稳健性和可扩展性。
**2.3. Assumptions and quality assessment of meta-analysis**
在进行定量数据综合前，必须验证几个关键假设并明确方法学决策。核心考虑是固定效应模型与随机效应模型的选择。两种方法均有效，可互补使用，但该选择必须在研究方案中预先定义，不应根据观察结果修改。在主要分析中，通常首选随机效应模型，因为它通过假设真实效应量在研究间变化来解释研究间异质性，更好地反映了骨科研究中通常遇到的群体、干预措施和研究设计的多样性。固定效应模型假定所有研究存在单一共同真实效应，作为敏感性分析保留以评估结果的稳健性。使用Cochran's Q检验正式评估异质性，并通过I2统计量进行量化，同时报告研究间方差τ2。当识别出显著异质性时，通过亚组分析或Meta回归探索其潜在来源。通过漏斗图不对称性和正式统计检验（如Egger's或Begg's检验）评估可能扭曲合并估计的发表偏倚。最后，使用GRADE框架评估综合证据的整体质量和确定性，该框架基于偏倚风险、不一致性、间接性、不精确性和发表偏倚等因素，将证据体分为高、中、低和极低四个级别。
**3. Artificial intelligence across the systematic review workflow**
应区分两类工具：经典机器学习工具（如用于引文筛选的有监督分类器）和生成式AI，特别是大语言模型（LLMs），后者生成自由文本或结构化输出，是近期大多数提取和偏倚风险评估工作的基础。
**3.1. Current evidence and general overview**
近期综述表明，AI可辅助系统评价和Meta分析的多个阶段，但当前证据不支持在无人类监督下自主使用。Clark等人2025年的系统评价筛选了3071条记录并纳入19项比较研究，评估了生成式AI与人类在系统评价任务中的表现，错误率仍然显著：在搜索中遗漏68%–96%的相关研究，纳入决策错误率0%–29%，排除决策错误率1%–83%，数据提取错误率4%–31%，偏倚风险评估错误率10%–56%。据此，作者得出结论，当前证据不支持在没有人类参与或监督的情况下在证据综合中使用生成式AI。Lieberum等人2025年的范围综述识别了37篇文章：15/37（41%）涉及文献搜索，14/37（38%）涉及研究选择，11/37（30%）涉及数据提取；33/37（89%）使用基于GPT的模型，21/37（57%）是验证研究。结论总体异质，20/37（54%）得出乐观结论，但无一项作为经过验证的实施。这些发现表明，AI目前应被视为辅助技术，而非系统评价中人类专业知识的替代。
**3.2. Performance across key steps of the workflow (Fig. 1)**
**3.2.1. Study selection**
标题和摘要筛选似乎是AI最成熟的应用场景。在一项覆盖4个系统评价/Meta分析的验证研究中，Review Copilot在标题/摘要筛选中达到99.2%的敏感性（召回率）和83.6%的特异性，两次运行的平均一致性为95.4%，kappa值为0.83。在Spiero等人的研究中，在95%召回率下的阳性预测值（PPV，精确率）在预后综述中为0.115至0.400，在干预综述中为0.024至0.057；而WSS@95%分别从0.324到0.597和从0.613到0.895。对于标题/摘要筛选，召回率（敏感性）应作为主要基准指标，因为关键错误是错误排除合格研究。AI辅助全文筛选的证据基础仍然有限，在同一验证研究中，全文筛选的敏感性为97.6%，但特异性仅为47.4%。
**3.2.2. Data extraction**
对于结构化全文提取，当前证据表明在标准化变量上的表现优于综述特定变量。在Andersen等人的研究中，涵盖3个系统评价共30篇文章，Elicit达到92%的PPV（精确率）、92%的敏感性（召回率）和92%的F1分数，而ChatGPT分别为91%、89%和90%；某些研究设计和人群字段的敏感性达到100%，但针对综述特定变量的敏感性降至77%–80%，Elicit在4/90（4%）的数据点中出现虚构（confabulations）。在Lai等人的研究中，基于107项随机试验，Claude-3.5-sonnet的提取准确率为96.2%，Moonshot-v1-128k为95.1%，经大语言模型（LLM）辅助优化后增至97.9%，而平均提取时间从每项试验86.9分钟降至14.7分钟。
**3.2.3. Risk of bias assessment**
偏倚风险评估似乎是最脆弱的应用场景。在Suster等人的研究中，LLMs在5993个实例上直接预测RoB 2的F1分数仅为0.1至0.2，在涉及28,150个实例的分解设置中表现同样低下。在Taneri等人的研究中，ChatGPT-4o与人类评审员达到中等程度的一致性（kappa 0.51，95% CI: 0.36?0.66），识别高风险研究的敏感性为53%，分类低风险研究的特异性为99%。在100项随机试验的复制和比较分析中，不同模型版本和领域间的一致性差异显著，表明重复相同评估可能改变结果。推理模型并非始终更好，而结构化框架提高了多个领域的一致性；基于框架的方法总体一致率为68.8%，而原始ChatGPT-4o、o1和ChatGPT-4o-new分别为55.0%、54.2%和38.8%。
**3.3. Benchmarking AI-assisted workflows**
高质量系统评价的常规基准是完全由人类完成的流程，在每个关键步骤基于双重独立评估。在搜索和去重后，两名评审员独立筛选标题和摘要，然后独立评估全文文章以确定是否符合纳入条件。分歧通过讨论解决，必要时由第三位资深评审员仲裁。同样的双重程序应用于全文数据提取和偏倚风险评估。这仍然是参考标准，因为它减少了随机误差并限制了个人解释的影响，但资源密集且难以扩展。对于AI辅助工作流程，基准测试应保持任务特异性。对于标题和摘要筛选，主要指标应是敏感性（召回率），因为关键错误是错误排除合格研究。对于全文筛选，同样的安全逻辑适用，但资格决定更微妙。对于结构化提取，基准测试应按字段、任务和输出类型分别报告，以与人工提取的正确性为主要标准。对于偏倚风险评估，可以报告一致性，但应谨慎解释并按领域进行，因为底层判断本身是可变的和主观的。
**3.4. Statistical assessment of residual error**
仅观察到的性能不足以验证AI辅助工作流程。人类检查后的残余不确定性也应量化。Clopper-Pearson区间是二项比例的标准精确置信区间，其零事件情形是经典的三法则：在n次检查中观察到0个错误并不意味着真实错误率为零，只意味着不太可能超过约3/n。研究人员未提出新统计量，而是将其应用于AI辅助综述中的一个问题：人类检查后仍然合理的残余错误率。仅报告观察到的比率忽略了抽样不确定性，在小样本上可能看起来令人放心。正态近似区间在零事件和小n时不可靠，而精确区间则不然，在此情况下至少保持95%的覆盖率。因此，建议在观察到的比率旁边报告其单侧上界95%置信区间。这是一种补充性报告实践，而非经过验证的框架，且不取代任务特异性基准测试或人类监督。在此框架下，60个手动检查项目中有0个观察到的错误对应于真实错误率的单侧上界95%置信区间为4.9%。相比之下，仅10或30个项目中有0个错误仍与显著更高的残余不确定性相容。因此，小验证样本可能看似令人放心，但提供有限的统计保证。在小数据集中，完整的手动验证可能比部分基准测试更具辩护性。该框架提供了更保守和可解释的可靠性估计，特别是在看似完美性能可能掩盖显著残余不确定性的情景中。
**3.5. Auto-benchmark**
作为未来展望，跨模型不一致性也可作为AI辅助证据综合中的自动不稳定性信号进行探索：当多个模型对同一输出不一致时，这种分歧可能标记出更可能需要人工审查的项目。在此背景下，熵不是模型，而是一种信息论度量，衡量多个模型对同一项目输出的分散程度；当模型一致时熵接近零，不一致时熵高。然而，这些措施应被视为不稳定性的探索性指标，而非人类验证或针对参考标准的正式基准测试的替代。对于分类输出，模型间熵可用于量化投票分散度，而一致性统计量如kappa仍更适合量化一致性。在Zhou和Hu最近的一项研究中，对91个系统评价由两个LLM和人类评审员使用AMSTAR 2、CASP、PEDro和RoB 2评估工具进行评分，报告平均熵为0.42，PEDro和CASP的熵较低，表明熵可作为实用的分流信号，优先安排项目进行人工审查。
**4. Discussion**
本综述强调，AI正逐步改变系统评价和Meta分析的工作流程，但并未使其过时。相反，AI引入了从完全手动证据综合向混合人机协作方法的范式转变，反映了在医学以及经济学和商业等领域观察到的更广泛的增强决策转变。在整个系统评价过程的不同阶段，AI应用的成熟度仍然是异质的。标题和摘要筛选等任务表现出合理性能，敏感性和可重复性仍有改进空间，但仍足以考虑用于自动化辅助优先级排序，前提是保持人类监督。相比之下，更复杂的任务，如全文资格评估、非标准化变量的数据提取和偏倚风险评估，仍需要大量人类监督。这些结果也表明，提取不应通过单一全局分数来总结，而应按字段、任务和输出类型分别报告基准测试，因为性能在布尔输出、单字符串输出、列表或字符串集输出以及数值输出之间可能存在显著差异。实际上，LLMs可能在标准化或高度结构化的字段上表现良好，而在需要上下文解释、语义归一化或更复杂格式的输出上可靠性较低。因此，提取应主要基于字段级正确性指标（如精确匹配准确率或字段级错误率）与人工提取进行基准测试。这些步骤涉及上下文解释、临床推理和方法学判断，当前AI系统无法可靠地复制。主要风险不是随机误差，而是系统性的错误分类或提取错误，若无适当验证可能未被发现。两种错误类型后果不同：随机误差独立于项目，随研究积累而平均化，主要扩大置信区间并降低精确度；系统性误差不会抵消：一致的错误分类或提取偏差将合并估计向一个方向偏移，并可能改变其显著性，同时看起来仍很精确。在Meta分析中，有偏估计因此比不精确的估计更有害，因为它既错误又难以检测。这就是为什么研究人员针对系统性误差和残余误差边界而非仅精确度。提示设计也影响性能，尽管不均匀。语义上等效的指令可能产生LLM输出的大差异，包括在临床任务中。这种敏感性依赖于任务和模型，且并非总是存在：某些任务几乎不受措辞影响，较大、较新的模型更稳健，将重点从提示措辞转向提供的上下文。因此，研究人员既不推荐单一通用提示，也不推荐为每篇文章即兴编写提示，而应针对每项任务（筛选、提取、偏倚风险）预先指定提示，为可重复性进行报告，并在给定模型和综述的标注样本上进行验证，尽管这些差异随着更新和更大的模型趋于减小。重要的是，研究结果强调，仅凭性能指标不足以验证AI辅助工作流程。关键方面在于量化残余不确定性。即使在没有观察到的错误的情况下，统计不确定性仍然存在，特别是在小验证样本中。这凸显了需要整合观察到的准确性和置信区间的稳健验证框架，而非仅依赖点估计。这些数字依赖于2024-2025年测试的具体工具、模型版本和任务，且大多数研究仅测试了少数几个。鉴于模型变化速度之快，应将其视为快照，而非稳定或通用值。较低的若干性能数字反映了较旧的模型版本，可能低估了当前模型的能力，这本身也是验证每个AI辅助步骤时使用实际使用的模型而非依赖已发布基准的理由。这些数字应被视为最佳情况：大多数验证研究使用小样本和少量综述，可能过拟合且泛化性差；基准测试异质且很少共享；正面AI评价比负面评价更可能被发表。另一个关键问题涉及AI的认识论局限。虽然大语言模型可以复现文献中存在的模式，但它们也可能传播或放大现有偏见。此外，它们缺乏透明度，偶尔生成不存在或不正确的信息（“幻觉”），引发了对可靠性和问责制的担忧。这些局限性在证据综合中尤为关键，其中方法严谨性和可重复性至关重要。除了性能，透明报告AI的使用方式本身就是一个方法论要求：它允许评估AI的真实贡献并限制其滥用。对于每项任务，声明使用了哪些工具和模型，如何指定提示，以及如何验证输出，符合这一要求以及证据综合所期望的可重复性。因此，AI不应被视为取代系统评价和Meta分析，而应被视为一种赋能技术，在提高效率的同时保留人类专业知识的必要性。最有前景的方向在于发展增强工作流程，结合自动化流程与针对性的人类验证。在此背景下，研究者的角色从手动数据处理者转变为AI辅助管线的监督者，专注于批判性评估、方法学决策和结果解释。实际上，这意味着应根据可接受的残余不确定性水平系统地验证AI输出，而非仅基于性能指标假设其可靠。未来研究应旨在建立将AI整合到证据综合中的标准化指南，包括定义任务特异性基准、报告标准和适应AI辅助方法学的验证框架。此外，培训临床医生和研究人员适当使用和解释AI工具对于确保其安全有效实施至关重要。
**5. Conclusion**
系统评价和Meta分析在人工智能时代并未过时。相反，它们正在经历方法学转型。人工智能有潜力显著提高证据综合的效率和可扩展性，特别是对于耗时和重复性的任务。然而，当前证据明确表明，AI尚不能取代人类专业知识，尤其是在过程的复杂和解释性部分。循证医学的未来可能依赖于混合方法，在这种方法中，AI支持但不取代人类决策。在这一不断发展的格局中，挑战不在于AI是否会取代系统评价和Meta分析，而在于如何负责任地整合它以增强其严谨性、透明度和临床相关性。
