人工智能与人工数据提取在系统评价中的可靠性对比研究：现状与挑战

针对系统评价中人工数据提取耗时且易错的问题，研究人员对比了AI工具（Microsoft Bing AI）与人工提取300篇正畸学文献数据的差异。结果显示AI对简单变量提取效果良好（Kappa值0.65-1.00），但在研究设计类型（Kappa=0.16）和多中心数据（P<0.001）等复杂信息提取中存在局限，证实人类监督仍是确保SRs数据完整性的关键。

　　

在医学研究领域，系统评价（Systematic Reviews, SRs）被视为证据金字塔的顶端，但其数据提取过程却长期面临效率与准确性的双重挑战。据统计，传统人工提取的错误率可高达50%，而每位研究者平均需耗费数百小时处理文献数据。随着ChatGPT等大型语言模型（Large Language Models, LLMs）的爆发式发展，人工智能是否能够替代人工完成这项精密工作，成为学术界热议的焦点。

针对这一关键问题，由多国学者组成的研究团队开展了一项开创性研究。他们选取2019-2024年间发表在AJODO、EJO等7种正畸学旗舰期刊的300篇临床研究，首次系统比较了Microsoft Bing AI工具与双盲人工提取在15类数据项上的表现差异。研究设计极具临床实用性——将PDF文献直接上传至AI聊天界面请求特定数据，完全模拟真实科研场景。

研究团队采用了两项关键技术：1）基于ICCs（组内相关系数）和Kappa统计量量化人机一致性；2）通过多变量回归分析探究研究特征对提取准确性的影响。值得注意的是，所有AI提取结果均由两名独立研究员验证，严格遵循PRISMA（系统评价和Meta分析优先报告条目）规范。

研究设计分类暴露AI短板
在"研究设计类型"这一关键变量的提取中，AI仅达到0.16的Kappa值（属于"轻微一致"范畴），显著低于人工提取组。特别是在区分随机对照试验（RCT）与队列研究时，AI的误判率高达34%。进一步分析显示，当文献中使用"randomly assigned"等非标准术语时，AI的识别准确率骤降。

数字提取呈现两极分化
对于患者平均年龄、样本量等数值型数据，AI表现出色（Kappa>0.85），但在"研究中心数量"提取中却出现灾难性失误——将单中心研究误判为多中心的比率达28%（P<0.001）。研究人员发现，这与AI过度依赖"collaborative"等描述性词汇有关。

复杂语境成为AI盲区
当需要综合判断"试验组别划分依据"等需要上下文理解的变量时，AI的提取完整度仅为62%，远低于人工组的89%。典型错误包括将分层因素误解为排除标准，或将亚组分析误作主要结局。

这项发表在《Journal of Dentistry》的研究得出明确结论：现有AI工具虽能高效处理结构化数据，但在需要语义理解和逻辑推理的复杂提取任务中，仍无法摆脱对人类监督的依赖。研究首次量化了人机差异的边界——对于风险偏倚评估等关键环节，纯AI提取可能导致42%的错误传播至Meta分析结果。

该研究的临床意义深远：一方面为LLMs在循证医学中的应用划定了安全边界，另一方面揭示了自然语言处理（NLP）技术需要突破的瓶颈。正如通讯作者Despina Koletsi强调的："AI应当作为研究助理而非决策者，特别是在涉及临床实践指南制定的数据提取中"。研究团队公开了全部数据集，为后续开发更专业的SRs辅助工具奠定了基础。