《Phenomics》：Artificial Intelligence-Assisted Systematic Literature Reviews in Metabolic Phenotyping: A Methodological Framework and Validation Study
编辑推荐：
系统文献综述被广泛认为是多数证据等级体系中的最高形式，但非常耗时且劳动密集。人工智能（AI）的出现为加速综述过程提供了可能性。研究人员提出了一种整合AI的系统文献综述方案，并基于人工构建的金标准评估了AI的准确性。人类研究人员对PubMed上关于长新冠（Lon
系统文献综述被广泛认为是多数证据等级体系中的最高形式，但非常耗时且劳动密集。人工智能（AI）的出现为加速综述过程提供了可能性。研究人员提出了一种整合AI的系统文献综述方案，并基于人工构建的金标准评估了AI的准确性。人类研究人员对PubMed上关于长新冠（Long COVID）的代谢组学文献进行了系统性文献综述。随后通过应用程序编程接口使用OpenAI模型o3-mini执行系统文献综述的三个关键阶段：1）根据纳入标准筛选文章，2）使用基于既定质量标准的定制化代谢组学工具评估文章的风险偏倚（RoB），3）从文章中提取数据。通过评估准确率、阴性预测值、精确率、灵敏度、特异度、F1分数和Cohen's kappa，将AI的表现与人工创建的参考标准进行对比。在识别的320篇文章中，33篇符合所有纳入标准。AI在约10小时内、成本约15.35美元的情况下，分别以92.7%±4.9%、91.9%±5.9%和92.0%±9.2%的平均准确率完成了筛选、RoB评估和数据提取，而人类评审员以双人形式完成这些步骤耗时约116小时，按最低工资折算约2000美元。OpenAI模型o3-mini能够独立完成代谢组学领域系统文献综述的三个主要阶段，从而以极低成本显著缩短此类综述的完成时间。尽管如此，人类评审员仍需始终验证AI生成的输出，以确保其稳健性。
**论文解读**
**研究背景与问题**
系统文献综述是医学证据等级中的重要组成部分，能够为特定主题提供严谨全面的证据汇总，但这一过程耗时费力（平均耗时67.3±31.0周，涉及5位作者）。在代谢表型（metabolic phenotyping，即代谢组学metabolomics）领域，文献涵盖大量与疾病相关的代谢物，系统性综述不仅能综合验证跨队列的代谢物变化，还能评估分析方法的报告质量。然而，传统人工综述流程（如筛选、风险偏倚评估、数据提取）在双人独立操作下需投入大量时间与成本。大语言模型（LLMs）的出现为加速综述提供了可能，但现有研究显示AI在筛选、偏倚评估和数据提取中的准确率差异较大（如筛选遗漏率可达68%-96%，偏倚评估一致性仅41%），且存在对输入质量敏感、伦理责任不清等问题。因此，研究人员提出一种整合AI的系统文献综述方法论框架，并利用长新冠（Long COVID）代谢组学文献进行验证，旨在评估AI在三个关键阶段的准确性、时间与成本效益。
**研究内容与结论**
研究人员开发了一套混合人机工作流程，由人类检索文献（PubMed数据库，2019年10月至2025年3月），再利用OpenAI模型o3-mini通过API完成筛选、风险偏倚（RoB）评估和数据提取。针对长新冠人群，研究人员定制了包含4个领域22个条目的RoB评估工具（基于U等2022年工具修改），并设计了14个结构化提示（prompt）。与人工双人创建的金标准对比，AI在筛选（4个纳入标准）、RoB评估（22个条目）和数据提取（23个参数）中的平均准确率分别为92.7%±4.9%、91.9%±5.9%和92.0%±9.2%，耗时约10小时、成本约15.35美元，而人工双人完成需约116小时、约2000美元。AI的错误主要由信息遗漏（50.6%）、理解错误（29.9%）和指令遵循错误（13.4%）导致。研究结论表明，AI能显著加速代谢组学系统文献综述，但人类需始终验证其输出。该论文发表在《Phenomics》。
**主要技术方法**
研究采用的关键技术方法包括：1）文献检索由人类在PubMed进行（检索日期2025年3月13日，时间范围2019年10月至2025年3月，并辅以人工前向引文追溯）；2）使用OpenAI模型o3-mini通过API执行三个综述阶段，输入为文章摘要或全文PDF（附补充材料）；3）开发定制化RoB评估工具（4个领域：研究设计、化学分析、数据分析、代谢物鉴定，共22个条目，评分设为低/中/高偏倚）；4）设计14个结构化提示（Prompt），每个提示包含具体任务指令、输出格式要求（JSON结构）及if-else逻辑；5）通过准确率、阴性预测值、精确率、灵敏度、特异度、F1分数和Cohen's kappa评估AI与金标准的一致性，并对错误进行多维分类（7类）。
**研究结果**
- **筛选阶段**：AI在“原始研究”标准（使用o1-preview模型）准确率98.4%（κ=0.957），在“人类研究对象”标准（o3-mini模型）准确率97.1%（κ=0.938），在“长新冠患者与对照人群”标准准确率86.6%（κ=0.732），在“代谢表型分析”标准准确率90.8%（κ=0.818）。平均准确率93.3%±5.5%，耗时<3小时，成本4.85美元。
- **风险偏倚评估**：针对33篇纳入文章，AI在22个RoB条目上的准确率范围为81.8%-100%，平均准确率91.9%±5.9%。完成耗时约3小时40分钟，成本<6美元，人工双人则需约40小时、约650美元。
- **数据提取**：在23个参数中，平均准确率92.0%±9.2%。各领域准确率：研究设计94.7%，症状92.2%，人口学92.9%，感染史83.8%，样本分析93.9%。最低准确率（57.6%）出现在提取“感染至参与研究的时间间隔”参数，原因多为信息遗漏（不同研究对此变量的表述方式差异大）。AI完成数据提取耗时约3.5小时，成本4.50美元。
- **错误分析**：AI共产生164个错误，主要类型为信息遗漏（n=83，50.6%）、理解错误（n=49，29.9%）、指令遵循错误（n=22，13.4%）、幻觉（n=14，8.5%）、推理错误（n=19，11.6%）、来源相关错误（n=11，6.7%）。
**讨论与结论**
讨论部分指出，本研究首次在代谢组学系统文献综述的三个关键阶段（筛选、RoB评估、数据提取）全面评估AI性能，平均准确率均超过90%，显著优于既往报道（如Eisele-Metzger等2025年针对RCT的RoB评估一致性仅41%）。AI的高准确率得益于精心设计的结构化提示和定制化RoB工具。然而，AI仍存在信息遗漏、理解偏差和幻觉等问题，尤其是在信息表述不一致的领域（如感染时间间隔）。因此，研究人员建议采用混合人机工作流程：人类负责文献检索，AI作为第一评审员完成筛选、RoB评估和数据提取，人类随后验证并纠正AI的输出。研究还提出了AI提示设计模板（包含背景、指令、输出格式、任务说明）和最低报告标准建议（如STROBE、CONSORT及本研究的RoB工具条目）。局限性包括：仅针对单一疾病领域、单一AI模型、样本量较小（33篇文章），且AI的随机性（stochastic）需通过参数调整（如seed、temperature）加以控制。此外，AI使用涉及能源消耗与碳排放，以及伦理问题（如作者归属、透明度）。结论翻译如下：
**结论**：研究人员提出了一种将AI纳入系统文献综述过程的新工作流程。研究人员调查了AI在根据四个纳入标准筛选摘要、针对22个RoB标准评估文章质量以及提取23个参数（包括描述性、人口统计学和分析细节）方面的表现，发现这些阶段的平均准确率为92.0%±7.5%。AI在大约10小时内完成了这些步骤，而人类评审员以双人形式完成该过程耗时约116小时。使用OpenAI的o3-mini模型运行此工作流程的相关成本约为15.35美元（每篇文章约0.45美元），而按最低工资手工完成该工作流程则需约2000美元（每篇文章约60.6美元）。这些结果表明，AI有潜力以极低的成本和有限的人工干预需求，显著缩短进行系统文献综述所需的时间。尽管如此，仍需注意手动验证AI的响应以确保准确性。研究人员建议采用一种创新的混合AI-人类工作流程，即人类研究人员从在线数据库中搜索和检索文献，然后由AI独立完成纳入标准筛选、RoB评估和数据提取，再由人类研究人员验证并在必要时纠正AI的初步结果。在RoB评估方面，研究人员基于既定的质量标准开发了一种针对代谢组学研究的新工具。该工具可作为代谢组学领域期刊的最低报告标准指南，有利于代谢物鉴定的可重复性和准确性。重要的是，本研究通过长新冠的代谢表型研究将AI整合到系统文献综述工作流程中，但该方法可利用所提出的工作流程和提示模板通用地适应于其他研究领域。未来研究应集中于考察AI在将当前工作流程应用于其他主题时的准确性，测试新型AI模型能否无错误地完成相关任务（潜在的低风险任务可独立完成而无需人工验证），解决与AI在研究中使用相关的伦理问题，推进创新以改善可持续性并减少密集AI使用相关的碳足迹，以及创建用于AI辅助证据合成的用户友好型软件。总之，本研究的结果表明，人类研究人员和AI可以共同协作完成系统文献综述，尽管在将所提出的工作流程推广到其他研究领域和其他AI模型时，以及在处理与密集AI使用相关的伦理和环境问题时需谨慎。
