《Agronomy Journal》：Can LLMs automate data extraction in agronomic meta-analyses? A feasibility study on cover crops and soybean yield
编辑推荐：
大语言模型（LLMs）可简化文章筛选与数据提取，从而加速Meta分析证据合成；然而，其在农业科学中的应用仍有限。本研究评估了LLMs从一项已发表Meta分析的文章中准确提取数据的潜力。研究人员开发了一个多智能体LLM（GPT与Gemini）流程，对50项同行评
大语言模型（LLMs）可简化文章筛选与数据提取，从而加速Meta分析证据合成；然而，其在农业科学中的应用仍有限。本研究评估了LLMs从一项已发表Meta分析的文章中准确提取数据的潜力。研究人员开发了一个多智能体LLM（GPT与Gemini）流程，对50项同行评审研究进行筛选并提取数据。当LLMs结果不一致时，实施结构化的人机回环（human-in-the-loop）方案以解决不一致。随后，研究人员分析了由LLMs与人机回环工作流生成的合并效应量估计，并将其与已发表Meta分析进行比较。在已发表Meta分析报告的671个效应量中，GPT恢复180个效应量，Gemini提取244个效应量，而人机回环恢复293个效应量。人工审阅者必须核验全部提取效应量的71.5%。其余28.5%的提取效应量案例无需人工复核。这些结果表明，GPT与Gemini在综合并提取关于覆盖作物终止时间对大豆[Glycine max (L.) Merr.]产量影响的文章数据方面效率有限。准确的数据提取仍依赖文献报告实践，这凸显了采用标准化、机器可读格式以支持农业科学中可靠的人工智能（AI）辅助证据合成的必要性。
研究背景：Meta分析（meta-analysis）作为统计定量合成方法，已被推荐更密集地用于农学，以评估多样环境下种植制度的变异性。传统Meta分析通常包括界定研究问题、检索文献、选择效应量（effect size，用于量化处理效应大小的统计量）、选择分析方法、选择软件、编码数据、分析数据集和报告结果等关键步骤；但人工执行这些步骤往往劳动密集且耗时，文献检索、纳入排除核查和逐研究数据提取均需大量资源。农业科学已发表文章的统计、作物产量、土壤类型和气候数据报告非标准化，进一步加重劳动强度，并可能导致数据提取错误。大语言模型（LLMs, large language models）在人工智能（AI, artificial intelligence）领域取得显著进展，在医疗研究中显示出快速证据合成潜力，但也可能产生不一致总结及过度自信或不确定表述，需人工审阅者进行质量检查。农业领域LLM应用研究多聚焦手稿叙述总结，而非均值、变异性、样本量和效应量等定量数据的精确提取；农业实验设计异质和报告不一致构成自动证据合成挑战。因此，研究人员以一项已发表Meta分析为基准，实施跨家族多智能体管道（GPT与Gemini）结合人机回环（human-in-the-loop, HITL，模型分歧或不完整时由专家复核的流程），考察LLMs研究筛选和复杂效应量及方差提取相对人类专家的准确性、LLM增强数据集所得Meta分析结果的可靠性，以及HITL工作流的效率。研究结论表明，GPT和Gemini在提取定量数据方面效率有限，准确数据提取仍依赖文献报告实践，凸显标准化、机器可读报告格式对可靠AI辅助农学证据合成的必要性；其意义在于为AI辅助Meta分析的可行性、人工监督需求和报告规范提供实证依据。
关键技术方法概述（不超过250字）：50篇同行评审文章来自Muniz et al. (2025)已发表系统综述和Meta分析，作为人工复核基准；PDF经Landing.ai的Agentic Document Extraction转为机器可读文本并保留表格与图；筛选由GPT-5-mini与Gemini-2.5-flash独立完成，分歧由研究专家复核；提取采用五代理多智能体LLM流程，由GPT-5.1-2025-11-13（GPT）与Gemini 3 Pro Preview（Gemini）并行输出，依次完成元数据、研究设计、统计量、效应量数据集和模型特异性过滤；两模型一致案例标记为安全并通过，分歧或不完整案例进入HITL专家核验；最终在R 4.5.2的metafor包中完成效应量、方差估计与模型拟合，缺失方差按Nakagawa et al. (2023)方法处理，并开展七种敏感性分析和方差分析（ANOVA, analysis of variance）比较。
3.1 效应量提取与Meta分析（Effect size extraction and meta-analysis）：通过比较GPT、Gemini、HITL与已发表Meta分析恢复的效应量及合并估计，研究发现无一流程恢复全部671个效应量；GPT恢复180个，Gemini提取244个，HITL恢复293个；293个观测中有179个缺失计算标准差（SD, standard deviation）所需信息。已发表Meta分析合并效应量为log RR=0.03（95%置信区间[CI, confidence interval]：?0.02至0.08）；GPT为0.014（95% CI：?0.035至0.063），Gemini为?0.015（95% CI：?0.055至0.025），HITL为?0.007（95% CI：?0.049至0.034）；ANOVA等效检验Q(3)=2.32，p=0.5096，I
2=0.00%，表明各方法效应量估计高度一致。敏感性分析七种方案合并效应量范围为?0.021至0.008，所有p值为0.55–0.88，CI均跨0，表明覆盖作物对大豆产量无显著影响的结果对缺失SD假设稳健。结论是LLM提取不完整导致不确定性更宽和均值中等偏移，但方法间无显著差异。
3.2 人机回环工作流的效率（Efficiency of the human-in-the-loop workflow）：通过统计424个提取案例中两模型输出分歧或不完整而触发人工复核的比例及不一致来源，研究发现303例（71.5%）需HITL复核，121例（28.5%）模型一致无需人工干预。缺失SD或标准误（SE, standard error）最常见，为172例（56.77%）；缺失样本量55例（18.15%）；无关处理比较52例（17.16%）；处理标签错误12例（3.96%）；均值错误11例（3.63%）；样本量错误9例（2.97%）；SD错误9例（2.97%）；SE错误2例（0.66%）。LLM未能检索SE/SD主要因方差统计以图误差棒呈现而非表格数值，或主数据表完全省略；在可推导时，池化多因子设计缺少单元格级样本量n使模型无法可靠应用数学转换。结论是AI辅助提取仍受限，减少人工努力受关键定量信息报告不一致约束。
讨论部分总结：作者讨论LLM未能良好提取数据，常在信息存在时遗漏汇总统计，尤其从图或表提取时；缺失或不完整变异性报告仍需人工核验，复杂案例需大量人时和判断，真正节省时间存疑。失败模式包括幻觉、样本量错误提取、无关处理对比误用、图轴或图例误解、效应量遗漏或误报、单位不一致、误差棒不可靠提取。医疗领域较高性能可能反映临床研究标准化报告框架的广泛采用，而农学田间研究尚未统一建立此类标准。作者建议农业科学出版采用标准化汇总统计格式：以数值形式报告汇总统计而非仅从图推断；报告变异性（SE、SD或CI）；每个分析报告样本量；全文（含文本、表、图）统一变量、单位和缩写；尽可能共享分析数据集。HITL复核比从头提取省力，因自动流程已预识别数值及来源表图，但大部分提取数据仍需人工复核，全自动提取需进一步改进。局限包括仅评估一个已发表Meta分析（大豆产量对覆盖作物终止时间响应），可能限制外推；基准由同一作者组人工提取，存在提示优化偏差风险；模型架构性能差异；商业平台费用、闭源及偏向标准生物医学试验设计。未来应评估模型更新、多LLM、多作物、多农艺措施和多效应量指标，当前应谨慎整合并加强人工监督。
研究结论（翻译）：本研究展示了LLMs自动化农学Meta分析步骤的潜力与局限。LLMs（GPT与Gemini）在提取定量数据方面表现出较低效率，凸显仍需人工核验以确保Meta分析结果的完整性和准确性。农业科学中AI辅助Meta分析的采用仍取决于标准化、机器可读报告格式的实施。在这些标准广泛采用之前（如医学科学领域），LLM的潜力有限，应谨慎用于辅助农学Meta分析中的文献综合和数据提取。未来AI辅助Meta分析研究应聚焦改进LLMs以增强数据提取，并提高跨农业科学不同领域证据合成的质量和效率。
