《npj Sustainable Agriculture》:The quality of meta-analyses in agricultural sustainability has been increasing, but weaknesses persist
编辑推荐:
荟萃分析(Meta-analyses,MAs)对于为可持续农业实践(sustainable farming practices,FPs)的农业政策提供信息是必要的。本研究根据既定标准,评估了2000-2023年间发表并收录于最近出版的“JRC-农业实践证据库”
荟萃分析(Meta-analyses,MAs)对于为可持续农业实践(sustainable farming practices,FPs)的农业政策提供信息是必要的。本研究根据既定标准,评估了2000-2023年间发表并收录于最近出版的“JRC-农业实践证据库”(JRC-Farming Practices Evidence Library)中的570篇MAs的质量。研究人员发现,MAs的平均质量随时间显著提高(p?0.001)。然而,约三分之二的评估在至少四个方面存在缺陷,尤其是研究选择(study selection)和发表偏倚报告(publication bias reporting)。与畜牧业(animal husbandry)、粪肥管理(manure management)以及综合建模衍生结果(modelling-derived outcomes)相关的MAs显示出特别低的质量。不到40%的MAs提供了可获取的原始数据,限制了可重复性和再利用。这些缺陷可能阻碍MAs支持循证政策(evidence-based policy)的全部潜力。研究人员提出建议,以促进FAIR数据共享(FAIR data sharing)、提高认识并鼓励报告中的更大透明度,这对于加强MAs在农业可持续性中的作用是必要的。
**研究背景**
农业集约化对生态系统健康造成不利影响,包括温室气体排放增加、生物多样性丧失、土地退化和水体富营养化。因此,需要采用更可持续的农业实践(FPs),如低投入系统或有机农业。欧盟通过共同农业政策及绿色新政等框架推广可持续实践。为设计更有效的政策,需要强有力的科学证据来识别环境影响最小的FPs。荟萃分析(MAs)能够定量综合多个独立实验结果,增强统计效力,已成为支持政策制定的重要工具。然而,前期评估表明,MAs的质量参差不齐,存在发表偏倚评估不足、数据可重复性差等问题。随着MAs数量快速增长,亟需对其质量进行更新评估,并检验质量随时间的变化趋势。本研究旨在评估2000-2023年间发表的570篇MAs的质量,分析其随时间的变化,并评估原始数据对FAIR原则(可发现、可访问、可互操作、可重用)的符合程度,最终提出改进建议。论文发表在《npj Sustainable Agriculture》。
**研究内容与结论**
研究人员基于JRC-农业实践证据库(Version 2023)中570篇同行评审MAs的1313个评估(即针对特定FP与影响组合的荟萃分析评估),采用16项质量标准(涵盖系统综述范围、搜索策略、数据提取、统计分析、透明度和偏倚等方面)评估其质量。同时,从215篇提供原始数据的MAs中随机抽取54个数据集,额外采用8项标准评估其透明度、可重用性和质量。主要结论:MAs的平均质量分数从2002年的0.5(满足一半标准)显著提升至2022年的0.85(满足约14/16标准),但仅不足2.5%的评估满足全部标准;约三分之二的评估在至少四个领域存在缺陷,尤其是研究选择和发表偏倚报告;畜牧业和粪肥管理相关MAs质量较低,基于建模结果(如生命周期评估)的MAs质量低于实证研究;不到40%的MAs提供了原始数据,且数据集质量普遍较低,仅一个数据集满足全部8项标准。研究意义:揭示了MAs质量的持续改进趋势,但关键缺陷(数据可获取性、发表偏倚分析)仍制约其支持循证政策的能力,亟需加强FAIR数据共享和报告透明度。
**主要关键技术方法**
(1)系统综述与质量标准:采用基于PRISMA框架的16项标准(包括搜索策略、数据提取、统计分析、透明度等),对JRC证据库中570篇MAs进行质量评分;
(2)数据质量评估:对随机抽取的54个数据集使用8项额外标准(如地理坐标、数据DOI、代码脚本、标准化列名等)评估其FAIR符合度;
(3)质量趋势与组合分析:通过逻辑回归分析质量分数随时间的变化,并按照10类主要FPs与7类可持续性结果(如生物多样性、土壤健康)的58种组合,绘制质量分布热图,识别低质量组合;
(4)比较框架:将24项标准与PRISMA-2020、PRISMA-EcoEvo-2021及前期农业科学领域质量评估框架进行重叠比较(详见热图)。
样本队列来源:全部570篇MAs来源于JRC-农业实践证据库(Version 2023),通过Web of Science和Scopus检索获得。
**研究结果**
**Overall quality assessment of MAs on sustainable agriculture**
通过16项标准评估1313个评估(来自570篇MAs),发现MAs出版数量呈指数增长,平均每篇MAs包含的原始研究数量也显著增加(p?0.001)。质量分数从2002年的0.5显著提升至2022年的0.85(p?0.001),但仅极少数评估满足全部标准。最常缺失的标准包括:未以PRISMA流程图展示系统综述步骤(仅26%满足)、未分析发表偏倚(仅32%)、未提供单个效应量(仅35%)、未提供原始数据集(仅37%)。随时间变化,6项标准(如搜索策略、数据提取、统计分析)显著改善,但提供原始研究列表的标准反而下降(p?=?0.008)。
**Quality assessment by combinations of practices and outcomes**
针对10类FPs与7类可持续性结果的58种组合,发现21种组合的平均质量分数高于0.75(即满足12/16标准)。生物多样性相关评估质量较高(平均0.78),而畜牧业和粪肥管理相关评估在所有结果类别中质量均低于0.75。例如,有机农业和水管理在不同结果上质量不一。约25%的FP-影响组合缺乏高质量评估(分数>0.75),部分类别(如高效肥料、有机农业系统)中超过60%的影响类别完全没有高质量评估。基于建模研究的MAs(如生命周期评估)质量普遍低于实证研究,且大多数未达到高质量阈值。
**Assessment of the quality and re-usability of the primary data**
对随机选取的54个数据集(来自215个可获取数据集)的评估显示,仅一个数据集满足全部8项标准,约半数数据集质量分数不超过0.3。满足率最低的指标包括:提供实验地理坐标(<20%)、提供数据DOI(<20%)、提供分析脚本(<20%)。仅38%提供了完整的原始研究列表,约60%的数据集使用了标准化列名和元数据文件,略超过60%的数据集分别提供了干预和对照组数据,近50%使用了易于重分析的格式(如Excel或CSV)。
**讨论与结论**
讨论指出,MAs质量自2000年以来显著提升(年均约11%),反映了对PRISMA等报告指南的采纳增加。但重要方面(如研究选择标准、发表偏倚分析、原始数据可获取性)停滞不前或进展有限。原始数据的低可重用性严重阻碍了数据生态系统的良性循环,限制了荟萃分析的潜力。研究人员提出五项最佳实践建议:(1)促进数据共享和FAIR原则,利用数据仓库并加强期刊政策;(2)开展针对性培训以增强统计专业知识和个体效应量报告;(3)为模拟数据荟萃分析制定标准化报告指南;(4)显著扩展和改善基于模型的结果荟萃分析质量;(5)特别加强畜牧业和粪肥管理领域MAs的质量。结论翻译:实施这些最佳实践和改进需要科学界、期刊、政策制定者和资助机构的协同努力。通过这些步骤,可以增强荟萃分析的透明度、可靠性和严谨性,最终为促进更可持续和韧性农业部门的政策决策奠定更坚实的科学基础。