编辑推荐：
在环境系统证据合成中，标题和摘要筛选耗时费力。研究人员以电动汽车充电基础设施需求的系统评价数据为样本，测试 GPT 在该环节的效用。结果显示，GPT-4 表现出色，可大幅节省人力。这为环境研究自动化提供了新方向。
在科学研究的广袤领域中，系统评价是整合知识、为决策提供依据的关键环节。其中，标题和摘要筛选作为系统评价的起始步骤，却面临着繁重的工作量和高昂的成本。传统的基于机器学习的筛选工具，虽然能提供一定帮助，但需要大量多样的数据进行训练，且对研究人员的技术要求较高。随着大语言模型（LLMs）的兴起，如 GPT 和 Gemini 等，它们展现出强大的语言处理能力，为系统评价带来了新的希望。然而，LLMs 在环境和可持续性研究等领域的应用效果仍有待探索。在此背景下，来自瑞典斯德哥尔摩环境研究所（Stockholm Environment Institute）、隆德大学（Lund University）和皇家理工学院（KTH Royal Institute of Technology）的研究人员 Bj?rn Nykvist、Biljana Macura 等人开展了一项研究，旨在探究 LLMs 在环境系统证据合成的标题和摘要筛选中的效用，相关成果发表在《Environmental Evidence》杂志上。
研究人员为了测试 LLMs 的筛选性能，选取了近 12,000 条来自电动汽车充电基础设施需求系统评价的学术记录，这些记录此前已由人工筛选。在筛选前，研究人员通过对 100 条记录的一致性检查，确保了人工筛选的可靠性，三位评审员独立筛选后的评分者间一致性达到 88%。研究中使用了三个不同版本的 GPT 模型（gpt-3.5-0311、gpt3.5-0613、gpt-4-1106），通过 OpenAI API 向模型输入相同的提示，要求模型根据既定的资格标准判断标题和摘要的相关性，并给出 0 到 1 之间的相关性概率及决策依据。研究人员通过计算特异性（Specificity）、敏感性（Sensitivity，即召回率 Recall）、精确率（Precision）和节省工作量（Work Saved over Sampling，WSS）等指标来评估模型性能。
研究结果令人惊喜。在相关性概率截止值为 0.5 时，所有测试的 LLMs 版本都展现出了极高的召回率，接近或达到 100%，这意味着几乎没有遗漏相关论文。随着模型的更新迭代，筛选性能显著提升。例如，gpt-3.5-0311 在概率截止值为 0.3 时，成功筛选出 1,100 条记录且无假阴性错误；gpt-3.5-0613 在截止值为 0.7 时，筛选出 2,300 条记录；而最新的 gpt-4-1106 在截止值为 0.7 时，筛选出 6,700 条记录，且假阳性错误数量逐渐减少。当使用 GPT-4 模型且召回率为 100% 时，可节省超过 50% 的人工筛选时间；若将召回率设定为大于 95%（允许 5% 的假阴性错误），则可节省 75% 的时间。这一成果表明，GPT 在环境系统证据合成的标题和摘要筛选中具有巨大的应用潜力，能够显著提高筛选效率，节省人力成本。
研究结论指出，使用 LLMs 进行大量标题和摘要的筛选，在不出现假阴性错误的情况下，可节省超过 50% 的工作时间；若接受 95% 的召回率，使用 2023 年 11 月的 GPT4 模型可节省 75% 的工作时间。鉴于 LLMs 的快速发展，其在自动化筛选中的性能有望进一步提升。然而，研究也存在一定的局限性。LLMs 模型的持续调整和再训练降低了其透明度和可重复性，模型内部机制尚不完全清楚，结果具有概率性。此外，研究仅在一个特定领域的一个系统评价中进行，模型性能可能受该领域标题和摘要风格及报告质量的影响。未来的研究需要在多个领域进行测试，确定更稳健的概率截止值，评估 LLMs 筛选与人工筛选的一致性，并探索 LLMs 在全文筛选中的应用，尤其是针对包含大量灰色文献的综述。尽管如此，该研究为环境和可持续性研究等领域的系统评价自动化提供了重要的参考，为未来的研究指明了方向，有望推动相关领域研究效率的大幅提升。
