大型语言模型能够预测社会科学实验的结果

《Nature》：Large language models can predict the results of social science experiments

　　

摘要

人们越来越关注大型语言模型如何推动社会科学与行为科学的发展^1,2,3,4,5。以往的研究已评估了大型语言模型预测调查回复的能力^6,7,8,9，但关于它们是否能预测社会科学实验的结果，尤其是那些未包含在训练数据中的实验结果，目前了解还不多¹⁰。在此，我们构建了一个包含70项在美国进行的预先注册、具有全国代表性的调查实验的数据库，这些实验涉及469种实验效应，共有119,330名参与者。我们让大型语言模型模拟美国普通民众对实验刺激的反应，然后通过比较不同条件下的模拟反应来推断实验的处理效应。由于GPT-4的训练数据截止时间早于我们数据库中许多研究的发表时间，它所做出的预测与实际处理效应之间存在高度相关性，其准确率与人类专家的综合预测相当。对于那些在模型训练数据截止日期之前尚未发表或公开的数据，以及那些来自知名开源模型的预测，相关性依然很高。尽管相关性很高，但这些预测仍存在系统性地高估效应大小的问题。在另一个包含15项大型研究、共606种效应的数据库中，虽然相关性较低，但仍与专家综合预测的水平相当。为探讨其对科学实践的影响，我们调查了460名社会科学家，了解他们认为这些技术的可能应用场景及潜在风险，并利用我们的数据库评估了几种应用场景（如试点测试、干预措施选择、确定需要重复验证的效应）以及相关风险（如偏差、滥用问题）。总体而言，这些结果表明，大型语言模型可以辅助科学实践中的实验方法，但同时也引发了关于如何负责任地使用这些技术的重要思考。