《Nature Human Behaviour》：Simulated responses from large language models are weak proxies for human economic preferences across 74 countries
编辑推荐：
大规模调查（large-scale surveys）对于研究经济偏好（economic preferences）十分重要，但其实施成本高且速度慢。研究人员使用虚拟全球偏好调查（virtual Global Preference Survey）对74个国家67,
大规模调查（large-scale surveys）对于研究经济偏好（economic preferences）十分重要，但其实施成本高且速度慢。研究人员使用虚拟全球偏好调查（virtual Global Preference Survey）对74个国家67,201名匹配人类受访者模拟六种经实验验证的经济偏好。在20种大语言模型（LLM）配置、不同提示与稳健性检验下，个体层面对齐呈系统但温和：87.5%的Spearman相关其95%置信区间（CI）高于零；性别、年龄与认知能力维度上方向一致性为77.8%（95% CI，71.6%–83.1%），而文化维度仅48.1%（95% CI，45.1%–51.2%）。剔除人口统计信息比剔除国家标签时对齐更弱；许多模型中，经济欠发达与数字连接较弱国家的对齐也更弱。消融（ablation）与误差分解表明，国家标签之外的文化结构未被有效恢复。大语言模型（LLM）模拟响应可恢复部分个体与群体模式，但尚不能作为跨国代表性调查在宏观层面推断或政策评估中的可靠代理。
研究背景方面，大规模调查是经济学研究个体潜在偏好、补充显示偏好（revealed-preference）方法的重要工具，但构建抽样框、培训访员、提供激励与协调实地操作使调查昂贵且缓慢。近年来大语言模型（LLM，large language model）被用于生成调查或实验响应，以降低成本和加快迭代。然而既有文献警告，LLM存在身份扁平化（identity flattening）、向西方受教育工业化富裕民主人群偏移、统计功效被高估等风险；既往研究多聚焦政治意见与社会道德态度，对经济偏好这一连接个体行为、市场结果与社会福利的核心构念关注不足。由于偏好异质性是现化经济理论基石，且发展经济学强调政策对不同人群而非仅平均效应的影响，若LLM能预测人类经济偏好，便可生成反事实数据辅助政策分析，但其能否复现已记载的的人口与文化异质性仍存疑。该论文发表于《Nature Human Behaviour》，研究人员据此开展跨74国、多层级审计。
关键技术方法方面，研究人员以全球偏好调查（GPS，Global Preference Survey）为基准，该基准含76国逾80,000人并经验证激励实验任务；采用一对一数字孪生（digital-twin）面板设计，为每名人类受访者构造匹配人物（persona），以本地语言并本地化激励提示LLM回答相同问卷，部分模型设英文仅提示作稳健性检查；覆盖OpenAI、Google、DeepSeek的12种本地语言配置与3种英文配置，约70,000人物，后续以GPT-5.4-mini做5项提示组件消融、改述、响应约束与高温变体；利用GPS事后抽样权重聚合至国家均值，并以Spearman相关、均方误差（MSE，mean squared error）、Cohen's d、OLS与线性混合效应模型、国家不一致指数、世界价值观调查（Inglehart–Welzel）、Hofstede与Schwartz文化维度进行分类与回归。
研究结果方面，小标题“LLM-predicted preferences align positively but weakly with human preferences”中，研究人员计算个体池化Spearman相关，63/72显著为正，个体偏好指数标准化后MSE均值为1.827，接近人类基准方差两倍；国家层MSE为1.722，LLM预测仅解释个体层1.3%、国家层4.2%方差，且跨模型彼此正相关但共同偏离GPS，说明当前LLM共享一种脱离人类基准的输出规律性。
小标题“LLM-predicted preferences recover associations with age, gender and cognitive ability but are weak proxies for cultural differences”中，以95% CI一致性准则，人口统计层整体一致性77.8%（性别81.9%、年龄66.7%、认知84.7%），风险偏好与耐心达100%；文化层仅48.1%，风险偏好最高67.2%，Hofstede长期导向与耐心、不确定性规避与风险偏好等关系多数模型不能恢复，表明文化结构远弱于人口统计结构被复现。
小标题“Decomposing the sources of LLM–GPS misalignment”中，将GPS偏好对LLM预测回归并逐步加国家指示变量、人口统计变量；加国家几乎不改系数，加人口统计显著衰减系数，说明提示中人口信息比国家标签贡献更多个体对齐。国家不一致指数与人均GDP、ICT发展指数（IDI，Information and Communications Technology Development Index）显著负关，与人口和网民数无系统关系，误差沿国家结构集中且随经济发展而非语料规模变化。
小标题“Diagnostic evidence from ablation experiments”中，去掉性别、年龄、认知能力或国家信息后，demographic-persona与full-persona的MSE低于country-persona，人口维度效应量在含人口信息条件下约0.303，仅国家条件下约0.016；改述与英文提示未显著削弱对齐，不支持训练数据记忆主导。
小标题“Practical constraints of LLM-simulated responses in cross-national research”中，用LLM复制35项已发表国家层关联，最优模型仅16项同方向与显著性；个体层人口关联可复现50%–78%。女性亲社会偏好被12/12模型高估，响应多样性低于人类，高温仅部分恢复多样性，显示性别偏见与同质化是实际约束。
讨论部分总结方面，研究人员指出LLM对人类数据弱但系统对齐，能复现相当比例性别、年龄、认知梯度，但文化模式远不可靠；预测误差具国家结构性，固定效应解释可观方差，多模型中表现与经济发展和数字基础设施共变而非人口或网民规模；消融诊断表明人口线索比国家标签更易被模型条件化，各模型彼此一致却共同偏离人类。该发现反映更发达国家语言与数据在开发与训练中占比更高、数字化提供高质量结构化数据两种非互斥机制。论文警示：低收入国表现差而商业激励不足，可能使发展中地区文化知识欠代表，助长全球文化生态系统同质化与数字不平等。
研究结论翻译方面，如何在实证研究中负责任地使用LLM是紧迫问题。研究人员通过跨国调查场景评估以LLM生成响应之可行性，于个体、人口群体、国家与文化多层比对GPS人类数据，厘清其科学效用边界。若干发现尤为突出：LLM与人类数据呈弱但系统对齐；可复现大量性别、年龄与认知的人口统计梯度，但效应量未必总对齐；LLM生成响应恢复文化模式远不如人口统计模式可靠；预测误差具国家结构，国家固定效应解释可观误差方差，且多模型中国家层表现与经济发展和数字基础设施而非人口或互联网用户共变；消融实验提供诊断证据，提示中人口信息比国家信息更增进预测准确度；全程LLM彼此广泛一致，即便共同偏离人类数据。结果亦显示预测误差常较人口规模更紧密地追踪经济发展。两类非互斥机制与证据及LLM地理偏差文献一致：即便语言匹配，发达国家语言内容在开发与训练中权重更高；发达国家数字化更强，提供更高质量结构化数据。如《世界文化多样性宣言》所言，文化多样性关乎人类共同遗产，但LLM开发面临困境：低收入国表现较差，开发者却缺乏为其优化之商业激励。公平风险不小，下游中发达国家可更高效借AI于研究教育生产，发展中用户得本地适配更差之回答，长期致发展中文化知识欠代表、全球文化同质集中与数字不平等扩大。尽管有约束，个体与人口统计层对齐仍提示若干科学用途：于WEIRD人群用LLM探行为潜在动机结构以补形式决策理论；用LLM加速早期假设生成与研究设计诊断，在人样前识别有前景干预与测量策略及跨文化外推失败处。
