人类与人工智能的风险偏好与参照依赖性比较：基于角色模型的微调方法

《Journal of Behavioral and Experimental Economics》：Comparing Risk Preferences and Reference Dependence in Humans and AI: A Persona-Based Approach with Fine-Tuning

　　•在收益面前，人类与人工智能都表现出类似的风险规避倾向，但在损失面前则存在差异。•在损失情境中，人工智能比人类更具风险追求行为。•基于角色设定的人工智能比人类决策更能放大人口统计因素的影响。•利用人类选择数据对模型进行微调，尤其是针对损失情况，能够缩小人类与人工智能之间的差距。•通过样本外评估（布里尔分数和对数损失）可确认两者的一致性有所提升。

引言
随着人工智能日益自动化地处理决策过程，其合理性与可解释性引发了诸多担忧。人类参与式决策框架将人类与人工智能结合用于经济决策中（Rahwan，2018；Rahwan等人，2019），为解决这些问题提供了理论与实践层面的方案。理解人类与人工智能之间的偏见结构，对于把握人类参与式决策的价值至关重要。人工智能往往会从训练数据中继承偏见，从而延续过去经济行为与制度中存在的结构性偏见。与此同时，行为经济学研究表明，人类的决策也会因情绪驱动的认知偏见而出现系统性偏差。了解这些不同的偏见结构，并设计出能让人类与人工智能相互纠错的模式，是实现理性决策的关键。因此，在设计基于人类参与式决策的系统时，必须从理论与实证角度分析算法偏见与认知偏见之间的共性与差异，为构建能够充分利用人类判断力与人工智能推理优势的可靠决策支持系统奠定理论基础。

在政策制定领域，生成式人工智能作为决策支持工具的作用也越来越受到关注。生成式人工智能可通过总结和生成与政策相关的信息、辅助决策等方式，为政策制定过程提供帮助。但同时，人们也担心它可能会制造和传播错误信息，加剧针对特定社会群体的偏见，甚至扩大现有的社会经济不平等。这些因素表明，必须仔细评估将人工智能应用于政策制定的利弊（Capraro等人，2024）。此外，要有效利用生成式人工智能作为决策工具，还需了解人类决策中偏见可能以何种方式系统性产生。

要推进这一研究方向，首先需要明确人类决策中存在的系统性偏见。人类往往偏离标准效用最大化模型的预测。特别是在面临风险或不确定性时，现有研究观察到了诸如损失厌恶之类的行为模式。卡尼曼与特沃斯基（1979）将这些倾向归纳为一个名为“前景理论”的理论框架，该理论为研究各种非理性决策提供了基础。特沃斯基与卡尼曼（1992）估计损失厌恶的程度约为λ=2.25，认为人们感受到的损失强度大约是同等收益的两倍，因此倾向于避免损失。Falk等人（2018）对76个国家的约8万名个体进行了跨国调查，发现损失厌恶不仅因文化不同而存在差异，还会因年龄、性别和教育程度等个体特征而有所区别。Brown等人（2024）对经济学与心理学领域的150项研究进行了元分析，得出的损失厌恶系数中位数为λ≈1.69。这些研究结果为理解人类行为提供了基础，有助于设计人类参与式决策系统，尤其是明确人类在该系统中所扮演的角色。

近年来，以ChatGPT为代表的生成式人工智能的兴起，引发了人们对其是否也具有人类常见认知偏见的兴趣。由于生成式人工智能模型是在大规模人类生成的语言数据上训练的，它们可能天生就具备类似人类的倾向与偏见。如果生成式人工智能能够复制这类偏见，那么它就可以在社会调查、经济实验和政策模拟等领域作为一种实用的替代方案。然而，人们仍然担心偏见会被放大，且人工智能生成的输出具有不可预测性。因此，了解人工智能反应的行为模式与局限性已成为一项重要的研究课题。在此背景下，越来越多的研究开始比较人类与人工智能的决策模式，以找出二者之间的相似之处与差异。

一个关键问题是，为生成式人工智能赋予特定的角色设定是否能让其输出更接近人类行为。角色设定指的是为一人工智能代理赋予一组假设的个体属性，如年龄、性别、教育水平、收入和文化背景，以此使其生成更加一致且具个性化的响应。许多先前的研究将这类属性信息直接嵌入提示词中，结果表明这能提升输出的一致性。Park等人（2024）利用1,052名美国受访者的详细访谈数据，测试了在赋予年龄和政治倾向等属性后，人工智能代理在复制真实人类行为方面的表现，其匹配率高达85%。Jia等人（2024）为GPT模型赋予不同的人口统计特征，进而测量它们的风险偏好与损失厌恶程度，发现性别和教育程度差异会显著影响估算出的损失厌恶系数与概率权重。总体而言，这些研究结果表明，生成式人工智能能够复制类似人类的行为模式，为未来的实证研究与应用研究提供重要启示。

多项研究表明，生成式人工智能在收益与损失情境中呈现出一致的规律。一个普遍的观察结果是，生成式人工智能的风险偏好与人类存在一定差异。Qiu等人（2024）指出，GPT-4的损失厌恶系数为1.09，而实际消费者的这一数值为2.56，这说明该模型低估了损失相对于收益的重要性。Jia等人（2024）发现，尽管生成式人工智能总体上表现为风险规避态度，但它倾向于高估罕见事件的概率。同时，模型间的比较也揭示了几处重要差异。Ross等人（2024）证明，与其他模型如Claude和Gemini相比，GPT-4生成的偏好结构最为稳定且更接近人类行为，后两者的输出变化更大。Chen等人（2025）指出，人工智能的偏好对提示词的表述极为敏感，即使面对相同的决策任务，生成式人工智能也会根据上下文线索产生不同响应，这说明其缺乏内在一致性，且在很大程度上依赖于提示词的设计。

微调是指利用与特定任务或领域相关的额外数据对预训练的基础模型进行重新训练，从而调整其输出倾向与性能，以达成特定目标。虽然许多现有研究并未明确使用人类数据对模型进行微调，但他们担心作为人类参与式决策框架组成部分的“基于人类反馈的强化学习”可能会显著影响模型行为。Santurkar等人（2023）发现，大型语言模型往往倾向于输出偏向自由派、高教育水平和高收入群体的内容，而较少体现老年人、低收入人群以及宗教群体的观点。“基于人类反馈的强化学习”过程可能会强化特定的价值体系，进一步放大原有的偏见。Hagendorff等人（2023）指出，尽管这种强化学习提升了模型避免直觉错误、生成准确响应的能力，但也有可能使模型深陷某种规范假设之中。与之不同，Park等人（2024）采用了一种不同的方法，即通过将真实的人类响应数据嵌入提示词中来构建独立的人工智能代理。虽然这并不属于正式的微调，但它实际上将人类知识注入了模型，起到了隐性校准的作用。这些研究结果表明，当生成式人工智能受到社会属性与语境影响的约束时，会表现出类似人类的行为倾向，但在不同情境下仍缺乏一致的判断能力。尽管“基于人类反馈的强化学习”可能提升响应的连贯性与质量，但目前对其效果的实证评估仍较为有限。因此，评估微调前后生成式人工智能在复制人类决策偏见方面的表现，是行为经济学与应用人工智能领域的重要研究课题。

本研究聚焦于“参照依赖性”，这一概念与风险偏好及损失厌恶的敏感性递减密切相关。本研究旨在通过实证方法，分析人类与生成式人工智能（GPT-4）在决策偏见方面的相似性与差异性。具体而言，它探讨了个体属性如何影响这两种主体中的这些偏见。我们设计了一个统一的实验框架，通过为人类与人工智能设置相同的任务来分析偏见的存在及其方向。我们对4,838名日本成年人进行了全国范围内的在线调查，研究了年龄、性别、家庭收入等个体属性与其响应模式之间的关系。基于这些人口统计特征，我们构建了虚拟角色，并在多种温度参数设置下向GPT-4提出相同的问题组。随后，我们通过定量比较人工智能生成的响应与人类的偏好，来评估二者在决策结构上的差异程度以及一致性水平。

目前观察到的参照依赖性表现为：在收益情境中表现为风险规避行为，而在损失情境中则表现为风险追求行为，其中以零日元作为参照点。我们的实证分析显示，在收益情境中，人类与GPT-4o都表现出大致相似的风险规避模式。而在损失情境中，GPT-4o的风险追求倾向明显强于人类，这表明二者在风险态度上存在差异，这种差异可能源于参照依赖性的程度或功能形式的差别。此外，研究结果还表明，GPT-4o在决策过程中对人口统计线索更为敏感，年龄和收入等个体属性对人工智能生成响应的影响，要大于其对人类决策的影响。

我们还利用关于人类参照依赖性的网络调查数据对人工智能模型进行了微调。研究结果显示，经过微调后，人工智能在风险偏好模式以及人口统计属性的边际效应方面，变得更接近人类的倾向。不过，在收益与损失情境中，这些倾向似乎都存在一定的过度反应。我们还使用了布里尔分数和对数损失作为补充指标来评估相似性。经过微调的人工智能在风险偏好与参照依赖性方面，其响应分布更接近人类的选择模式。

此外，本研究也可被视为一种利用人类知识来评估和进一步训练机器学习模型的研究范例，因为它运用人类响应数据来评估并调整生成式人工智能的响应倾向。不过，本研究并非以设计人类参与式决策系统——即人类与机器在决策过程中共同协作——作为分析对象。它的核心目标是通过为人类与生成式人工智能布置相同的任务，并比较二者响应的相似性与差异性，来探讨生成式人工智能作为虚拟主体在多大程度上能够再现既有的行为经济学中的风险偏好与参照依赖性模式，以及通过基于人类选择数据的进一步训练，这些模式可能会发生怎样的变化。

本文的其余部分结构如下：第2节回顾了以往将生成式人工智能与人类行为进行比较的研究；第3节介绍了调查设计与数据收集流程；第4节阐述了基于人类选择模式的微调过程；第5节介绍了行为偏见的估算方法，比较了人类、预训练人工智能与微调后人工智能的风险偏好倾向，并总结了它们之间的相互关系；第6节阐述了主要研究结论；最后，第7节对研究进行总结，并提出了未来的研究方向。在OpenAI的GPT模型中，表3展示了针对各个问题，人类、预训练AI和微调后AI的选择结果。对于每个问题，都会定义一个二元变量：选项1（确定的10,000日元的收益/损失）记为1，选项2记为0。该变量的平均值代表了选择选项1的平均比例。我们首先来看在线调查的结果。对于问题1，88.4%的人类受访者选择了选项1（确定获得10,000日元），而只有11.6%的人选择了选项2。

基于第5节中的分析，预训练AI在收益领域表现出与人类受访者相似的规避风险倾向。预训练AI在复制人类决策行为方面具有很高的一致性。特别是在问题1上，无论是人类还是预训练AI，选择选项1的比例都约为90%，这表明其行为符合前景理论的预测。同时，通过对……的比较可以得出结论。

本研究探讨了人类与生成式AI（GPT-4o）在风险偏好和参照依赖方面的决策倾向。它重点分析了由属性信息定义的角色设置对AI响应的影响。此外，我们还研究了生成式AI是否可以通过整合人类决策数据来复制人类行为模式，并评估了微调在提升AI与人类倾向一致性方面的作用。

未引用的参考文献：Ambrosio等人，2008年，《Monarch》；Qiu等人，2023年；Wada，1996年。

CRediT作者贡献说明：
Ryota Iwamoto：写作——审稿与编辑，写作——初稿撰写，可视化，形式分析，数据整理。
Takunori Ishihara：写作——审稿与编辑，写作——初稿撰写，形式分析，数据整理。
Takanori Ida：写作——审稿与编辑，写作——初稿撰写，监督，项目管理，概念设计。

Ryota Iwamoto | Takunori Ishihara | Takanori Ida