基于大语言模型的推荐对不确定性决策的影响研究

《Experimental Economics》:The impact of LLM-based recommendations on decisions under uncertainty

【字体: 大 中 小 】 时间:2026年10月24日 来源:Experimental Economics 1.7

编辑推荐:

  本研究探讨了基于大语言模型(Large Language Model, LLM)的推荐如何影响研究人员对不确定性的评估。研究人员针对(i)具有相同约简形式获胜概率但在认知需求上存在差异的复合彩票,以及(ii)埃尔斯伯格式(Ellsberg-style)模糊彩票

  
本研究探讨了基于大语言模型(Large Language Model, LLM)的推荐如何影响研究人员对不确定性的评估。研究人员针对(i)具有相同约简形式获胜概率但在认知需求上存在差异的复合彩票,以及(ii)埃尔斯伯格式(Ellsberg-style)模糊彩票,分别测定了其确定性等价(certainty equivalent)。在所有彩票类型中,每次估值前接受LLM推荐的参与者的估值分布,相对于未接受推荐的参与者,表现出二阶随机占优(second-order stochastic dominance)。因此,LLM推荐并未改变均值估值,而是压缩了估值分布,降低了极端估值的发生率。与此模式一致的是,LLM推荐降低了风险厌恶、复杂性厌恶和模糊厌恶的强度,但并未改变被归类为厌恶型参与者的比例。

论文解读文章

研究背景与问题提出

在经济决策日益依赖人工智能辅助的背景下,大语言模型(LLM)正迅速成为人们获取“第二意见”的默认工具,涵盖保险购买、医疗概率信息解读以及投资组合决策等领域。然而,LLM推荐如何重塑不确定性下的决策行为,尤其是如何影响风险态度、模糊态度等经济建模的关键参数,仍是一个亟待解答的核心问题。现有研究表明,人类在面对复杂和不确定环境时会寻求专家建议,且外部指导可以改变选择分布,但关于LLM这一新型智能体推荐效应的系统性实验证据尚属空白。为此,研究人员设计了标准化的激励性估值任务,旨在考察LLM推荐对个体在风险和模糊情境下估值行为的影响。

研究设计与结论概述

研究人员通过在线实验平台Prolific招募了600名参与者,将其随机分配到基线组(Baseline)和AI处理组(AI treatment)。所有参与者需对四种彩票进行估值:透明50/50彩票、两种不同复杂度的复合彩票(两副牌复合彩票Compound-2和四副牌复合彩票Compound-4)、以及一副模糊彩票(Ambiguous lottery)。这些彩票虽然认知复杂度不同,但均简化为相同的50%获胜概率。AI处理组的参与者在每次估值前会看到由ChatGPT(GPT-4o)预先生成的标准化推荐截图,内容包括彩票期望值的计算以及对风险/模糊态度的分类建议。实验采用标准的多重价格列表法(Multiple Price List, MPL)测定确定性等价,并在复合彩票后额外测度参与者的主观信念及其认知确定性。
研究得出两项核心结论:第一,LLM推荐显著压缩了跨参与者的估值分布——平均估值不变,但方差降低约34%-40%,且AI组的估值分布在二阶随机占优意义上优于基线组;第二,LLM推荐减弱了风险厌恶、复杂性厌恶和模糊厌恶的强度,但并未改变参与者被归类为厌恶/中性/偏好的比例。

关键技术方法

本研究采用的主要技术方法包括:(1)多重价格列表法(MPL):用于测度参与者对每种彩票的确定性等价,以1美元为步长从1美元递增至30美元,并通过强制单次切换规则确定估值点;(2)标准化LLM推荐生成流程:在实验前将每张彩票的屏幕截图输入ChatGPT(GPT-4o),统一提问“你会给做这些选择的人什么建议?”,并截取生成的推荐内容作为干预材料,每次查询前清除聊天记忆以确保独立性;(3)信念与认知不确定性测度:在每次复合彩票估值后,以激励相容方式测度参与者对抽到紫色卡片的概率信念,并要求其在0-100%量表中报告对该信念的确信程度,认知不确定性定义为100减去确信分数;(4)二阶随机占优检验:采用Barrett和Donald(2003)的方法验证两组估值分布的随机占优关系。样本来源为Prolific平台的在线实验人群,共600人(每组300人),实验于2025年10月至11月执行。

研究结果详述

3.1 处理效应
研究发现,LLM推荐对估值的均值无显著影响(所有t检验p≥0.178),但显著压缩了估值分布。Levene方差齐性检验表明所有彩票类型的方差均在p<0.001水平上显著减小:标准差降幅约为19%-23%(50/50: 6.34→4.90;Compound-2: 6.21→4.89;Compound-4: 6.09→4.91;Ambiguous: 6.45→5.24)。累积分布函数(CDF)图显示AI组曲线更陡峭、尾部更薄,二阶随机占优检验证实了AI组优于基线组。回归分析进一步表明,AI处理显著降低了各彩票类型下估值距风险中性基准(15.5美元)的绝对偏差(系数范围-1.23至-1.39,均p<0.01),第10百分位数上升而第90百分位数下降,四分位距(IQR)全面收窄。
3.2 风险、复杂性和模糊态度
按文献标准分类后,两组参与者在风险厌恶(68.3% vs. 69.0%)、复杂性厌恶(Compound-2: 40.0% vs. 36.0%;Compound-4: 39.7% vs. 38.0%)和模糊厌恶(50.7% vs. 51.7%)的比例上无显著差异(Fisher精确检验均p≥0.286)。然而,在被分类为厌恶型的参与者内部,AI组的厌恶强度显著降低:风险厌恶者的估值偏离基准的程度更小(Mann-Whitney检验p=0.026),复杂性厌恶者和模糊厌恶者也呈现相同模式(p值分别为0.029、0.001和0.035)。
3.3 潜在机制讨论
认知卸载假说得到数据支持。基线组中,参与者在更复杂的Compound-4彩票上的正确信念率显著低于Compound-2(0.70 vs. 0.77,p=0.001),认知不确定性更高(42.10 vs. 37.13,p<0.001)。而在AI组中,这两个差距消失(正确信念率0.73 vs. 0.75,p=0.555;认知不确定性36.43 vs. 35.80,p=0.856)。回归分析显示AI处理显著降低了Compound-4与Compound-2之间的认知不确定性差值(系数约-5.6,p<0.01)。在复杂性厌恶者中,较低的认知不确定性与较小的复杂性厌恶幅度显著相关,表明LLM推荐通过减轻认知负担来压缩估值分布。

结论

本研究的实验证据表明,LLM推荐并不改变平均估值,而是通过压缩跨参与者异质性来重塑估值分布,使极端估值减少。这种压缩效应稳健地存在于简单风险、复合风险和模糊情境中,同时不改变参与者被归类的态度类型(厌恶/中性/偏好),仅减弱了这些态度的强度。机制分析揭示,认知卸载——即LLM推荐通过明确计算概率和期望值来减轻参与者的认知负担——是解释上述效应的关键路径,尤其体现在复杂性更高的彩票情境中。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号