《Computers in Human Behavior Reports》:People Expect Less but Show Equal Influence of LLM Versus Human Moral Advice
编辑推荐:
人们往往在道德领域对人工智能(AI)持怀疑态度,然而AI生成的伦理建议对道德判断的影响程度与人类建议相同。与多数先前研究(将人类或AI标签附加于相同建议)不同,研究人员考察了由人类和AI撰写的真实建议对道德判断的影响程度,以及人们是否预期AI的影响小于人类建议
人们往往在道德领域对人工智能(AI)持怀疑态度,然而AI生成的伦理建议对道德判断的影响程度与人类建议相同。与多数先前研究(将人类或AI标签附加于相同建议)不同,研究人员考察了由人类和AI撰写的真实建议对道德判断的影响程度,以及人们是否预期AI的影响小于人类建议。首先,研究人员开发了24个现实日常道德场景,并从受激励的人类写手(N = 92)和GPT-4o收集了超过500条有说服力的建议文本。AI生成的建议比人类建议更长、语言更复杂、语义更统一、更以美德为导向,且极端性更低。接下来,一个新的参与者样本(N = 390)要么在收到人类或AI建议后修正初始道德判断,要么表明他们预期此类建议会在多大程度上影响自己。参与者受人类与AI道德建议的影响程度相同,其判断向建议方向修正了略低于三分之一的距离。然而,仅预估影响的参与者预期AI的影响小于人类建议。这些发现表明,在道德情境中对AI的怀疑可能会塑造人们对AI道德建议的预期,但不会影响他们实际受其影响的程度。
**研究背景与问题**
随着大语言模型(Large Language Model, LLM)日益嵌入建议、评价和指导场景,人们不仅在信息检索和任务完成中使用它们,还在寻求实践建议和人际支持时使用它们。由于AI系统可能隐含地传达关于公平、可接受、有害或值得优先考虑的观点,暴露于道德相关的AI输出可能不仅来自刻意咨询,还来自常规使用。然而,心理研究表明,人们往往对AI在道德领域的角色持怀疑态度,认为机器缺乏进行合理道德判断所需的“心智”,并担心自己的道德特征过于特殊而无法被机器捕捉。另一方面,当人们实际接触到AI生成的道德内容时,却倾向于给予积极评价,且AI道德建议对判断和行为的影响与人类建议相当。这种“算法厌恶”与“实际同等采纳”之间的对比引出了一个关键问题:人们对AI道德建议影响力的预期是否与其实际影响匹配?回答这一问题对理论厘清算法厌恶是否反映实际抵抗,以及对AI系统设计、披露和监管均具有重要意义。
**研究内容与结论**
为回答上述问题,研究人员首先开发了24个基于既往日常道德关注研究的现实困境场景(例如是否借钱给妹妹、是否坚持平分账单等),其中12个由生成式AI辅助生成,12个由纯人类撰写,以避免文本表面相似性造成混淆。随后,研究从受激励的人类写手(N = 92,来自Prolific平台,以英语为母语)和GPT-4o(通过OpenAI API调用)收集支持或反对目标行为的说服性道德建议,并让建议者对其建议的可接受性打分。在此基础上,一个新样本(N = 390,同样来自Prolific)被随机分配到实际建议条件或预期建议条件:前者在法官-顾问系统(Judge-Advisor System, JAS)中先给出初始判断,再阅读真实的人类或AI建议(始终披露来源),最后给出修订判断;后者则在不接触建议的情况下,报告他们预期人类或AI建议能在多大程度上改变自己的意见。由此计算建议采纳权重(Weight of Advice, WOA),比较实际影响与预期影响。研究发现,人们实际受人类与AI道德建议的影响程度相同,但预期AI建议的影响低于人类建议,说明对AI的抽象怀疑可能塑造预期而非实际接受度。
**关键技术方法**
研究采用两项预注册研究。第一项建议启发研究通过Qualtrics实施,每个参与者撰写3条针对随机场景的建议,并被激励进入最有说服力的前10%以获得奖金;同时使用GPT-4o生成建议并自动打分。质量控制包括指令检查、注意力检查、改良版Müller-Lyer错觉测试和AI检测工具gptzero.me;任何被标记为AI辅助的文本均被排除。第二项建议采纳任务在jsPsych平台上实施,采用2(实际/预期模式)×6(场景)的混合设计;新样本参与者来自Prolific平台,以英国和美国居民为主。数据分析采用线性混合模型、似然比检验和TOST等价检验。样本队列来源:Prolific平台,主要居住在英国或美国。
**研究结果**
**建议启发(Advice Elicitation)**:研究人员共获得256条有效人类建议和267条有效AI建议。人类建议的平均可接受性评分表现出比AI建议更极端的分布,尤其在反对条件下(人类均值9.07,AI均值33.92)。
**人类与AI道德建议有何差异?(Exploratory Analyses: How does human and AI moral advice differ?)**:通过比较数值评分、文本风格、语义嵌入和道德基础词典(Moral Foundations Dictionary, eMFD),发现AI建议更长、句子更多、词汇更复杂、阅读难度更高、更多使用对冲语,且语义更统一、更贴近场景中心;而人类建议更多使用第一人称和反问句,语义更多样。在道德内容上,AI建议在关怀、公平、忠诚、权威四个基础上得分更高,且更强调美德而非恶行。
**建议采纳任务(Advice-Taking Task)**:在实际建议条件下,人类和AI建议对WOA的影响几乎相同(人类M = 0.27,AI M = 0.28);在预期条件下,参与者预期AI建议的影响(M = 0.26)低于人类建议(M = 0.30)。
**预注册分析(Preregistered Analysis)**:线性混合模型显示来源×模式交互显著(χ
2(1) = 6.63, p = .010),分解后差异仅在预期条件下显著(b = -0.040, p = .010),实际条件下无差异(b = 0.018, p = .270)。TOST等价检验表明,在实际条件下AI与人类建议的影响在0.048单位界值内统计等价。
**探索性分析(Exploratory Analyses)**:各种排除处理下,AI建议的较低预期影响保持稳定,而来源×模式交互对处理方式敏感。实际与预期WOA在场景×来源水平上相关(r = .41),且随初始判断极端性增加而同等下降,但预期WOA更具个人特质性、更少极端。控制建议极端性后,AI建议的采纳略高于人类建议(b = 0.044, p = .038)。在文本特征中,仅语言复杂度正向预测采纳,且来源间无差异;圣洁(Sanctity)相关词汇和AI建议中的恶行(vice)语言与采纳有弱负相关。总体而言,人类与AI建议的内容差异与建议采纳的关系不大。
**讨论总结**
讨论部分指出,人们对道德建议的总体采纳率(约30%)处于建议采纳文献的较低端,这可能反映道德判断的主观性。人类与AI建议的实际影响相当,而预期差异源于人们对人类建议影响的轻微高估,而非对AI建议的低估,尽管组间比较应谨慎。局限性包括:预期与实际影响在不同被试间测量,无法做个体层面推断;WOA在建议与初始判断一致时无法定义;建议包含文本和数字,无法区分锚定效应;样本以英美为主,文化普适性未知。未来研究可关注动态对话、主动咨询、AI谄媚(sycophancy)以及用户对影响的觉知。
**研究结论翻译**
研究所呈现的画面是微妙的。人们依据AI生成建议更新道德判断的程度与依据人类建议相同,然而另一组参与者预期AI建议对他们的影响小于人类建议。因此,对AI的抽象怀疑可能塑造对其影响的预期,即使它并不减少其实际影响——至少在作者身份被披露时如此。在群体水平上,这种相对低估可能反映对人类建议影响的高估,而非对AI建议影响的低估。个人能否预测AI道德建议对其自身判断的影响,并在实践中审慎地对待AI道德输入,在研究人员看来是最值得继续探讨的问题。