《Frontiers in Psychology》:The ChatGPT source cue shapes answer acceptance in a reasoning task
编辑推荐:
专业术语翻译(摘要部分)
摘要
引言: 随着生成式人工智能(generative AI)系统日益融入日常与学术情境,理解来源归因(source attribution)如何影响评价性判断(evaluative judgment)已成为关键问题。
方法: 在一项
专业术语翻译(摘要部分)
摘要
引言: 随着生成式人工智能(generative AI)系统日益融入日常与学术情境,理解来源归因(source attribution)如何影响评价性判断(evaluative judgment)已成为关键问题。
方法: 在一项被试内设计(within-subjects design)中,103名参与者评估了30个预先生成的答案,这些答案分为反思性正确(reflective-correct)、直觉性错误(intuitive-incorrect)和算术控制正确(arithmetic control-correct)三类,并分别标记为ChatGPT或计算机(Computer)来源。两个平行测验组(batteries)到来源标签的分配及试验呈现顺序均经过随机化,且显示界面在视觉上完全匹配。一项独立的无标签预测试(pretest)以35名参与者验证了两组测验的可比性。
结果: 在参与者层面(participant-level)的分析中,ChatGPT标签下的答案总体接受率更高(68.0%对63.4%,p = 0.002)。在试验层面(trial-level)的Logistic混合模型(以参与者和平行问题对为交叉随机截距)中,来源与答案类别的交互作用显著(p < 0.001):算术控制题在ChatGPT标签下的接受率更高(比值比OR = 6.08,95%置信区间CI [2.70, 13.69]),而两类认知反思任务(CRT)题目内部的来源对比均不显著。判断准确率(judgment accuracy)以描述性统计报告。针对CRT答案的信号检测分析(signal-detection analysis)未发现敏感性(sensitivity)存在显著来源差异(p = 0.930),亦未发现判断标准(criterion)存在显著差异(p = 0.082)。在原始时间分析中,ChatGPT标签下的评估时间更长(p = 0.034),但经对数转换后来源差异不再显著(p = 0.180)。探索性相关分析未发现来源相关差异与信任、人工智能态度或批判性思维倾向之间存在显著关联。
讨论: 上述发现将总体上的来源相关认可效应(尤其体现在算术控制题上)与对CRT正误答案的成功区分进行了明确区分。
论文解读
一、研究背景与研究问题
随着生成式人工智能(generative AI)系统(如ChatGPT)日益深入地融入学术、职业及日常决策情境,个体越来越多地需要评估外部提供的答案,而非自行生成解决方案。在此类情境中,判断不仅受信息内容本身的影响,还受来源相关线索(source-related cues)的影响,包括感知能力、权威性和可信度等。
从双加工理论(dual-process theory)视角来看,评价性判断涉及快速直觉印象与更为审慎的深思熟虑之间的交互。认知反思任务(Cognitive Reflection Test, CRT)为考察这种交互提供了成熟范式,因为该任务呈现了直觉上具有吸引力但错误的答案,必须被抑制以得到反思性正确解。然而,既有文献对AI来源线索的方向性效应并未形成一致结论:一方面,算法欣赏(algorithm appreciation)研究表明人们可能偏好算法建议;另一方面,多项研究发现AI标注会降低感知准确性和分享意愿。因此,来源效应的方向取决于任务类型、比较来源及系统表现经验。在此背景下,本研究旨在考察ChatGPT来源标注(与通用的“计算机”标签相比)是否与对直觉性错误和反思性正确答案的不同评价相关联,并进一步探索信任、AI态度及批判性思维倾向等个体差异因素是否与来源相关差异存在关联。
二、研究设计与主要结论
研究人员采用被试内设计(within-subjects design),招募103名参与者(67名女性,36名男性;平均年龄25.33岁,SD = 7.01)。每名参与者评估30个预先生成的答案,涵盖三类:CRT反思性正确答案、CRT直觉性错误答案以及无直觉-反思冲突的算术控制正确答案。每个来源条件(ChatGPT/Computer)各含15个试验,每类答案各5个。两个平行测验组(各含15对平行问题)到来源标签的分配在参与者间随机化,试验呈现顺序亦随机化。独立无标签预测试(35名参与者)验证了两组测验的可比性。
主要研究结论如下:参与者层面分析显示,ChatGPT标签下的总体答案接受率显著更高(68.0%对63.4%,p = 0.002);试验层面Logistic混合模型揭示了来源与类别的交互作用,来源效应主要体现在算术控制题上(OR = 6.08,95% CI [2.70, 13.69]),而两类CRT题目内部的来源对比均不显著;信号检测分析未发现敏感性和判断标准的显著来源差异;原始反应时分析中ChatGPT条件下评估时间更长,但经对数转换后差异不再显著;探索性相关分析未发现个体差异变量与来源相关差异之间的显著关联。
三、主要关键技术方法
本研究采用的主要技术方法包括:(1)基于CRT范式的改编评价任务,将经典CRT问题(如球拍与球问题)改编为答案评价形式;(2)被试内实验设计,配合平行测验组(parallel batteries)的随机分配与试验顺序随机化;(3)独立无标签预测试(35名参与者)验证两组测验的难度可比性;(4)试验层面二项Logistic广义线性混合模型(binomial generalized linear mixed model),以参与者和平行问题对为交叉随机截距;(5)参与者层面重复测量方差分析(repeated-measures ANOVA)作为对照分析;(6)信号检测理论(Signal Detection Theory, SDT)分析,以反思性正确答案为信号试验、直觉性错误答案为噪声试验,计算敏感性d′和判断标准c;(7)探索性Pearson相关分析,考察个体差异问卷与来源差异分数之间的关联。样本来源为便利抽样和口碑招募,包含大学生、博士生及其他职业人群。
四、研究结果
描述性统计。 描述性统计显示,ChatGPT标签下所有三类答案的接受率均高于Computer标签:反思性正确答案为0.511对0.474,直觉性错误答案为0.542对0.503,控制正确答案为0.986对0.924。原始平均评估时间在ChatGPT条件下也均更长。
来源归因对答案接受度的影响。 试验层面Logistic混合模型显示来源与类别的交互作用显著(似然比χ2(2) = 19.68,p < 0.001)。ChatGPT标签与算术控制正确答案的更高接受率显著相关(OR = 6.08,95% CI [2.70, 13.69],p < 0.001),而直觉性错误答案(OR = 1.17,p = 0.207)和反思性正确答案(OR = 1.17,p = 0.227)的来源对比均不显著。参与者层面ANOVA显示来源主效应显著(F(1, 102) = 10.40,p = 0.002,偏η2 = 0.093),总体接受率在ChatGPT下为0.680,Computer下为0.634,配对差异为0.046(95% CI [0.018, 0.074])。
归因对反应时间的影响。 原始时间ANOVA显示来源效应显著(F(1, 102) = 4.61,p = 0.034,偏η2 = 0.043),ChatGPT条件下平均潜伏期更长(12,557.81 ms对11,514.69 ms)。但经自然对数转换后,来源效应不再显著(F(1, 102) = 1.82,p = 0.180)。
接受模式与信号检测分析。 参与者层面敏感性在ChatGPT下为d′ = ?0.079,Computer下为?0.071,配对差异不显著(p = 0.930)。判断标准在ChatGPT下为c = ?0.050,Computer下为0.033,差异未达统计显著(p = 0.082),但描述上ChatGPT条件下标准更为宽松。事后敏感性分析排除9名控制题错误较多的参与者后,总体接受差异仍保持显著(t(93) = 2.571,p = 0.012)。
个体差异。 探索性相关分析显示,信任(HCTM)与积极AI态度(GAAIS-P)显著正相关(r = 0.635,p < 0.001),与消极AI态度(GAAIS-N)显著负相关(r = ?0.361,p < 0.001)。但所有问卷得分与来源相关的接受度、准确率和反应时差异分数之间均未检测到显著相关。行为差异分数的内部一致性较低(接受度差异α = 0.106,准确率差异α = ?0.150),限制了这些关联的解释。
五、讨论总结与研究结论
讨论部分指出,本研究的核心发现——ChatGPT标签下总体接受率更高且该效应在算术控制题上尤为突出——与信任校准(trust calibration)和算法欣赏等理论框架一致。控制题对比尤为重要,因为两个条件下呈现的都是客观正确的算术答案且显示界面匹配,来源线索与答案被认可程度的关联表明来源身份对答案评价有独立贡献。然而,CRT答案类别内的来源对比不显著,信号检测分析也未发现显著的敏感性或标准差异,说明总体接受效应并不等同于对正误答案的更好区分。原始反应时差异经对数转换后消失,表明该结果依赖于反应时汇总方式和分布处理。探索性个体差异分析未发现显著关联,但由于行为差异分数内部一致性低,不能据此断定个体差异与来源效应无关。
研究结论部分指出:本研究显示,在评价性推理任务中,归因于ChatGPT的答案比归因于Computer的答案获得更高的总体接受率。试验层面Logistic模型表明该来源关联在算术控制题上尤为突出,而反思性正确和直觉性错误的CRT类别内来源对比不显著。预测试的平行测验组被随机分配到来源标签,试验顺序亦随机化。判断准确率厘清了参与者是否恰当地接受正确答案或拒绝错误答案。信号检测分析未发现敏感性或判断标准的显著来源差异,尽管ChatGPT条件下标准描述上更为宽松。原始平均评估时间的来源差异经对数转换后不再显著。未检测到所测倾向与来源差异之间的显著探索性关联。综合而言,这些结果将来源相关的认可效应与正误区分能力及对底层加工模式的假设进行了明确区分。理解AI标签如何影响评价性判断,对于生成式AI日益嵌入对准确性和批判性评估具有重要个人与社会后果的情境而言,具有关键意义。