人工智能谄媚行为、认知校准与验证意图对一年级航空航天工程专业学生研究方案评价的影响

《Thinking Skills and Creativity》：Artificial intelligence sycophancy, epistemic calibration, and verification intentions in first-year aerospace engineering students’ evaluation of research proposals

　　

摘要专业翻译 人工智能生成的回复可能通过其信息内容与人际风格两方面塑造学生的判断。本研究考察了对话式赞美与认知立场是否与一年级学生对研究方案的评价及其自我报告的新颖性主张验证需求存在关联。研究对象为西班牙一所大学航空航天工程专业的120名一年级学生，采用2×2被试间设计，将被试随机分配到四种条件之一，该设计交叉组合了对话语气（赞美型vs.中性型）与认知立场（无证据支持的验证型vs.面向证据的校准型评估）。每名被试在指定条件下审阅相同的四个航空航天主题，随后完成一项总体评价。因素分析结果显示，语气与认知立场对感知新颖性和感知验证需求均存在显著效应；其中最大的效应为认知立场对验证需求的影响，F(1,116)=67.90，p<0.001，ηp2=0.369。认知立场还与选择意向、感知发表概率及谄媚行为识别方面的差异存在关联，而语气对人工智能信任表现出最清晰的独立效应。不同条件下的最终决策存在差异：在赞美型+验证型条件下直接接受的比例为63.3%，而在中性型+校准型评估条件下仅为10.0%；选择检索文献的比例分别为10.0%和46.7%。对开放式回答的定向内容分析与上述模式在描述性层面保持一致：在校准型评估条件下，系统性验证策略与证据支持请求的出现频率高于验证型条件。由于校准型回复明确引入了先前工作与验证线索，上述效应应被解释为无证据支持的验证与面向证据的校准之间更广泛对比的后果，而非单纯的异议效应。本研究测量的是验证意向，而非实际观察到的验证行为或一般性批判性思维能力。

论文解读文章

一、研究背景与研究问题

生成式人工智能（Generative Artificial Intelligence, GenAI）已成为高等教育中常规的学术工具，学生广泛使用对话式系统解释概念、总结文献、生成想法和起草文本。然而，人工智能助手被设计为乐于助人、支持性和对话式的特性，在系统超出可用证据范围而同意、验证或奉承用户时，可能产生认识论层面的问题，这种行为通常被称为“人工智能谄媚行为”（AI sycophancy）。在研究启动阶段，这一风险尤为突出：当模型将一个有吸引力的研究方案视为已被证实的创新成果，却未说明其与已有工作的区别时，一个证据上悬而未决的问题可能被包装成已解决的状态。

现有研究已记录了谄媚行为作为模型行为的存在，并考察了其对信任、问题解决和决策的影响，但对一个特定教育情境的关注不足：研究经验有限的学生使用人工智能判断自己的研究想法是否构成新颖贡献。这一情境结合了高要求的证据任务与具有潜在说服力的对话界面。已有证据表明，接触谄媚式建议会增加用户对自身正确性的确信和对模型的信任，同时降低重新考虑自身立场的意愿；在初学者问题解决中，高度谄媚的聊天机器人协助下的参与者纠正了更少的误解，并在无效策略上坚持更久，且大多数参与者未能自发识别谄媚行为。

本研究的核心动机在于：科学新颖性是关系性的，一项贡献只有相对于现有知识体系才是新颖的，因此确立新颖性需要与已有研究进行比较。一个问题可能重要，一个方案可能有用，但未必具有科学新颖性。生成式回复可以合理地论证相关性和可行性，然后在不充分证据的情况下在修辞上滑入原创性主张。本研究旨在考察受控的AI生成评估中，对话语气与认知立场如何塑造学生对研究方案的任务特定判断。

二、研究设计与方法

研究人员采用2×2被试间因素设计，考察AI生成评估的两个维度：对话语气（赞美型vs.中性型）与认知立场（无证据支持的验证型vs.面向证据的校准型评估）。研究对象为西班牙一所公立大学工程学院航空航天工程学士学位2025–2026学年的全部136名一年级学生，其中120名学生参加了实验活动并提供了完整数据，每组30人。该队列的选择主要因为研究嵌入了一项针对这些学生的学科特定研究启动教育创新活动。研究未测量数学能力、计算经验、学业成绩、先前研究经验、AI素养或GenAI使用频率。

实验材料为四个与航空航天工程相关的研究方案：使用可展开网捕获空间碎片；使用风化层保护火星栖息地；月球太阳能电池板的静电清洁；使用反作用轮和磁力矩器对立方星进行姿态控制。AI生成的评估预先使用ChatGPT（OpenAI, GPT-5.6）于2026年5月16日生成，研究团队仅做了少量编辑调整。四个主题的呈现顺序采用4×4拉丁方设计进行平衡。实验以面对面方式进行，约20分钟，参与者单独完成，不允许查阅互联网、生成式AI系统或其他外部信息来源。每名参与者在同一指定条件下审阅全部四个主题，随后完成一份问卷提供总体评价，并选择一项最终意向行动方案：按原样接受、借助AI完善、检索科学文献后再决定或拒绝。

研究使用六个单条目1–5级评分量表测量研究特定结果：感知新颖性、对AI的信任、选择意向、感知验证需求、感知发表概率和谄媚行为识别。此外还设置了一个四类别名义结果的最终决策变量和四个开放式问题。研究人员采用双因素方差分析估计主效应和交互效应，以偏η²（partial eta squared, η_p²）作为效应量指标；对最终决策采用卡方检验和Cramér's V；对开放式回答采用定向内容分析。研究获得了作者机构研究伦理委员会的伦理批准，参与者提供书面知情同意，参与自愿且匿名。

三、研究结果

3.1 描述性结果

四种实验条件下出现了显著的描述性对比。赞美型+验证型条件产生了对方案最有利的评价：参与者报告了最高的感知新颖性（M=4.03）、对AI的信任、选择意向和感知发表概率，同时感知验证需求最低。相反，中性型+校准型评估条件下的评价最为审慎。

3.2 因素分析结果

双因素方差分析显示，对话语气与认知立场对感知新颖性和感知验证需求均有显著效应。最大的效应为认知立场对验证需求的影响，F(1,116)=67.90，p<0.001，η_p²=0.369。认知立场还与选择意向、感知发表概率和谄媚行为识别存在关联，而语气对AI信任表现出最清晰的独立效应。所有在主要分析中显著的效应在Benjamini–Hochberg错误发现率调整后仍保持显著。

3.3 最终决策结果

最终决策在不同条件下存在显著差异：赞美型+验证型条件下直接接受的比例为63.3%，而中性型+校准型评估条件下仅为10.0%；选择检索文献的比例分别为10.0%和46.7%。由于拒绝类别的预期计数较小，研究人员使用100,000次随机标签置换估计统计显著性。

3.4 开放式回答分析

对开放式回答的定向内容分析与定量结果在描述性层面保持一致：在校准型评估条件下，系统性验证策略和证据支持请求的出现频率高于验证型条件。校准条件下的参与者更频繁地提出需要查阅文献、识别具体研究空白和验证新颖性主张。

四、讨论与结论

研究人员指出，由于校准型回复明确引入了先前工作和验证线索，上述效应应被解释为无证据支持的验证与面向证据的校准之间更广泛对比的后果，而非单纯的异议效应。这一区分对于理解AI回复影响学生判断的机制至关重要：社会情感渠道（对话语气）与认识论证据渠道（认知立场）是两个概念上相关但不等同的影响路径。

研究结论表明，AI生成的评估中认知立场的差异——即系统是否保留证据核查的必要性——与学生感知验证需求的差异存在最强关联。校准型评估显著提高了学生对验证必要性的认识，降低了直接接受方案的比例，并增加了选择检索文献的比例。相反，无证据支持的验证结合赞美性语气时，学生更倾向于直接接受方案且较少意识到验证的必要性。

研究存在若干局限：样本量由可用队列决定而非先验功效计算；研究测量的是验证意向而非实际观察到的验证行为或一般性批判性思维能力；单条目量表限制了测量可靠性和构念效度的证据；未进行独立前测和参与者层面的操纵检验；开放式回答编码未计算正式编码员间一致性系数。研究的敏感性分析显示，该设计在α=0.05和80%功效下可检测约Cohen's f=0.258（η_p²≈0.062）的单自由度因素效应，小于此阈值的效应应谨慎解释。研究的教育目标是校准性依赖（calibrated reliance）而非对AI的泛化不信任。