AI反馈与人类反馈在团队协作技能评估中的学生接受度对比研究

《International Journal of Educational Technology in Higher Education》：Student reactions to AI versus human feedback in teamwork skills assessment

本研究针对人工智能(AI)在教育评估领域应用日益广泛但学生接受度不明的现状，开展了两项实验研究。通过虚拟团队模拟和情境实验，比较了学生对AI反馈与人类反馈的反应差异。研究发现学生明显更偏好人类反馈，存在对AI反馈的偏见；通过增强AI反馈的可信度和共情线索可改善学生反应，但即使增强后仍未能完全达到人类反馈的积极水平。该研究为教育领域AI反馈系统的优化设计提供了重要依据，建议采用AI与人类反馈相结合的混合模式。

　　

随着人工智能技术的飞速发展，教育领域正经历着前所未有的变革。特别是在人际能力评估方面，AI技术展现出了巨大潜力。如今，基于AI的模拟评估已经能够以与人类评估者相当的准确性来评估团队协作技能，同时还能提供及时且可扩展的反馈。随着团队协作等 interpersonal skills（人际交往能力）的重要性日益凸显，AI在支持有效评估反馈方面的潜力变得愈发重要。

然而，一个关键问题尚未得到充分探索：学习者对AI生成的反馈与人类评估者提供的反馈有何不同反应？这种反应至关重要，因为它影响着学习者如何参与反馈并将其融入自身发展过程中。学生可能对机器生成的反馈反应较差，特别是在涉及情感细微差分的领域。负面反应往往源于感知到的共情缺乏，这可能削弱原本准确反馈的有效性。理解这些动态对于优化人际技能发展中的反馈传递和效果至关重要。

为了深入探究这一问题，研究人员在《International Journal of Educational Technology in Higher Education》上发表了一项创新研究，通过两个精心设计的实验，系统考察了学生对团队协作技能评估中AI反馈与人类反馈的反应差异。

研究团队采用了多种研究方法开展调查。Study 1（研究1）采用实地实验设计，108名参与者完成虚拟团队协作模拟后，被随机分配接收被标记为"AI生成"、"HR专业人士生成"或"同伴生成"的反馈（实际全部由AI生成），随后测量其反馈反应。Study 2（研究2）则采用情境实验法，322名参与者被随机分配到12种实验条件之一，考察三种反馈来源（AI、教授、助教）和四种增强条件（未增强、增强可信度、增强共情、同时增强）的组合效果。关键测量指标包括反馈反应量表（7个项目，α=0.88）、操纵检查项目以及AI态度和熟悉度测量。

研究结果揭示了几个重要发现。在反馈来源比较方面，两项研究均一致表明，学生对人类反馈的反应显著优于AI反馈。在未增强条件下，AI反馈的平均反应值（M=2.91）显著低于教授反馈（M=3.51）和助教反馈（M=3.74），而两种人类反馈来源之间无显著差异。这一发现支持了算法厌恶（algorithm aversion）理论，即即使AI反馈在客观质量上与人类反馈相当，学生仍然倾向于人类反馈。

在增强策略效果方面，研究发现同时增强可信度和共情能显著改善学生对AI反馈的反应。AI反馈在"同时增强"条件下的反应值（M=3.45）显著高于未增强条件，且与人类反馈在未增强条件下的反应值无显著差异。然而，即使经过增强，AI反馈仍未能完全达到人类反馈在增强条件下的水平，表明对AI的偏见具有持久性。

图表分析显示，不同反馈来源和增强条件下的平均反应存在明显差异。可信度增强操作检查证实，增强可信度操作显著提高了可信度评分（Scenario 1: F(1,159)=7.39, p<0.01）；共情增强在Scenario 1中也显著提高了共情评分（F(1,148)=6.54, p<0.01）。此外，AI熟悉度作为协变量对反应有显著影响（F(1,110)=6.82, p=0.01），表明对AI技术更熟悉的学生对AI反馈的反应更为积极。

研究结论部分强调，学生对人机反馈的差异反应反映了深层心理机制。信任校准理论（trust calibration theory）认为用户常常基于与实际性能无关的线索错误校准对技术的信任；而系统信任（感知能力）与人类信任（感知关怀）的区分则解释了为何即使增强可信度和共情，AI反馈仍难以完全达到人类反馈的水平。社会认同理论（social identity theory）进一步说明，学生可能将人类反馈提供者视为"内群体"成员，而将AI归为外群体来源，导致即使内容相同也产生不同的接受度。

本研究的意义在于为教育领域AI反馈系统的设计和实施提供了重要启示。首先，学生对AI反馈的偏见需要得到重视，教育者应考虑通过融入可信度和共情线索来减轻这种偏见。其次，混合反馈模式结合了AI的客观性、一致性和可扩展性与人类的关系优势，可能是最优解决方案。此外，增加学生对AI技术的熟悉度可能有助于提高接受度，建议通过低风险活动逐步引入AI工具。

然而，研究也存在一些局限性。实验设计和情境模拟可能无法完全捕捉真实教育环境中的反馈互动复杂性；短期暴露仅能测量初始反应，无法反映长期使用效果；样本局限于加拿大商科本科生，可能影响结果的普适性；部分条件比较统计检验力不足，需谨慎解释零结果。

未来研究应探索个体差异（如人格特质、文化背景）的调节作用，开发更系统的增强设计框架，研究交互式AI系统的影响，并深入探讨改变的心理机制。同时，AI反馈的伦理问题也值得关注，包括透明度、公平性、问责制和学生自主性等方面，确保AI在教育中的应用既能发挥技术优势，又能维护教育价值和学生权益。

这项研究为理解教育环境中AI反馈的接受度提供了重要见解，强调了在追求技术效率的同时，必须重视反馈的关系和情感维度，为未来教育AI系统的优化设计指明了方向。