大学生AI增强聊天机器人模拟求职面试中情绪与声音表达的变化

《Behavioral Sciences》：Changes in Emotional and Vocal Expression in Job Interview Simulations with an AI-Enhanced Chatbot for University Students

　　

摘要译文：

本研究考察了基于AI聊天机器人的训练是否与大学生在模拟求职面试中面部和声音情绪反应时间占比（Facial and Vocal Emotional Reaction Time Proportions）的变化相关。研究采用单组前后测设计（one-group pretest–posttest design），参与者为拉丁美洲一所私立大学人力资源管理课程（Human Talent Management course）的54名三、四年级学生。研究在应用神经科学实验室（Applied Neuroscience Laboratory）实施，使用iMotions支持的面部表情识别与声音分析技术。参与者首先完成基线模拟面试，随后进行三轮基于聊天机器人的训练，训练采用经人力资源专家验证的问题、每轮结束后的评分和定性反馈，最后再进行一次模拟面试，以比较训练前后的指标。面部情绪反应时间通过聚合指标（积极、消极、中性、困惑和感伤）以及具体面部表情类别（包括快乐、惊讶、愤怒、悲伤、厌恶、恐惧和轻蔑）进行分析。声音情绪反应时间通过快乐、悲伤、愤怒和中性进行分析。前后差异采用配对样本t检验（paired-samples t-tests）和补充的Wilcoxon符号秩检验（Wilcoxon signed-rank tests）进行评估。积极面部情绪反应时间从3.52%显著增加至14.75%，平均增加11.23个百分点，95% CI [4.79, 17.67]；面部快乐从2.38%显著增加至10.10%，平均增加7.72个百分点，95% CI [3.30, 12.14]；声音快乐从2.79%显著增加至10.71%，平均增加7.92个百分点，95% CI [3.38, 12.46]。每个主要结果的标准化配对效应均为d_z = 0.48，95% CI [0.19, 0.76]，相应的Wilcoxon效应量估计值在r = 0.40至r = 0.44之间。若干消极和中性的指标在训练后也有所下降；然而，其基于均值的标准化效应普遍较小，部分具有统计学显著性的发现主要得到Wilcoxon符号秩检验的支持。总体而言，基于聊天机器人的面试训练与算法分类的面部和声音表达模式的变化相关，并可能作为高等教育中结构化面试练习的补充工具。

论文解读：AI增强聊天机器人模拟面试训练对大学生面部与声音情绪表达的影响

一、研究背景与问题

近年来，人工智能（AI）技术深刻改变了人才招聘领域，简历筛选、候选人分析、面试解读和面试准备训练日益由AI驱动。然而，AI在真实招聘决策中的应用存在风险，欧盟《人工智能法案》（EU 2024/1689）禁止在工作场所使用AI推断情绪，认为这侵犯隐私和人格尊严。因此，研究者将AI聊天机器人定位为教学训练工具，而非选拔机制，旨在为学生提供低压力、可重复的面试练习环境。尽管AI聊天机器人在面试准备中的应用日益增多，但关于此类训练是否与大学生在模拟面试中面部和声音表达的可观察变化相关的实证证据仍然稀缺，尤其在拉丁美洲高等教育背景下。本研究旨在填补这一空白，使用面部表情识别和声音分析技术，量化大学生在AI聊天机器人训练前后模拟面试中的面部和声音表达模式变化。

二、研究设计与实施

研究采用单组前后测设计，参与者为拉丁美洲一所私立大学人力资源管理课程的54名三、四年级学生。研究在应用神经科学实验室进行，使用iMotions 11.1.7平台，面部表情分析采用Affectiva Affdex引擎，声音分析采用audEERING引擎。干预流程包括：基线模拟面试、三轮聊天机器人训练（使用经10位人力资源专家验证的五个固定问题，每轮结束后提供0-10分评分和定性反馈）、以及训练后模拟面试。聊天机器人基于ChatGPT-4o定制，通过语音界面以西班牙语交互，模拟高压面试风格。主要结局指标为面部情绪反应时间占比（Facial Emotional Reaction Time Proportion，%）和声音情绪反应时间占比（Vocal Emotional Reaction Time Proportion，%）。数据分析使用Stata/SE 17.0，采用配对样本t检验和Wilcoxon符号秩检验，报告95%置信区间和效应量（Cohen's d_z和Wilcoxon r）。

三、主要研究结果

3.1 面部情绪反应时间占比

积极面部情绪反应时间从训练前3.52%显著增至训练后14.75%，平均增加11.23个百分点，95% CI [4.79, 17.67]，t(53)=3.50，p<0.001，d_z=0.48；Wilcoxon检验同样显著（Z=3.05，p=0.002，r=0.42）。面部快乐从2.38%增至10.10%，平均增加7.72个百分点，95% CI [3.30, 12.14]，d_z=0.48，Wilcoxon r=0.40，支持H1。消极面部情绪反应时间从1.82%降至0.70%，配对t检验为边缘显著（p=0.070），但Wilcoxon检验显著（r=-0.35）；轻蔑从3.34%降至0.62%，两种检验均显著，d_z=-0.29；面部悲伤、厌恶和困惑主要得到Wilcoxon检验支持，部分支持H3。中性面部情绪反应时间从83.17%降至70.18%，两种检验均显著，d_z=-0.27，支持H4。感伤从1.09%增至2.18%，两种检验均显著，效应较小。

3.2 声音情绪反应时间占比

声音快乐从2.79%显著增至10.71%，平均增加7.92个百分点，95% CI [3.38, 12.46]，d_z=0.48，Wilcoxon r=0.44，支持H2。声音中性从66.67%降至62.72%，配对t检验为边缘显著（p=0.100），Wilcoxon检验显著（r=-0.27），部分支持H4。声音悲伤从13.84%降至12.71%，声音愤怒从1.64%降至1.41%，两者均仅在Wilcoxon检验中显著（r=-0.27和r=-0.33），解释为基于秩的方向性变化而非大的平均效应。

四、讨论与结论

研究者指出，观察到的变化与体验式学习理论（Kolb, 2015）和反馈加工理论（Lipnevich & Panadero, 2021；Hattie & Timperley, 2007）一致：聊天机器人提供的练习—反馈—调整循环使参与者能够逐步改进表达。然而，由于没有对照组，无法得出因果结论，重复暴露、问题熟悉度提升和实验室舒适度增加均为可能的替代解释。研究结论为：AI辅助聊天机器人练习与模拟面试中若干面部和声音表达指标的显著前后变化相关，最清晰的发现是积极面部情绪反应时间、面部快乐和声音快乐的增加，标准化配对效应为d_z=0.48，Wilcoxon效应量r介于0.40至0.44之间。这些结果描述的是算法分类表达模式的变化，不应直接解释为情绪调节、职业准备、沟通能力或面试成功的改善。本研究的贡献在于表明，使用校准后的AI聊天机器人进行结构化练习可能与学生的面部和声音表达模式变化相关，同时强调了对自动化分类结果需谨慎解读。研究局限性包括单组设计、样本单一、依赖专有AI分类系统、未校正多重比较等，未来研究应采用随机对照设计、纵向追踪、预注册结果、整合眼动追踪，并验证自动化分类与招聘官评价的一致性。