《Frontiers in Neurorobotics》：Embodied multimodal human-computer interaction for English language learning: integrating speech, gestures, emotion, and adaptive feedback
编辑推荐：
英文摘要专业翻译：
当前的英语学习系统常受制于单一维度的学习状态感知、情感-认知特征建模不足以及反馈调节延迟或僵化等问题。为应对上述局限，本研究提出一种用于英语语言学习具身多模态人机交互的情感-认知门控跨模态Transformer（Affective-Cog
英文摘要专业翻译：
当前的英语学习系统常受制于单一维度的学习状态感知、情感-认知特征建模不足以及反馈调节延迟或僵化等问题。为应对上述局限，本研究提出一种用于英语语言学习具身多模态人机交互的情感-认知门控跨模态Transformer（Affective-Cognitive Gated Cross-modal Transformer, ACG-CMT）。该框架将学习者的语音、手势与情感反应整合为多模态输入。语音编码器从梅尔频谱、能量、音高/韵律及时间模式中学习低层声学-韵律表征，而非接收基于评分量规生成的目标分数；时空运动编码器捕捉手势与姿态动态；情感编码器则对面部动作与语音情感线索进行建模。跨模态Transformer捕获语言输出、具身行为与情感波动之间的时间依赖和情境交互。在融合阶段，情感-认知门控利用推理时可获取的潜在情感/认知情境与决策前任务情境来调整各模态贡献，且不访问真实目标标签。多任务决策模块随后支持学习状态识别、情感-认知负荷估计与反馈策略匹配。ACG-CMT在学习状态识别任务上达到0.892的准确率、0.884的宏F1、0.941的AUC以及0.877的困难状态F1；在操作性情感-认知负荷参考指标上取得R2=0.836、RMSE=0.084与MAE=0.068；反馈策略匹配率为0.861，平均延迟为438 ms。上述结果表明，该框架能够整合多模态行为信息用于学习者状态估计与自适应反馈，同时其内部门控模式被解释为模型层面的关联而非因果性心理机制。
论文解读文章
一、研究背景与问题
英语语言学习正从以教材教学、课堂互动和结果导向评估为核心的传统模式，转向由语音识别、计算机视觉、情感计算与学习分析技术支撑的智能化人机交互环境。然而，现有智能英语学习系统仍面临三方面主要局限：第一，对学习者多模态交互状态的感知不完整，语音、姿态与情感行为往往被割裂分析；第二，情感-认知信息难以有效融入表征学习，多数研究侧重情感分类而非建立情感状态、认知负荷、语言表现与适应性教学决策之间的稳定关联；第三，从感知到的学习者状态到自适应教学反馈的转化能力不足，传统反馈多基于预定义模板或孤立的错误检测结果，难以依据学习者即时表现和心理状态动态调整反馈类型、时机与强度。此外，现有语音评测系统主要关注发音准确性和音段对齐，缺乏对语言产出所隐含的认知与情感状态的推断能力；姿态与手势虽已被证明能反映学习者的参与度、交互意向、自信心和理解困难，但在教育应用中通常与语言表现分离；情感计算虽然提升了情绪感知能力，但尚未充分与认知负荷及语言表现建立稳定关系。因此，构建一种能够动态整合语音、手势、情感反应与情境交互信息，同时保持可解释性和适应性的具身多模态人机交互框架，成为提升情境化、交互式、个性化语言学习支持的重要方向。
二、研究内容与结论
针对上述问题，研究人员提出了情感-认知门控跨模态Transformer（ACG-CMT）框架。该框架以学习者同步的语音信号、手势/姿态信号和情感反应为基本输入，围绕多模态感知、跨模态状态表征、情感-认知门控融合与自适应反馈生成进行组织。三个专用编码分支分别生成声学-韵律、身体参与和情感表征；时间对齐机制统一各模态序列尺度；跨模态Transformer建立语音、动作与情感波动之间的双向关联；情感-认知门控单元基于推理时可获得的潜在表征而非真实目标标签重新分配模态权重；多任务决策头将融合表征映射到学习状态识别、情感-认知负荷估计和反馈策略匹配三个任务。实验结果表明，ACG-CMT在学习状态识别任务上达到0.892的准确率、0.884的宏F1、0.941的AUC和0.877的困难状态F1；在操作性情感-认知负荷参考指标上取得R2=0.836、RMSE=0.084和MAE=0.068；反馈策略匹配率为0.861，平均反馈延迟为438 ms。消融实验表明，跨模态注意力和状态依赖门控是预测性能的重要架构贡献因素，反馈模块主要贡献于策略匹配。该研究的意义在于：通过联合建模语言表现、具身行为与情感反应，为识别发音困难、检测犹豫和理解困难、估计学习者负荷以及确定口语学习中的适当反馈时机提供了计算基础；统一的多元模态表征使智能语言学习系统能够从结果导向评估转向过程级感知、学习者状态解释和自适应交互；状态依赖门控机制还提供了关于语音、手势和情感线索在不同学习条件下相对贡献变化的可解释信息。
三、主要技术方法
研究人员从南京审计大学金审学院招募了96名非英语专业本科生，采集其同步语音（16 kHz头戴麦克风）、正面视频（30 fps高清摄像头，MediaPipe Pose提取33个身体关键点，OpenFace提取35维面部特征）及交互日志数据。语音分支采用梅尔频谱变换、一维卷积和双向门控循环单元（BiGRU）提取声学-韵律表征；手势姿态分支使用时空图卷积网络（ST-GCN）建模关键点序列；情感分支通过多层感知机（MLP）融合面部动作单元与语音情感特征。跨模态Transformer以固定时间窗口对齐各模态序列，通过多头注意力建立跨模态依赖。情感-认知门控以跨模态上下文表征、情感情境嵌入、内部潜在认知情境嵌入和决策前任务情境为输入生成模态权重。多任务联合损失包括学习状态交叉熵、负荷估计均方误差、反馈策略交叉熵及L2正则化。数据按学习者层级以7:1:2划分训练、验证和测试集，采用5秒窗口和2.5秒步长构建共12,864个同步模型窗口。
四、研究结果
4.1 英语学习状态识别与对比结果
研究人员将ACG-CMT与传统机器学习模型、单模态深度学习模型和常规多模态融合模型在测试集上进行比较。ACG-CMT达到0.892的准确率、0.884的宏F1、0.941的AUC和0.877的困难状态F1，优于所有对比基线；五个随机种子的标准差较小，表明对随机初始化敏感度有限，但五次重复不足以进行可靠的推断性显著性检验，因此结果仅作描述性解释。
4.2 消融实验与多模态贡献分析
去除跨模态注意力后宏F1降至0.801（ΔF1=0.083），去除情感-认知门控后降至0.812（ΔF1=0.072），去除反馈模块后F1仅降至0.864但反馈匹配降至0.742。结果表明跨模态注意力和状态依赖门控是重要的架构贡献因素，反馈模块主要贡献于策略匹配。
4.3 情感-认知负荷估计结果
负荷估计任务获得R2=0.836、RMSE=0.084、MAE=0.068，平均预测偏差为0.004，Bland–Altman一致性界限为?0.162至0.170。情感-认知交互曲线显示，任务条件越困难、情感/行为困难信号越强时，预测的负荷参考指数越高。这些结果仅表明对操作性参考指数的预测一致性，不构成对潜在或生理性认知负荷的效标验证。
4.4 自适应反馈策略匹配与交互效率分析
整体反馈策略匹配率为0.861，平均反馈延迟为438 ms。在300–500 ms反馈窗口内匹配率达0.883，状态恢复增益为0.231，高于0–300 ms的0.148和大于900 ms的0.079。从反馈触发前5秒到触发时刻，前驱指数从0.318升至0.736，停顿比从0.214升至0.414，负荷风险估计从0.341升至0.721。结果表明多模态前驱模式与教师标注反馈选择和时机存在关联，但不能证明因果作用。
4.5 内部表征与可解释性分析
门控权重随学习状态系统变化：正常表达时三模态相对均衡（0.320–0.350），发音偏差下语音权重增加，理解困难下情感权重增加，低参与下姿态权重增加。在语音-手势联合噪声扰动下，宏F1从20 dB/零姿态噪声时的0.884降至0 dB/0.5姿态噪声时的0.694；开放式口语问答任务比朗读任务表现出更大的表征偏移。这些模式被解释为模型内部的状态和情境依赖关联，而非因果性心理机制。
五、讨论与结论总结
讨论部分指出，研究使用“情感-认知”一词是因为框架对情感反应和由可观察多模态行为构成的操作性复合负荷指标进行建模，未采集神经生理信号，因此结果不能视为神经或神经认知机制的直接证据。负荷参考指标结合NASA-TLX、反应时间、停顿比和任务难度进行专家加权，提供了实用的多指标监督信号，但未独立进行生理效标验证。5秒窗口的50%重叠导致段内相关，学习者级划分防止了训练-测试泄漏，但12,864个窗口并非独立统计观测。参与者主要为非英语专业本科生，限制了向其他年龄、教育背景和熟练水平的推广。实验主要在受控学习任务下进行，尚未在长期、开放式、自然发生的学习环境中广泛评估。
研究结论为：ACG-CMT通过模态专属编码分支、跨模态注意力和状态依赖门控整合语音、手势与情感信息，构建了用于学习状态识别、情感-认知负荷估计和反馈策略匹配的统一表征。实验结果表明该模型在学习者状态区分、负荷估计和自适应反馈决策方面提供了相对稳定的性能。联合建模语言表现、具身行为和情感反应，为智能语言学习系统超越结果导向评估、实现过程级感知、学习者状态解释和自适应交互提供了计算基础。未来需要在更多样化的学习者群体、更广泛的语言学习情境（包括真实在线交互、协作学习和纵向教学环境）中验证ACG-CMT，并进一步考察跨域泛化、自然多模态噪声鲁棒性以及自适应反馈的长期教学效果。
