面向幼儿教育的语音-文本多模态情感识别：基于Mamba编码器与Gated×LSTM融合机制的模型及其端侧实时部署

《Scientific Reports》：A study on kindergarten teacher–child interaction quality based on a multimodal emotion recognition model integrating speech and text

　　

摘要

情感识别为量化幼儿教育中的互动质量提供了可行途径，然而现有方法存在单模态输入、实时性能差以及泛化能力弱等问题。本研究提出了一种基于Mamba编码器与Gated×LSTM融合机制的语音-文本多模态模型，其中帧池化和时序掩码解决了模态间的时序不对齐问题，可学习门控机制则用于调节各模态的贡献权重。在IEMOCAP和FAU-AIBO数据集上的实验，以及采用真实幼儿园互动语料库KTC-Pilot进行的生态效度验证，均表明该方法在F1分数、加权准确率（WA）和未加权准确率（UA）上均优于主流基线模型。三项针对儿童语音的适应性改进——音高与共振峰增强、静音感知帧池化和容忍不流畅表达的文本编码——有效弥合了与真实幼儿园对话之间的领域差距；而模态丢弃训练、缺失文本的跨模态重建以及门控正则化策略则在输入不完整的情况下保持了模型的鲁棒性。与CLAP预训练语料库进行的污染审计证实，模型性能的提升并非源于数据泄漏。一项以专家评分为校准标准的下游评估显示，所提出的互动质量指数（Interaction Quality Index）与专家评分的Pearson相关系数达到0.692。在两个嵌入式平台上进行的端侧部署研究表明，量化后的框架在实时因子为0.075、板级功耗为9.6 W的条件下，每句语音的端到端延迟为377毫秒，同时在真实幼儿园音频上保持0.706的F1分数。分阶段数据处理设计将原始音频、频谱特征和转录文本保留在教室节点内部，仅将标量化的互动质量值写入持久化存储。消融实验和可视化分析证实了各结构组件对识别性能和可解释性的贡献。