跨模态音频-文本注意力机制在资源匮乏的乌尔都语环境中用于多模态多任务语音情感识别

《Scientific Reports》：Cross-modal audio-text attention for multimodal multitask speech emotion recognition in low-resource Urdu

　　

摘要

在资源匮乏的语言环境中，语音情感识别（Speech Emotion Recognition, SER）仍然面临诸多挑战，这主要是由于标注数据的数量有限、说话人的表现存在差异，以及情感表达的多模态特性。本文将现有技术组件（wav2vec 2.0、XLM-R、跨模态注意力机制和多任务情感建模）整合到一个统一框架中，并对该框架进行了跨说话人、跨语言的零样本（zero-shot）评估，同时验证了其在泛化能力上的可靠性。这一框架专门针对乌尔都语（Urdu）进行了测试，而这种组合在之前的乌尔都语语音情感识别研究中尚未被共同使用过。所提出的多模态多任务模型在乌尔都语语音情感语料库（UrSEC）上的情感识别准确率达到了91.3%，大幅优于仅基于音频或文本的基线模型。通过结合情感价值（valence）和唤醒度（arousal）的学习方法，模型的性能得到了进一步提升。与随机划分测试相比，该模型在独立于说话人的评估环境中表现略有下降，但证明了其对说话人特定偏见具有较强的鲁棒性。在不进行微调的情况下，该模型在英语数据集上的跨语言零样本评估准确率在IEMOCAP为80.2±1.3%、CREMA-D为86.3±0.9%，表明其具备良好的跨语言迁移能力，不过这还不足以证明模型完全具备语言中立性。所有性能提升结果都经过多次实验验证，并结合了注意力机制分析和集成梯度（Integrated Gradients）分析；定量可靠性测试进一步证实了模型依赖于情感特征明显的声学特征和乌尔都语语言特有的表达元素，而非基于虚假相关性得出的结果。