MAFT：一种用于会话情绪识别的带有冻结预训练编码器的多模态注意力融合Transformer框架

《Scientific Reports》：MAFT: a multimodal attention fusion transformer framework with frozen pretrained encoders for conversational emotion recognition

　　本文研究多方对话中的多模态情感识别，结合了转录文本、语音波形以及说话人面部视频。文章提出了多模态注意力融合 Transformer（MAFT），该框架围绕以下长期存在的关键挑战而构建：中性情感标签占所有标签的近一半；转录文本通道的表现远超音频和视频；该特定数据集上的非文本信号受到罐头笑声污染、频繁镜头切换以及面部遮挡问题的影响。MAFT 是一个基于注意力的多模态融合框架，使用冻结的预训练编码器在 MELD 基准上进行了评估。当前的融合机制通过交叉注意力将每一对模态的两两组合进行配对，然后应用逐对 sigmoid 门控——一种显式的"关闭开关"，当某个通道会降低特定输入的预测质量时，允许网络将其权重置零。模态重要性从手动设定的比例 0.5/0.3/0.2（文本/音频/视频）开始；一个轻量级 MLP 根据对话上下文在每个样本上进行动态调整。训练采用余弦退火的类别级课程学习调度，在 50 个 epoch 内将关注重点从高频率情感逐步转向低频情感，并配合焦点损失与监督对比学习的联合目标函数。所有特征编码器均保持冻结状态：RoBERTa-large（1024 维）、HuBERT-large（1024 维）、MARLIN（768 维）。该原型系统最初仅依赖基础规模编码器且未采用上述任何机制，在 MELD 测试集上取得了 57.3% 的加权 F1 分数；而本系统达到了 69.2% 的加权 F1。