《Big Data and Cognitive Computing》：Accurate and Robust Multimodal Emotion Recognition for Human–Robot Interaction via Dynamic Graph Learning with Pairwise Cross-Modal Alignment
编辑推荐：
多模态对话情绪识别(MERC)旨在通过对文本、声学与视觉证据的建模来判别各语句的情绪类别。相较于单模态对话情绪识别(ERC)，MERC可借助互补的多模态信息支撑更准确且一致的情绪推断。然而，在统一框架内协调模态内上下文依赖、跨模态对齐与时序情感动态仍具挑战。现
多模态对话情绪识别(MERC)旨在通过对文本、声学与视觉证据的建模来判别各语句的情绪类别。相较于单模态对话情绪识别(ERC)，MERC可借助互补的多模态信息支撑更准确且一致的情绪推断。然而，在统一框架内协调模态内上下文依赖、跨模态对齐与时序情感动态仍具挑战。现有方法虽通过上下文建模、多模态融合与基于图的推理推进了MERC，但常依赖静态关系假设或分阶段模态协调，限制了对细粒度关系、选择性跨模态交互及情绪动态变化的联合建模。针对上述问题，研究人员提出DGL-PCA（带成对跨模态对齐的动态图学习），一种基于动态图的MERC框架。该模型结合时间感知关系构建、动态时间感知异构图建模与成对跨模态对齐以提升预测精度，较传统粗粒度融合或静态图公式更显式地协调了时序情感动态、结构化对话上下文与多模态交互。在IEMOCAP与CMU-MOSEI上的大量实验表明，DGL-PCA相较所有复现基线将加权F1提升1.08–19.93%；其在IEMOCAP六类与四类设定下分别取得70.02%与83.91%加权F1，在CMU-MOSEI七类与二类设定下分别取得44.93%与84.01%加权F1。语句掩蔽结果显示该方法在动态情绪变化下具备鲁棒性：在一段含39次相邻情绪转移、15语句窗内至多9次转移的79语句IEMOCAP对话中，任意单句缺失时平均加权F1仅下降1.87%，表明频繁情绪切换下长上下文预测稳定。所提模型为机器人具备类人情绪理解能力铺平道路。
研究背景方面，对话情绪识别(ERC)致力于判别对话中各语句情绪，支撑情绪感知对话系统、教育、医疗与客户服务等以人为中心的应用。现实对话中情绪极少仅由文本传达，声学韵律与面部视觉行为常提供决定性情感证据，故多模态对话情绪识别(MERC)成为更贴近真实的设定。MERC较文本ERC或非对话多模态情感分析更难：需同时处理模态内上下文依赖、跨模态对齐与时序情感动态，而现有图与非图方法或依赖静态关系模板、或特征空间过早混合模态、或对动态情绪转移不敏感。为此，研究人员开展基于动态图学习的研究，提出DGL-PCA框架，在IEMOCAP与CMU-MOSEI上验证其相较复现基线加权F1提升1.08–19.93%，并在单句缺失掩蔽实验中表现稳定，证明该方法能显式协调时序情感动态、结构化对话上下文与多模态交互，对提升人机交互中机器人情绪理解具有重要意义；该文发表于《Big Data and Cognitive Computing》。
关键技术方法上，研究人员采用IEMOCAP（双人互动、语句级分类情绪标注）与CMU-MOSEI（单人视频对齐语句、序数情感标注）为队列；特征端用sBERT提取文本（768维）、OpenSmile（IEMOCAP声学100维）或librosa（CMU-MOSEI声学80维）、OpenFace（IEMOCAP视觉512维）或官方35维视觉；模型含四步：单模态编码加说话人嵌入、动态时间感知异构图分支（含时间感知边权与双层注意力传播）、成对跨模态对齐(PCA)分支（以目标模态为中心的记忆块与Transformer交叉注意力）、图与PCA表示拼接后经highway门控与置信门控(CG)局部多数投票精炼；训练用AdamW，IEMOCAP用交叉熵、CMU-MOSEI用focal loss。
研究结果部分，研究人员依原文小节得出以下结论。任务定义小节明确语句由三模态对齐特征与说话人标识组成，需联合建模模态内上下文依赖集合与以目标模态为中心的跨模态对齐集合。单模态特征构建小节中，文本经Transformer编码、声学视觉经两层前馈映射至共享隐空间，说话人嵌入加至三模态表示。动态时间感知异构图建模小节构建模态特定语句节点，候选边含同语句同步跨模态族与同模态过去未来时态族，时间感知边权由内容兼容度加可学习相对时间偏置再乘时间衰减σ(·)得到，节点级与语义级双层注意力传播并残差连接，输出三模态节点拼接向量。成对跨模态对齐小节以目标模态为Query、源模态为Key/Value做Transformer交叉注意力，各目标模态（文本/声学/视觉）居中记忆块拼接成PCA输出。分类与最终预测精炼小节将图分支与PCA分支拼接，经highway门控后Softmax得初测概率与标签，低置信（低于τ）者在局部窗取多数标签替换，形成CG精炼。实验小节主结果在IEMOCAP六类70.02%、四类83.91%加权F1，CMU-MOSEI七类44.93%、二类84.01%加权F1，均超最强复现基线1.08–2.44%；消融显示去PCA掉点最大（六类降至62.39%），去时间衰减或相对时间偏置中位降至约67%，文本单模态主导、声学辅于文本优于视觉；边关系配置中Baseline（时态+同步跨模态）优于仅时态、仅跨模态或加入异步跨模态的Full；CG精炼在MOSEI七类带来1.66点加权F1增益。网络深度分析显示IEMOCAP对层数敏感、CMU-MOSEI二类10层达84.0%。窗口大小分析表明(过去6,未来8)在IEMOCAP达70.0%加权F1且处Pareto前沿。语句重要性分析在79语句对话单句掩蔽平均加权F1降1.87%，高冲突段64句掩蔽掉点最大6.07%但整体稳定。错误与表示分析中混淆矩阵显示Sad-Neutral、Happy-Excited、Angry-Frustrated为相邻情感误分集中区，t-SNE显示DGL-PCA类簇重叠少于MMGCN、MM-DFN与Joyful。
讨论与结论翻译部分，研究人员指出DGL-PCA通过时间感知关系构建、动态异构图与成对跨模态对齐，显式协调了模态内上下文、跨模态对齐与时序情感动态三者，在IEMOCAP与CMU-MOSEI四类设定下一致超越复现基线，加权F1提升1.08–19.93%；语句掩蔽实验证得频繁情绪转移下长上下文稳定（平均降1.87%）；消融证实PCA与时态偏置/衰减为核心贡献，CG精炼提供任务依赖的边际增益；该框架为机器人实现类人水平对话情绪理解提供了可行路径。
