基于超图的全局-局部虚拟统一情感融合方法，用于对话中的多模态情感识别

《Pattern Recognition》：Hypergraph-based global-local Virtual Unified Emotion fusion for multimodal emotion recognition in conversations

　　•我们提出了一种具有虚拟统一情感模态融合功能的全球到局部超图神经网络（VUEMO）。我们引入了一种新的虚拟统一情感（VUE）模态，用于模拟人类的情感感知，从而弥合不同模态之间的情感冲突。•我们设计了全局注意力交互（GAI）模块，以提升全局对齐能力，整合全局时间序列表示，并补充整个话语中的情感信息模态。•我们还提出了由VUE引导的局部超图学习（LGL）模块，用于协调不同模态连接之间的局部关系，增强统一情感表示的稳定性。实验结果表明，VUEMO在多种多模态对话情感识别模型中均展现出优异的性能与泛化能力，优于现有最先进方法。

引言
对话中的情感识别在智能交互、医疗保健、教育以及客户服务等领域发挥着重要作用。人类情感通常通过多种模态表现出来，包括文本内容、语音语调、面部表情以及对话上下文。因此，仅基于单一模态的方法往往无法准确捕捉复杂的情感状态。多模态对话情感识别（MERC）通过同时建模文本、音频和视觉信息来提升情感理解能力。现有研究已证实多模态融合在MERC中的重要性。早期的方法[1]、[2]通常直接将多模态特征拼接在一起，但这种简单的融合策略忽视了不同模态在可靠性及情感贡献方面的差异[3]。近年来，图神经网络（GNNs）[4]通过建模非欧几里得关系结构，在MERC领域取得了显著进展。一种常见的方法是构建异构图[5]，即将各模态特有的话语表示视为节点，并将这些节点在不同模态及对话上下文之间建立连接。通过消息传递机制，这些方法能够优化模态内部及模态之间的依赖关系[6]。然而，现有的基于图的方法仍存在两大局限。首先，跨模态情感不一致性问题难以解决。文本、音频和视觉信号通过不同的途径编码情感，在实际应用中这些信号可能会出现矛盾——例如，语音可能表现出积极情绪，而面部表情却显示出消极情感。直接拼接、初步融合或基于图的消息传递都可能将相互矛盾的线索带入最终表示中。其次，传统GNN主要聚合局部邻域内的信息。当图结构较为稀疏或仅部分相连时[7]，它们可能无法捕捉到遥远话语之间的长距离情感变化。尽管许多现有方法通过初步融合、潜在融合或基于注意力的聚合方式来学习“统一表示”，但这些表示通常是通过对多模态特征直接压缩到共享的潜在空间中获得的。这样一来，模态间的冲突可能只是被隐含地混合在一起，而非被明确协调。与这些融合策略不同，我们所提出的虚拟统一情感（VUE）模态并非单纯的融合特征向量，而是一种额外的虚拟模态，它明确代表了从文本、音频和视觉线索中推断出的统一情感倾向。更重要的是，VUE作为独立的模态节点，既参与全局注意力交互，也参与局部超图构建。因此，VUE更像是一个能够感知冲突的情感桥梁，而非简单的早期融合或潜在融合表示。图1展示了两名对话者之间的示例对话，可以看出，在常用数据集中，超过40%的话语存在跨模态情感冲突。例如，在话语u4中，视觉和音频线索表明情感为积极，而文本内容则呈现情感中性。其真实标签为“中性”，这表明直接合并多模态线索可能会导致预测结果模糊不清。此外，对话中的情感往往依赖于长距离上下文。某些话语，如u2和u8，需要考虑较远距离的情感状态，而不仅仅是相邻的话语。这些观察结果表明，MERC既需要全局上下文对齐，也需要具备感知局部冲突的多模态协调能力。为了解决这些挑战，我们提出了用于MERC的具有虚拟统一情感融合功能的全球到局部超图神经网络（VUEMO）。其核心思想是从各种信息模态中构建虚拟统一情感（VUE）模态，并利用它来协调多模态情感语义。为建模长距离依赖关系，我们设计了全局注意力交互（GAI）模块，该模块可并行捕获文本、音频、视觉以及VUE方面的全局依赖关系。各种信息模态提供互补的语义线索以优化VUE，而VUE则有助于强化全局多模态的对齐效果。为解决局部情感冲突，我们进一步提出了由VUE引导的局部超图学习（LGL）模块。LGL会在每个信息模态与VUE之间构建独立模态超边，同时在不同模态对与VUE之间构建耦合模态超边。通过这种方式，VUE能够在结构化的超图中明确引导各模态特定偏差以及模态对间跨模态冲突的协调。本文的主要贡献可总结如下：•我们提出了具有虚拟统一情感模态融合功能的全球到局部超图神经网络（VUEMO）。我们引入了一种新的虚拟统一情感（VUE）模态，用于模拟人类情感感知，从而弥合不同模态之间的情感冲突。•我们设计了全局注意力交互（GAI）模块，以提升全局对齐能力，整合全局时间序列表示，并补充整个话语中的情感信息模态。•我们提出了由VUE引导的局部超图学习（LGL）模块，用于协调不同模态连接之间的局部关系，增强统一情感表示的稳定性。•实验结果表明，VUEMO在多种多模态对话情感识别模型中均展现出优异的性能与泛化能力，优于现有最先进方法。

章节节选
对话中的情感识别
对话中的情感识别技术[8]、[9]、[10]已从单一模态的情感建模发展为多模态且具备上下文感知能力的识别方法。早期的对话情感识别方法主要依赖文本信息，使用BiLSTM[11]和DialogueRNN[2]等序列模型来捕捉对话层面的依赖关系。然而，单一模态方法往往由于情感线索不完整而存在缺陷，尤其是当文本内容模糊或与语音、视觉表达不一致时。因此，

概述
鉴于不同模态直接连接时存在的情感冲突，以及基于GNN的神经网络在全局对齐方面的局限性，我们提出了如图2所示的具有虚拟统一情感模态融合功能的全球到局部超图神经网络（VUEMO），该网络整合了五项关键设计要素：首先，它采用预训练的骨干网络进行模态编码；随后，提出VUE模态作为统一处理模块，用于化解不同模态之间的冲突。

数据集
我们在两个常用的多模态情感识别基准数据集上对VUEMO进行了评估：IEMOCAP[42]和MELD[43]。这两个数据集都提供了包含对齐后的文本转录、音频信号及视频记录的话语级标注。详细的数据分布情况见表1。我们遵循了先前研究[5]、[44]中采用的标准数据分割方案。对于IEMOCAP数据集，我们采用了留一会话法（LOSO）：前四个会话用于训练和验证（其中10%用于验证）。

与现有最先进方法的比较
我们在IEMOCAP数据集和MELD数据集上将所提出的VUEMO与现有的最先进模型进行了对比。所有模型的整体性能分别见表2和表3。根据实验结果，我们可以发现，在IEMOCAP数据集上，VUEMO的加权准确率和W-F1值分别比现有的最先进模型（即MGLRA、Himul-LGG）高出1.17%和2.21%。在单独分析每种情感（即中性、兴奋和沮丧）时，VUEMO的W-F1值也更高。

结论与未来工作
本文提出了VUEMO，这是一种用于对话中多模态情感识别的全球到局部超图神经框架。通过引入虚拟统一情感（VUE）模态，VUEMO能够明确协调文本、音频和视觉模态之间的情感不一致问题。全局注意力交互模块负责捕捉长距离的上下文依赖关系，而由VUE引导的局部超图学习模块则用于建模细粒度的独立模态及耦合模态之间的相互作用。

作者贡献声明
冯泽辉：写作——审稿与编辑、可视化、验证、方法论。吴桐：写作——审稿与编辑、方法论。朱照鹏：可视化、验证。韩婷：监督、资源协调、方法论。

利益冲突声明
作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。

致谢
本研究部分得到了中国国家重点研发计划（项目编号2022YFB3303303）的支持，部分得到了庐山科研基金的资助，还有部分得到了国家自然科学基金（项目编号72471140）的经费支持。冯泽辉于2024年获得中国杭州浙江工业大学计算机科学与技术学院的学士学位，目前在上海交通大学设计学院攻读博士学位。他的研究兴趣包括深度学习、情感计算、智能康复干预以及脑机接口技术。他已发表五篇会议论文和三篇顶级期刊论文，同时还担任多项学术期刊的审稿人。
冯泽辉|吴桐|朱照鹏|韩婷