基于多模态Transformer与有向关系图学习的对话情感识别框架及其在大学生心理健康研究中的潜在应用

《Frontiers in Psychology》：Multimodal transformer and directed relational graph learning for emotion recognition in conversations with potential applications in college student mental health research

　　

多模态对话情感识别（Multimodal Emotion Recognition in Conversations, MERC）旨在通过联合分析文本、声学和视觉及语境信息来识别每个话语所表达的情感。然而，现有方法在协调模态内依赖建模、跨模态交互和基于图的对话推理方面仍面临挑战。为解决这些挑战，研究人员提出了MTG-ERC，一个结合基于Transformer的注意力机制与有向关系图学习的多模态对话情感识别框架。首先，文本、声学和视觉特征被投影到一个统一表示空间。随后采用模态内自注意力和跨模态注意力来捕获模态特定的上下文依赖和模态间的互补交互。然后，一个有向多关系图模块结合关系图卷积（Relational Graph Convolution, RGCN）和图Transformer（Graph Transformer）操作，以建模时间上下文、说话者相关交互以及话语间的多模态依赖。最后，基于全局注意力的表示和基于局部图的上下文表示被整合用于话语级情感分类。在IEMOCAP和MELD数据集上的实验表明，与所评估的对话情感识别基线相比，MTG-ERC取得了有竞争力的性能。消融结果进一步表明，模态内注意力、跨模态交互和有向关系建模对最终性能做出了互补贡献。该框架在大学生心理健康研究中也有潜在应用，其多模态情感建模能力可支持对对话数据中情感模式的分析。

论文解读：MTG-ERC——多模态Transformer与有向关系图学习在对话情感识别中的融合

一、研究背景与问题

情感识别在对话中旨在结合多模态线索与对话上下文判断每个话语的情感状态。早期方法多依赖单一模态，信息不完整。近年来深度学习方法利用注意力机制和图神经网络取得进展，但存在三个问题：第一，模态特定模式与跨模态交互通常分离建模，难以协调模态内与模态间信息；第二，对话情感依赖局部转换和更广泛上下文关系，顺序或全连接结构不能充分表示；第三，多模态图构建若不显式控制时间方向和关系类型，会引入冗余连接和计算开销。因此，研究人员提出了MTG-ERC框架，将基于注意力的表示学习与有向多关系图建模相结合，以实现协调的模态内依赖、受控跨模态交互和关系特定的对话上下文建模。

二、研究内容与结论

研究人员设计了MTG-ERC，在IEMOCAP和MELD两个公开基准数据集上进行了实验。在IEMOCAP六类任务上，准确率70.12%，加权F₁分数70.23%，优于GraphCFC；在四类任务上，准确率84.77%，加权F₁分数84.51%，优于COGMEN；在MELD上，准确率65.25%，加权F₁分数65.32%，准确率最高但加权F₁略低于UniMSE。统计检验表明，在IEMOCAP任务上改进显著，在MELD上与UniMSE统计相当。消融实验显示，模态内注意力、跨模态交互和有向关系建模贡献互补。该框架在大学生心理健康研究中有潜在应用，但研究者强调不能作为心理评估或诊断工具。

三、主要关键技术方法

研究使用了IEMOCAP和MELD数据集。文本特征分别用Sentence-BERT和RoBERTa-Large提取；声学特征用OpenSmile的GeMAPS（IEMOCAP）和ComParE（MELD）配置提取；视觉特征用OpenFace（IEMOCAP）和DenseNet（MELD）提取，并投影到128维公共空间。核心模块包括：模态内Transformer（intra-transformer）建模模态内上下文；模态间Transformer（inter-transformer）带门控机制进行跨模态信息交换；有向多关系图模块，每个话语有文本、声学、视觉三个节点，包含9种话语内模态关系和6种时间邻居关系（过去/未来各10句），通过关系图卷积（RGCN）和Graph Transformer更新；注意力表示与图表示融合后分类。模型用AdamW优化，学习率1×10^?4，训练最多30轮，早停法，5个随机种子重复实验。

四、研究结果

4.1 实验数据集与评估协议：在IEMOCAP（六类和四类）和MELD上评估，使用准确率和加权F₁分数，5个随机种子。

4.2 训练与收敛分析：验证曲线显示性能快速提升后趋于平稳；四类任务更平滑，MELD波动较大。

4.3 与现有方法比较：
4.3.1 IEMOCAP六类任务：MTG-ERC获得最高整体指标，类级上happy和frustrated最好，但angry和excited不如GraphCFC。
4.3.2 IEMOCAP四类任务：合并类别后性能提升，优于COGMEN。
4.3.3 MELD：准确率最高，加权F₁略低于UniMSE；fear和disgust识别困难。

4.4 统计稳健性与显著性分析：配对t检验显示在IEMOCAP上差异显著（p=0.010和p=0.006），效应量大；MELD上不显著（p=0.118）。

4.5 消融研究：
4.5.1 模态组合效果：文本最强，三模态融合最佳，音频优于视觉。
4.5.2 模型组件影响：去除inter-transformer下降0.76个百分点，去除intra-transformer下降1.60，去除时间关系模块下降最大，去除话语内关系也下降，表明各组件互补。

4.6 计算复杂度与效率：MTG-ERC参数9.84M，FLOPs 4.72G，推理时间2.37ms/句，GPU内存4.61GB，比基线高但适合离线分析。

4.7 错误分析：happy与excited混淆，neutral与frustrated混淆；MELD上少数类识别差。多模态融合减少但未消除歧义。

4.8 解释与性能-复杂度权衡：三个机制互补，改进相对较小，需要权衡计算成本。

五、讨论与结论

讨论指出主要发现：MTG-ERC在双人对话和多人对话上表现稳定，不是普遍最优；性能提升源于注意力与图模块的互补。性能-复杂度权衡中，额外计算换取了更详细建模，但改进有限。局限性包括依赖预提取特征、仅两个数据集、对域转移敏感、少数类识别差、计算要求高。伦理上，IEMOCAP和MELD无临床心理标签，不能用作心理评估。结论部分翻译：这项研究提出了MTG-ERC，一个协调模态内注意力、门控跨模态交互和有向多关系图推理的多模态对话情感识别框架。在IEMOCAP和MELD上的结果证明了其在所采用实验设置下的竞争性能，消融分析确认注意力与图组件具有互补贡献。研究也揭示了重要局限性：相对基线的改进较为温和，架构增加了计算成本，少数情感仍难以识别。此外，模型依赖预提取特征且仅在两个基准数据集上评估。未来研究应聚焦端到端多模态表示学习、跨领域评估、少数类识别、域适应、缺失模态鲁棒性和轻量化部署。该框架可为未来大学生心理健康研究提供方法学基础，特别是分析对话数据中的情感模式。