MDCM：一种基于多粒度解耦和跨模态协同的情感分析模型

《Pattern Recognition》：MDCM: A Multi-Granularity Disentanglement and Cross-Modal Synergy-Based Model for Sentiment Analysis

多模态情感分析中提出MDCM框架，通过分层语义解耦与跨模态协作学习缓解特征纠缠，结合多粒度潜在空间建模和可区分特征选择提升情感相关表征，同时利用跨模态注意力机制和动态门控策略增强模态互补性，实验在MOSI和MOSEI数据集上验证有效性。

　　

王梦生|谢伦|彭晓兰|王新恒

北京科技大学，中国北京市海淀区学园路30号，邮编100083

摘要

在多模态情感分析领域，不同模态之间的数据结构和语义层次结构的固有异质性往往导致特征在融合过程中发生纠缠。这种纠缠阻碍了精确的语义对齐，并引入了大量冗余，从而削弱了模型有效捕捉情感线索的能力。为了解决这些问题，本文提出了一种新的框架，称为“多模态解耦协作模块”（Multimodal Disentangled Collaborative Module，简称MDCM），该框架将层次化语义解耦与跨模态协作学习相结合。具体而言，该框架采用多粒度潜在空间建模与判别性特征选择相结合的方法，逐步解耦各模态特有的语义，从而增强与情感相关的表示的显著性。同时，它利用跨模态注意力机制、高级语义抽象和动态门控策略来促进模态间的语义互补性，并在融合过程中强化主导模态的引导作用。在两个广泛使用的基准数据集MOSI和MOSEI上进行的全面实验表明，MDCM在多个评估指标上均表现出优异的性能，证明了其在情感识别任务中的有效性。

引言

随着社交媒体在日常生活中的普及，用户越来越多地通过TikTok和YouTube等平台发布短视频来表达个人观点和情感。这些视频包含了丰富的多模态信息，为情感计算提供了宝贵的资源。与传统单模态情感分析方法相比，多模态情感分析（Multimodal Sentiment Analysis，简称MSA）利用了来自多种模态（文本、视觉和音频）的信息。通过探索跨模态的互补性和协作关系，MSA能够实现更加丰富和稳健的情感表示。MSA的主要挑战在于从异构的多源模态中高效提取具有判别性的语义表示。传统方法通常采用特征级、决策级或混合融合策略，这些方法架构简单、计算成本低，但在捕捉模态间的语义依赖性和动态交互方面存在局限性。为了解决模态异质性问题，近期研究越来越强调联合建模模态不变特征和模态特定特征，以充分利用跨模态互补性，从而增强多模态表示的表达能力和判别力。然而，模态间的显著语义差异往往导致融合阶段出现相互干扰和特征纠缠，这削弱了模型区分情感相关信号与无关噪声的能力，并限制了模态互补性的充分发挥（见图1）。此外，大多数现有方法仅关注融合阶段的模态间交互建模，而忽略了在早期特征编码阶段结合跨模态引导的好处，从而限制了它们从根本上缓解特征纠缠的能力。

基于上述分析，本文提出了“多模态解耦协作模块”（MDCM）来减轻由模态异质性引起的特征纠缠。该框架包含两个组成部分：首先，“层次化语义解耦”（Hierarchical Semantic Disentanglement，简称HSD）模块结合判别性特征选择，构建共享和模态特定的潜在空间，减少语义混淆和冗余，同时增强与情感相关的表示；其次，“跨模态注意力引导的特征协作”（Cross-modal Attention-guided Feature Collaboration，简称CAFC）模块利用跨模态注意力动态建模模态间的交互，同时整合高级语义建模和动态门控机制，以适应性地调整模态贡献，突出情感线索，并提高融合效率。本文的主要贡献如下：

1. 本文提出了一个层次化语义解耦（HSD）模块，采用双分支潜在变量建模框架明确学习共享和模态特定的潜在表示。

2. 我们进一步提出了一种新的跨模态注意力引导的特征协作（CAFC）模块，该模块利用多路径跨模态注意力机制全面捕捉模态间的复杂语义依赖性。

3. 在两个公共基准数据集上进行的广泛实验表明，所提出的框架在多个评估指标上均表现出优异的性能，充分验证了其有效性。

部分摘录

多模态情感分析

随着流媒体平台的快速发展，多模态情感分析的应用范围不断扩大。为了利用不同模态之间的互补优势，王等人提出了一个多源知识引导的特征融合网络（Multi-source Knowledge-Guided Feature Fusion Network），该网络利用流形知识指导非语言特征提取和关系建模，从而增强跨模态互补性。秦等人采用了灵活的拓扑结构来有效实现...

方法论

本节全面介绍了所提出的MDCM框架的整体架构。本文中使用的所有符号的详细说明见表1。

实验

本节详细描述了实验设置。随后进行了全面的评估，将所提出的MDCM框架的性能与最先进的方法进行了比较，并进行了消融研究和深入的特征可视化分析。

结论与未来工作

为了减轻无关信息对多模态情感识别的负面影响，本文提出了一种基于多粒度解耦和跨模态协同作用的情感分析模型。该框架系统地将单模态特征分解为模态特定和模态不变的组成部分：不变分支捕获共享的情感相关语义，而特定分支保留模态依赖的细节，并采用选择性抑制策略...

CRediT作者贡献声明

王梦生：撰写——原始稿件、可视化、验证、软件开发、方法论设计、数据分析、概念化。谢伦：撰写——审稿与编辑、项目监督、管理、数据收集、概念化。彭晓兰：撰写——审稿与编辑、项目监督、资源协调、资金筹集。王新恒：数据分析、形式化分析、数据管理。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。