面向多模态情感分析的鲁棒三重解纠缠表示学习

《Knowledge-Based Systems》：Robust triple disentangled representation learning for multimodal sentiment analysis

　　

**贡献摘要：**
• 提出了一种名为 RMCD 的新型网络，这是一种新颖的鲁棒三重解耦框架。
• 提出了一种双视图噪声不变学习方法，以提升噪声鲁棒性并稳定特征学习。
• 利用三通道框架减少冗余，更好地捕捉重要的情感信息。
• 进行了大量实验，验证了所提出方法的有效性。

---

## 引言

情感分析旨在识别和提取个体对特定主题、人物或实体所表达的主观情感与观点[1]。自诞生以来，该领域发展极为迅速，已成为自然语言处理和人工智能的重要分支，广泛应用于社交媒体监控、智能客服、医疗健康、教育评估和舆论分析等领域[2]。随着互联网内容从以文本为主的形式演变为包含图像、音频和视频的多媒体形式，传统单模态情感分析的局限性日益凸显，催生了多模态情感分析（MSA）这一新兴研究方向。通过整合文本、视觉和音频等多种模态的信息，多模态方法能够构建更为全面的情感表示，显著提升模型在复杂现实场景中理解和判别情感的能力[3]、[4]。然而，不同模态之间存在显著的异构性，每种模态不仅传达不同类型的情感线索，在表示密度和噪声水平方面也各不相同[5]。

现有研究提出了各种先进的 MSA 方法，其中大多数聚焦于高效的多模态融合策略，旨在充分挖掘和整合来自文本、视觉和音频等不同模态的互补信息，以构建更全面、更鲁棒的多模态情感表示[6]。近年来，基于注意力机制和 Transformer 的融合模型已成为该方向的主流范式[7]。例如，MAMN[8]在多粒度特征层面同步建模一致性与差异性关联，同时深入挖掘多级注意力图谱之间的交互。Yang 等人[9]提出了一种跨模态层次融合框架，系统地整合单模态、双模态和三模态表示之间的动态交互信息。Gao 等人[10]提出了一种结构化的三元查询分组策略，将文本、视觉和音频模态各自视为独立的查询锚点，形成并行的以模态为中心的交互组。大多数方法在联合建模方面取得了成功。然而，现有的大多数多模态情感分析方法仍倾向于将每种模态作为一个整体单元来处理，采用拼接、加权求和或投影到统一潜在空间等相对简单的融合策略。虽然这些方法易于实现，但在面对显著的模态异构性时，难以精细捕捉模态私有的判别性信息，且融合灵活性不足、可解释性较弱。

为了更有效地应对模态间冗余与异构的双重挑战，特征解耦范式近年来受到了广泛关注，并成为提升多模态表示质量的重要技术路径。代表性工作包括 Hazarika 等人[11]提出的 MISA 框架，该框架显式地将每种模态的表示分解为两个正交表示：模态共享表示通过跨模态语义对齐捕捉共享的情感语义，而模态特有表示则保留每种模态的独特风格与分布特征，从而实现共享信息与私有信息的清晰分离。Yang 等人[12]进一步验证了基于 Transformer 的编码器在更深层次天然倾向于提取跨模态更具可迁移性的共享特征，并据此设计了一种解耦机制以增强跨模态注意力融合的有效性。Li 等人[13]引入了图知识蒸馏单元，在解耦共享与私有特征的基础上，实现自适应的跨模态知识迁移，以提升特征表示的判别性。Wang 等人[14]首先将文本和音频特征投影到相同的潜在变量空间，同时为不同模态配置独立编码器以保持其特异性，随后应用有监督对比学习约束，进一步拉近共享语义并推远离模态私有噪声。更进一步地，DLF[15]引入了特征解耦模块来分离模态共享信息与模态特有信息，为减少冗余并增强语言导向特征，引入了四种几何度量来优化解耦过程。

尽管上述基于特征解耦的多模态情感分析方法取得了显著的性能提升，但其固有局限性不容忽视。早期的解耦工作主要旨在提取跨所有模态的"全局共享"表示；这种一刀切的策略虽然易于实现，但容易将模态中与情感无关的偶然统计相关性误判为情感信息，从而以与任务无关的噪声污染特征表示。后续一系列改进方法虽然显式地区分了模态共享与模态私有特征，但仍然不可避免地导致在所得的两个表示中残留与下游情感分类任务弱相关的冗余成分。一个可能的原因是许多现有的解耦方法并未显式施加与下游情感分类目标直接对齐的判别性约束。在私有模态表示中，只有部分信息与标签语义显著相关，这种跨模态不一致现象十分普遍。在 CH-SIMS[16]和 UniC[17]等提供独立单模态标注的数据集中，此类模态不一致已被系统研究。如图1所示，当一个人评价一部电影时，其面部表情可能传达对影片的不满，然而某些文本信息（例如"结局不错"）或声音中的激昂语气可能传递正面情感信号，从而稀释真正反映情感状态的核心语义，在分类性能上造成隐含瓶颈。因此，当前多模态情感分析领域迫切需要在单模态内部及跨模态层面准确分离三种不同信息成分的更细粒度特征解耦与噪声鲁棒机制。

为解决现有方法的局限性并更好地缓解模态间异构性，我们提出了一种鲁棒多模态解耦多模态情感分析框架（RMCD）。RMCD 遵循一个由特征提取、解耦、融合和预测组成的结构化流水线，专门针对冗余和噪声问题。首先，采用模态独立的特征提取器，辅以高斯噪声注入以构建双视图表示；随后，将这些双视图特征输入多通道解耦编码器，显式地将其分解为三种表示：模态共享表示、模态私有表示和模态情感表示。重建损失、Hilbert-Schmidt 独立性准则（HSIC）和基于对比学习的几何正则化项被纳入总损失中，联合且分别优化这三种表示，减少与任务无关信息的影响，同时鼓励保留对情感至关重要的信息。在多通道融合增强阶段，分别对模态私有、共享和情感特征应用交叉注意力、自注意力和层次情感先验引导机制进行针对性细化。最后，将三种增强后的表示融合形成鲁棒的联合表示并输入预测器。总之，这些组件使 RMCD 能够有效建模复杂、嘈杂和异步的多模态情感信号。我们的贡献总结如下：

- 提出了一种双视图噪声不变表示学习策略，通过构建互补的干净视图与噪声视图来促进噪声鲁棒的特征学习，并提升下游三重解耦的稳定性。
- 设计了一种三重解耦框架，联合分离共享、私有和情感相关特征，从而解决特征冗余问题并充分利用情感关键特征。
- 在 CMU-MOSI、CMU-MOSEI 和 CH-SIMS 数据集上进行了大量实验，结果表明 RMCD 在大多数评估指标上取得了具有竞争力的性能。全面的消融研究进一步验证了 RMCD 框架内每个组件的有效性。

---

## 章节节选

### 多模态情感分析

MSA 融合策略通常被分为三类：早期融合、晚期融合和中间融合。早期融合在输入联合模型之前直接拼接或对齐来自不同模态的原始特征或低层特征[18]。虽然计算上较为简单，但该方法对特征尺度、噪声分布和跨模态时间对齐的异构性高度敏感，往往导致次优性能当方法

### 方法论

在本节中，我们首先描述问题定义和 RMCD 的整体框架，然后详细介绍所提模型的关键模块。

### 实验

在本节中，为了评估所提方法的有效性，我们在三个广泛使用的数据集 CMU-MOSI[35]、CMU-MOSEI[36]和 CH-SIMS[16]上进行了大量实验。实验结果表明，所提方法在多模态情感分析任务上取得了具有竞争力的性能，该任务涉及回归和推导分类评估。我们提出的 RMCD 模型有效解决了不同模态之间异构性问题在结论和

### 结论与未来工作

本研究提出了 RMCD，一种三重解耦表示学习方法，有效缓解了多模态表示中无关信息和冲突信息的负面影响。与传统二元解耦方案相比，RMCD 针对任务的内在特征进行了更有针对性的优化。在多个基准数据集上的实验结果表明，RMCD 在不同条件下的竞争力性能和鲁棒性跨不同

---

## CRediT 作者贡献声明

陆一杰：可视化、验证、软件、方法论、形式化分析。何青：资金获取。杜尼斯：写作—审阅与编辑、资源。

## 利益冲突声明

作者声明以下财务利益/人际关系可能被视为潜在的利益冲突：何青报告获得了国家自然科学基金"侦查文档分析中的证据链构建研究（62166006）"提供的资金支持。何青报告获得了国家重点研发计划"教育大数据驱动的个性化学习关键技术与示范应用"提供的资金支持。

## 致谢

本研究部分受国家自然科学基金"侦查文档分析中的证据链构建研究（62166006）"和国家重点研发计划"教育大数据驱动的个性化学习关键技术与示范应用（2023YFC3341200）"资助。部分支持来自贵州省科技支撑计划"空间优化关键核心技"

---

陆一杰于2023年获得北京信息科技大学信息管理学院学士学位。目前就读于贵州大学大数据与信息工程学院硕士项目。他的研究兴趣包括自然语言处理和多模态情感分析。

**陆一杰 | 何青 | 杜尼斯**