DCPR：通过跨模态扰动解耦共享语义以实现鲁棒的多模态情感分析

《Neurocomputing》：DCPR: Disentangling shared semantics with cross-modal perturbation for robust multimodal sentiment analysis

　　

摘要 多模态情感分析的难点在于各模态之间可靠性不均衡，这引发了两个问题。(1) 嘈杂的模态容易污染多模态融合中的共享表示。(2) 当模态之间存在冲突时，单模态预测容易产生过度自信。为解决这些问题，本文提出了DCPR框架。我们将多模态表示解耦为共享的情感语义成分和模态特定的干扰成分，并在实例级别和分布级别上对齐共享表示，使其能够更稳定地捕捉情感信息。在训练过程中，引入模态级别的随机扰动来模拟实践中遇到的不完整或不一致条件，防止模型过度依赖任何单一模态。此外，对融合分支和单模态分支的预测方差施加置信度间隔正则化，使任何单个模态都不能声称比融合预测具有更高的置信度并主导最终决策。在三个公开情感基准上的实验表明，DCPR在大多数指标上与最先进方法持平或优于它们，并且在模态扰动下保持稳定。 引言 多模态情感分析（MSA）旨在整合文本、声学和非语言线索来理解人类所传达的情感状态。与单模态方法相比，多模态方法能够捕捉更丰富的情绪信号，如语调中的犹豫或面部表情的细微变化，而这些往往是纯文本分析无法获取的。MulT [1]和AOBERT [2]等基于注意力的方法实现了动态模态融合，而CubeMLP [3]则采用不同的路径，通过纯MLP架构沿序列、模态和通道轴混合特征。这些工作从互补的角度推动了该领域的发展。 然而，多模态信息的有益性并不总是与其数量成正比。一个核心挑战在于不同模态的可靠性差异显著，且这种差异在不同样本间有所不同，如图1(a)所示。文本模态通常传达最直接的语义信息，而声学和视觉模态则容易受到录制条件、说话人习惯和遮挡的干扰。当某个模态的信号质量下降时，它不仅无法提供有用的互补线索，还会作为噪声源污染融合表示。MISA [4]将每个模态投影到模态不变和模态特定的子空间中，MFM [5]采用生成式分解将表示解耦为共享和私有的生成因子，FDMER [6]在特征级别上将每个模态分离为公共和私有特征。然而，这些方法在面对嘈杂模态时仍然脆弱，因为低质量模态的干扰往往会渗入共享空间并降低整体表示质量。DMD [7]尝试通过解耦蒸馏策略缓解模态不平衡，DecAlign [8]通过带有GMM的最优传输对齐原型级别的不均匀特征。两者仍然纯粹停留在表示层面：既未在训练过程中模拟模态退化，也未约束融合决策与每个单模态分支之间的关系，因此低质量模态的噪声仍可能渗入共享空间并主导最终预测。 该问题的另一个方面表现为推理过程中的置信度分配校准不当，如图1(b)所示。当不同模态在情感极性上不一致时，融合模型应该权衡可用证据并产生谨慎的预测。然而，在实践中，即使输入不可靠，单个单模态分支往往也会产生过度自信的预测。Self-MM [9]识别了文本模态的过度主导，并通过多任务学习加以缓解；CGGM [10]通过梯度调制动态调整每个模态的优化方向；GFML [11]通过门控融合模块结合多任务监督来平衡模态贡献；EMOE [12]引入了混合专家机制来动态分配模态权重。一旦这种过度自信通过融合机制传播到最终决策中，不可靠的模态就可能主导预测，并破坏多模态融合本应提供的互补优势。大多数现有方法通过权重分配或梯度优化间接处理此问题，很少有方法直接对预测置信度施加约束。 现有工作从不同角度解决这两个问题。一条研究路线通过注意力或门控机制动态调整模态贡献。ALMT [13]设计了一个自适应超模态学习模块，在文本指导下过滤声学和视觉流中的噪声；CENet [14]将长程非语言线索注入预训练语言模型；PMR [15]通过消息枢纽实现渐进式跨模态交换；MSG [16]通过混合模态注意力动态转换多模态表示，在模态退化时重新路由信息；MUTA-Net [17]通过多尺度时间注意力捕捉动态交互权重。这些方法仍然在耦合的表示空间内运作，无法从根本上隔离嘈杂模态的干扰。另一条路线引入模态缺失训练策略以增强鲁棒性。MMIN [18]构建了一个想象网络来重建缺失的表示，SSLMM [19]利用自监督信号发现跨模态对齐线索，但此类方法通常停留在简单缺失模拟的层面，缺乏对模态间关系的深度建模。在融合阶段的置信度校准同样很少用于规范单个模态的决策权限。 最近两个视角进一步明确了这一框架。跨模态不一致对齐用于讽刺检测[20]将文本和视觉通道之间的分歧视为一等信号而非噪声，表明模态冲突承载着情感信息结构。DiagLLM [21]将大语言模型置于多模态管线的中心，将每个非文本模态视为可解释的证据，从而产生有据可依的解释。这两项工作都表明，仅重新分配权重无法解决模态可靠性不均衡的问题；融合需要对每个模态贡献什么以及它们在何处冲突进行明确说明。 基于上述分析，我们提出了"通过跨模态扰动的共享语义解耦实现鲁棒多模态情感分析"（DCPR）框架，通过覆盖表示解耦、训练时扰动和置信度正则化的三个协同机制来应对模态可靠性不平衡问题。我们首先将每个模态的表示解耦为两个正交成分：共享的情感语义成分和模态特定的干扰成分。共享成分由权重共享编码器提取，旨在捕捉跨模态一致的情感信号，而私有成分由模态特定编码器建模，吸收各模态独有的噪声和冗余。为保障共享表示的质量，我们在实例级别和分布级别施加对齐约束，使从不同模态提取的共享表示保持语义一致性。在训练过程中，一种模态级别的随机扰动策略通过三种操作模拟实践中遇到的不完整或不一致模态条件：模态丢弃、特征交换和高斯噪声注入。持续暴露于这些扰动迫使模型学习一种不过度依赖任何单一模态的融合策略。为防止任何模态主导决策并确保模型真正利用互补信息，DCPR引入了一种自适应置信度正则化机制，对融合预测与每个单模态预测之间的关系施加显式约束。这三个机制直接对应前述两个问题：解耦结合双粒度对齐以及随机扰动对抗嘈杂模态对共享表示的污染（第3.3节–第3.4节；由表5、图5c和图6中的嵌入空间证据验证），而自适应置信度正则化则对抗模态冲突下的单模态过度自信（第3.5节；由表7、表8验证）。 我们在CMU-MOSI、CMU-MOSEI和CH-SIMSv2上评估了DCPR；它在大多数指标上与最先进方法具有竞争力，并且在模态扰动下保持稳定。本文的主要贡献总结如下： 1. 我们提出了一种共享-私有的解耦机制，结合了实例级别和分布级别的对齐，确保共享表示稳定地捕捉情感语义，同时将模态噪声隔离在私有空间中。 2. 我们设计了一种模态级别的随机扰动训练策略，模拟多种模态退化场景，增强了模型在不完整和不一致模态条件下的鲁棒性。 3. 我们提出了一种自适应置信度正则化，在融合分支和每个单模态分支的预测方差之间施加间隔约束，防止任何单模态分支在没有调用真实标签作为辅助信号的情况下比融合预测更自信。 4. 在多个公开数据集上的实验验证了该方法的有效性和鲁棒性。 章节片段 多模态情感分析 多模态情感分析旨在通过结合文本、声学和视觉信息来确定说话者的情感状态。早期研究聚焦于异构模态如何对齐以及它们的交互如何建模。TFN [22]和LMF [23]以及相关张量融合变体[24]是该路线的代表性方法，两者均采用张量外积捕捉高阶跨模态交互，为后续融合奠定了基础。 总体框架 给定一个多模态样本，我们考虑三种模态：语言()、音频()和视觉()。按照该领域的常见设置，原始信号首先由BERT、Librosa和OpenFace处理为序列特征、、和，其中和分别表示序列长度和模态的原始通道维度。模型从产生情感标签的预测。 多模态情感识别同时面临两个层面的挑战。在表示层面， 数据集和评估指标 我们在三个广泛使用的多模态情感回归基准上评估DCPR。CMU-MOSI [40]（个片段，标签范围）和CMU-MOSEI [41]（句，相同标签范围）是英语情感回归数据集。CH-SIMSv2 [42]（个中文片段，标签范围，是CH-SIMS [43]的扩展版本，具有更强的声学和视觉线索）表现出更为显著的跨模态分布偏移。我们采用各数据集发布的官方训练/验证/测试划分。 我们报告了平均绝对 结论与未来工作 本文提出了DCPR，一种鲁棒的多模态情感分析框架，它通过双粒度对齐将共享情感语义与模态特定的干扰解耦，通过随机扰动使模型暴露于真实的模态退化环境，并通过自适应置信度正则化约束融合预测与单模态预测之间的关系。在CMU-MOSI、CMU-MOSEI和CH-SIMSv2上的大量实验表明，DCPR持续取得具有竞争力的 作者贡献声明（CRediT） 周茂元：撰写 – 审阅与编辑，撰写 – 初稿，可视化，软件，方法论，数据管理，概念设计。黄俊敏：撰写 – 初稿，可视化，数据管理。郭前进：撰写 – 审阅与编辑，监督，经费获取。 利益冲突声明 作者声明他们不存在已知的可能影响本文报告工作的财务利益或个人关系。 致谢 本研究得到国家自然科学基金（编号：52361145714，21673252）和中国北京市教委（资助编号：2019821001）的支持，以及北京石油化工学院攀登计划基金（项目编号：BIPTAAI-2021007）和北京石油化工学院致远基金重点项目（项目编号：2024003）的资助。 周茂元目前在北京石油化工学院人工智能学院攻读硕士学位，北京，中国。他的研究兴趣包括多模态学习和人工智能，当前专注于多模态情感识别和生物医学工程。 周茂元 | 黄俊敏 | 郭前进