具有对齐和平衡机制的模态感知融合技术，用于实现鲁棒的多模态情感识别

《Information Fusion》：Modality-Aware Fusion with Alignment and Balancing for Robust Multimodal Emotion Recognition

多模态情感识别中提出MAAB-ER框架，通过双级对齐机制和自适应重初始化策略解决分布差异与模态不平衡问题，验证其在DEAP、SEED数据集上的有效性。

　　

程成|刘文哲|尚瑞思|程一康|贾子宇

辽宁师范大学心理与脑科学研究所，中国大连，116029

摘要

多模态学习通过整合来自不同模态的互补信息，在情感识别方面展现了巨大潜力。然而，不同模态在数据来源、表示结构和语义特征上的固有差异往往导致两个主要挑战：模态分布差距和模态不平衡。现有方法通常只关注其中一个问题，缺乏统一的解决方案。特别是，解决模态不平衡的常用策略往往依赖于增强较弱的模态或抑制较强的模态。这样的方法可能会破坏模型的原始学习动态，从而导致性能下降。为此，我们提出了一种统一的对齐和重新初始化框架MAAB-ER，旨在共同减轻模态间的分布差异和表示不平衡。该框架包括两个关键模块：（1）双级对齐模块，结合了分布级和对模态级的对齐损失，从统计和语义角度增强特征的一致性和区分度；（2）模态自适应重新初始化机制，根据每个模态的泛化性能动态调整其编码器参数，从而实现模态感知的重建，加强较弱的模态表示，并提高整体融合质量和模型鲁棒性。在DEAP、SEED-IV和SEED-V数据集上的广泛实验表明，所提出的MAAB-ER框架在对齐和平衡方面始终优于几种最先进的方法，验证了其在多模态情感识别（MER）任务中的有效性和通用性。

引言

情感是我们生活的重要组成部分，深刻影响着我们的认知、行为和社会互动。人类情感可以通过多种模态表达，利用多样化的信息来源来推断和识别这些情感在人机交互（HCI）[1]、情感计算（AC）[2]和心理评估[3]等领域变得越来越重要。在各种模态中，脑电图（EEG）和视频数据被广泛用于情感识别研究[4]、[5]。EEG信号提供了对情感状态背后神经活动的更直接和客观的测量；然而，它们往往容易受到噪声的影响，并且存在显著的个体间差异。另一方面，视频数据捕捉到了面部表情和眼球运动等外部线索，这些线索富含情感信息，但可能受到光照条件和个人解释等环境因素的影响。鉴于这两种模态的互补性和局限性，有效整合EEG和视频数据为提高多模态情感识别（MER）性能提供了有希望且关键的途径。

然而，如图1(a)所示，来自异构源的多模态数据往往表现出贡献不均、信号质量不一致以及判别能力差异，从而导致了模态不平衡的问题。这意味着较强的模态在模型优化中占主导地位，而较弱的模态贡献较小，最终影响融合的稳定性和有效性[6]、[7]。最近的研究进一步表明，在训练过程中某些模态可能会系统性地掩盖其他模态，从而加剧不平衡，在某些情况下甚至导致多模态模型的性能低于单模态模型[8]。为了缓解这一问题，提出了各种方法。一种常见的策略是抑制主导（表现良好）模态的影响，同时强调对较弱（表现不佳）模态的训练，以实现更平衡和全面的表示[9]、[10]、[11]。然而，这些方法往往忽略了各个模态的固有属性。具体来说，某些模态可能天生缺乏与标签相关的判别信息，或者受到大量噪声的污染。在这些情况下，它们的性能不佳并不一定是由于训练不足，而是源于其有限的表示能力。因此，过度关注这些本质上较弱的模态可能会引入额外的噪声和不相关的特征，最终降低多模态模型的整体预测性能。因此，设计一种原则性且有效的平衡机制仍然是一个挑战。

除了不平衡之外，图1(b)还突出了另一个基本挑战，即模态分布差异。这个问题源于不同模态在时间动态、空间结构、特征分布和语义表达能力方面的内在异质性。这种差异可能导致特征提取和融合过程中的不对齐，造成冗余、特征冲突或丢失互补的情感线索[12]。尽管有几项研究尝试使用跨模态注意力[13]、对比学习[14]或共享潜在空间投影[15]等技术来解决这个问题，但在不同环境和个体差异下实现稳健且可扩展的对齐仍然是一个未解决的挑战。此外，在结合面部或眼球运动信号的基于EEG的多模态框架中[16]，模态在时间分辨率、空间拓扑和语义表示方面存在显著差异。这些内在差异进一步加剧了对齐的难度。因此，设计能够弥合模态间语义和结构差距的自适应和模态感知对齐机制仍然是MER中的一个紧迫且未解决的挑战。

为了解决MER中的模态不对齐和不平衡问题，本文提出了MAAB-ER，这是一个在融合和训练阶段整合了对齐和平衡机制的统一框架。首先，特定模态的编码器提取判别特征，然后使用自注意力和跨模态Mamba模块的组合进行精细化处理，以捕捉模内和模间依赖性。此外，基于注意力的融合策略将这些特征整合到共享表示中。为了减少模态差距，我们引入了双级对齐损失：分布级对比损失在高维空间中对齐特征分布，而模态级对齐损失促进特定模态特征和跨模态特征之间的语义一致性。为了解决模态不平衡问题，我们提出了一种由每个模态的学习状态引导的模态自适应重新初始化策略，该策略积极更新表现良好的模态以防止过拟合，同时保守地调整表现不佳的模态以保留信息特征并抑制噪声。这种自适应重新初始化机制使模型能够在重新平衡模态间的学习动态的同时保留有价值的知识，最终提高泛化能力并实现有效的多模态融合。

本文的主要贡献包括：

1.

双级对齐机制：我们结合了分布级对比学习进行粗粒度对齐和模态感知对比学习进行细粒度对齐，有效增强了跨模态表示的一致性，同时适应情感的语义模糊性。

2.

模态自适应重新初始化：我们引入了一种根据每个模态的学习状态动态调整特定模态编码器的策略，减少对主导模态的依赖，减轻来自较弱模态的噪声，并保留信息性先验知识，以提高鲁棒性和泛化能力。

3.

广泛的实证验证：

我们在三个基准情感识别数据集上评估了MAAB-ER。结果表明，我们的方法在対齐和平衡方面始终优于现有的对齐和基于感知的基线方法，证明了其对齐和模态自适应机制在提高整体模型性能方面的有效性。

部分摘录

MER的模态对齐方法

模态对齐旨在减少不同模态之间的表示差异，实现连贯的融合和改善情感推理。现有方法大致可以分为分布级、实例级和结构感知对齐策略。对于多级和分布级对齐，一些工作专注于在不同粒度级别对齐模态分布。Wang等人[17]引入了多粒度跨模态对齐

方法

如图2所示，所提出的MAAB-ER模型围绕两个关键组件设计：模态对齐和模态平衡。首先，模型对每个输入模态进行特征提取，以获得特定模态的嵌入。在融合过程中，采用双级模态对齐机制来减少分布级和模态级的跨模态差异。接下来，引入了模态感知平衡机制来重新评估学习

DEAP

DEAP数据集[34]记录了32名参与者在观看40个一分钟长的音乐视频片段时的EEG信号和面部表情。EEG信号使用32个通道捕获。然而，由于实验限制，只有22名参与者的面部表情数据被记录下来。为了确保实验中的模态对齐，我们选择了与有面部表情数据的参与者相对应的EEG记录。原始DEAP数据集提供了预处理后的

结论

本文提出了一种MER模型，该模型同时解决了模态对齐和模态平衡问题，有效应对了模态间特征分布差距和学习不平衡的挑战。与传统方法不同，传统方法倾向于增强较弱的模态同时抑制较强的模态，我们的方法引入了一种模态自适应重新初始化策略，根据每个模态的学习能力动态更新特定模态编码器的参数。这使得

CRediT作者贡献声明

程成：撰写——原始草稿、方法论、概念化。刘文哲：可视化、调查。尚瑞思：验证、调查。程一康：可视化、形式分析。贾子宇：撰写——审稿与编辑、监督。

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。