PDCC-MER：面向多模态情感识别的渐进式去噪与校准共识学习

《Knowledge-Based Systems》：PDCC-MER: Progressive denoising and calibrated consensus learning for multimodal emotion recognition

　　

• 提出了一种面向多模态情感识别的可靠共识学习。• 渐进标签精炼缓解了伪标签的不稳定性。• 多步关系传播捕获了间接的跨模态依赖关系。• 可靠性校准路由减少了多模态融合中的模态偏差。

引言

多模态情感识别（MER）旨在通过联合利用文本、音频和视觉线索来识别情感状态。与单模态情感分析相比，MER 能够捕获更丰富的情感证据，因为人类情感往往通过多种互补的通道来表达。例如，语言语义可以提供明确的情感意图，而语音语调和面部行为则可能揭示隐性的甚至相互矛盾的情感线索。因此，MER 在多模态情感计算领域得到了广泛研究，在计算机交互、智能服务、教育辅助以及心理健康分析等方面具有潜在应用价值[1]，[2]。

近年来，针对单模态监督、跨模态交互建模、共识学习和鲁棒融合，一系列有效方法已被提出，这些工作不断推动了该领域的发展。一些研究通过弱监督或单模态信号学习来缓解细粒度单模态标注缺乏的问题[3]，[4]，[5]。另一些研究则通过层级相关性建模、图传播或关系约束来增强跨模态交互和融合表示学习[6]，[7]，[8]。此外，还有一些研究聚焦于鲁棒融合、模态偏差和可靠推理，以在复杂场景中提高预测的稳定性[9]，[10]，[11]，[12]。同时，近期工作也探索了基于大语言模型适配和状态空间建模的新范式，进一步扩展了多模态情感分析和情感识别的建模能力[13]，[14]。

尽管现有方法在多个标准基准上取得了显著进展，但 MER 在复杂的现实场景中仍面临一个关键挑战。模型需要在模态冲突、噪声监督和质量不均衡的情况下产生稳定、准确且可靠的预测。这一挑战在情感分析中尤为突出，因为多模态情感样本天然存在三类困难。首先，不同模态往往面临不一致的监督粒度和不稳定的伪监督问题，这使得单模态监督的构建容易受到噪声积累和错误强化的影响。因此，模型难以学习稳定的模态特定表示，进而限制了有效的跨模态关联建模[3]，[5]。其次，模态之间并不总是语义一致的。在同一个样本中，文本、音频和视觉可能表现出局部冲突甚至明显的分歧，这使得模型在跨模态交互过程中难以区分互补信息与冲突信息。这可能导致模态关系不稳定，并限制对间接且逐步组合的跨模态依赖关系的有效建模[15]，[16]。第三，不同模态的信息质量往往不均衡。某些样本可能包含明确的文本但视觉信号模糊，而另一些样本可能提供可靠的音频线索但文本表达含糊不清。在这种情况下，共识决策过程容易被强势模态主导，模型难以根据样本级的模态可靠性自适应地加权模态，从而削弱了多模态融合的稳定性与可靠性[9]，[10]。这些因素共同表明，MER 的难点不仅在于如何融合模态，更在于当不稳定的监督、模态冲突和质量不均衡同时存在时，如何形成可靠的共识[1]，[2]。在实际部署中，随机的模态缺失和跨模态对齐偏差是重要的 MER 挑战[10]，[17]，[18]。前者是模态质量不均衡的极端形式[10]，[19]，[20]，而后者则可能产生异步且语义不一致的证据[15]，[18]。两者都可能破坏模态特定监督、关系建模以及最终路由。

现有研究从不同角度对这些挑战进行了探索。一类工作通过伪标签、自监督或教师一致性机制来改进单模态学习，以缓解细粒度单模态监督的缺乏[3]，[4]。另一类工作通过注意力机制、层级相关性建模或图结构传播来增强跨模态交互，从而提高融合表示的表达力[6]，[21]。还有一些方法进一步考虑了模态冲突、主导模态偏差和鲁棒推理，旨在减少单个强势模态在决策阶段的误导性影响[9]，[10]。针对缺失或退化模态、跨模态交互和鲁棒融合的方法已经推动了各个学习阶段的进展[6]，[10]，[21]。然而，这些机制通常是针对单独的阶段开发的，使得在监督形成、关系建模和最终决策之间涉及可靠性敏感阶段的依赖关系未能得到充分刻画[22]。

具体来说，模型错误不会孤立在某个阶段内保持静态。随机的模态缺失可能使监督和表示变得不稳定，削弱涉及不可用流的关系，并增加对剩余模态的依赖。对齐偏差可能引入虚假的跨模态关系，这些关系在路由过程中会被放大。更一般地说，这类可靠性错误可能源自不稳定的伪监督信号，逐步影响单模态表示学习，进一步扰乱跨模态关系建模，并最终在路由和融合决策中表现为有偏的聚合和不可靠的预测。如图 1(a) 所示，现有方法的可靠性退化往往不是由单个孤立模块触发的，而是与一个跨越监督形成、表示学习、关系建模和融合决策的持续累积错误放大过程相关联。在这一过程中，训练早期阶段的预测偏差可能被写入单模态伪监督分布中，从而在后续学习过程中引发噪声积累和过度自信。浅层或局部的跨模态交互不足以吸收和纠正上游偏差，甚至可能保留虚假相关性。此外，缺乏样本级模态可靠性估计的路由和融合机制容易被单个强势模态主导，尤其是文本模态，从而导致有偏的聚合和不可靠的决策[3]，[12]。因此，现有 MER 方法的关键瓶颈不在于某个特定模块的强度有限，而在于缺乏对监督形成、关系传播和决策校准之间内在依赖关系的统一建模。

基于这一观察，本文并未将多模态情感识别仅仅视为一个特征融合问题。相反，本文从可靠共识生成的视角重新审视了这一任务。具体来说，在弱监督噪声、模态级语义冲突和模态质量不均衡同时存在的复杂场景中，MER 的关键问题不仅在于如何融合多模态特征，更在于如何稳定地识别、传播和整合来自不同模态的可靠信息。这一视角强调，预测可靠性不是由最终分类头产生的辅助结果，而是一个应该跨越监督形成、关系传播和决策校准逐步建立的全过程属性[10]，[22]。为此，本文提出了 PDCC-MER，一种面向 MER 的渐进去噪与校准共识学习框架，该框架联合建模了监督形成、关系传播和决策校准。因此，其贡献并非仅仅是对三个处理阶段的简单组合，而是阶段耦合的可靠性建模公式以及相应地逐步约束监督精炼、关系组合和可靠性感知路由的机制。在此，渐进去噪指的是迭代伪标签扰动与教师引导精炼，而非概率扩散建模。PDCC-MER 既不重建缺失模态，也不执行细粒度时间对齐；它通过监督精炼、关系传播和决策校准来缓解这些因素的下游可靠性影响。

如图 1(b) 所示，PDCC-MER 并非孤立地修复单个局部缺陷。相反，它围绕错误放大链的关键阶段进行协同修正，使共识在生成过程中更加稳定，在传播过程中减少失真，并在决策阶段更好地反映样本级的可靠性。TPLR、PCRP 和 RCCR 分别针对可靠性退化的这三个连续阶段。具体来说，在监督形成阶段，教师引导渐进标签精炼（TPLR）将随机扰动、EMA 教师修正和动量记忆耦合在一个迭代精炼过程中，以稳定单模态伪监督[4]，[23]，[24]。在关系传播阶段，渐进跨模态关系传播（PCRP）执行残差多步关系组合，使直接的模态关系能够纳入由第三模态中介的证据，同时保留初始关系结构。在决策阶段，可靠性校准共识路由（RCCR）将样本相对的不确定性先验与表示依赖的学习路由证据相结合，以校准模态贡献，而不将置信度等同于正确性。

在包括 CH-SIMS [25]、CH-SIMS v2 [26]、CMU-MOSI [27] 和 CMU-MOSEI [28] 在内的四个基准数据集上的实验结果表明，PDCC-MER 在参数规模几乎不变的情况下取得了稳定且具有竞争力的性能。我们进一步在 CH-SIMS 和 CMU-MOSI 上进行了条件特定评估，涵盖了完整模态缺失、特定模态噪声、30% 随机文本缺失和 30% 文本对齐偏差。模块组合消融实验验证了它们的互补性，而针对简化和标准替代方案的操作级对照实验则分离了所提出精炼、传播和校准机制的贡献。此外，伪标签熵演化、表示空间可视化、校准分析和模态贡献分析表明，PDCC-MER 不仅提升了整体性能，还增强了在复杂冲突样本下的分类行为、置信度校准和模态依赖结构。

本文的主要贡献总结如下：

• 我们将不可靠的多模态共识生成公式化为一个阶段耦合的可靠性问题，并提出 TPLR 通过随机扰动、EMA 教师修正和动量记忆来稳定其监督形成阶段。• 我们提出了面向关系传播阶段的渐进跨模态关系传播（PCRP）。通过多步关系组合，PCRP 捕获了由另一模态中介的间接模态级依赖关系，并提高了融合表示吸收和纠正上游噪声偏差的能力。• 我们提出了面向决策阶段的可靠性校准共识路由（RCCR）。RCCR 将学习的 Top-k 路由器与不确定性推导的可靠性先验相结合，在将熵仅作为相对不确定性信号处理的同时校准模态贡献。

本文其余部分的组织结构如下：第 2 节回顾了相关工作。第 3 节介绍了所提出的 PDCC-MER 方法。第 4 节呈现了实验设置、性能对比和进一步分析。最后，第 5 节总结了本文并讨论了未来工作。

第 2 节摘录

多模态情感识别

多模态情感识别旨在整合文本、音频和视觉中的异构信息，以提高对情感状态的理解。由于统一的多模态标签无法充分刻画模态之间在情感表达上的差异，构建可靠的单模态监督信号逐渐成为提高模态特定表示学习的一个重要方向[1]，[2]。CH-SIMS 和 CH-SIMS v2 提供了细粒度的单模态标注。

总体框架

PDCC-MER 的总体框架如图 2 所示。从信息处理的角度来看，该框架由四个连续阶段组成：单模态表示学习、教师引导渐进标签精炼（TPLR）、渐进跨模态关系传播（PCRP）和可靠性校准共识路由（RCCR）。这些阶段分别对应模态特定表示提取、监督精炼、跨模态关系建模和最终决策。

数据集

我们在四个公开的多模态基准上评估 PDCC-MER，包括中文数据集 CH-SIMS [25] 和 CH-SIMS v2 [26]，以及英文数据集 CMU-MOSI [27] 和 CMU-MOSEI [28]。这些数据集涵盖不同的语言、样本规模和模态一致性条件，并且都包含文本、音频和视觉输入。它们的数据划分和基本特征总结在表 1 中。

为确保公平比较，我们遵循标准的数据划分并使用相同的公开可用……

结论

本文介绍了 PDCC-MER，一种将监督精炼、跨模态关系传播和决策校准连接起来的可靠共识学习框架。TPLR 通过随机扰动、EMA 教师引导修正和动量记忆稳定了模态特定的伪监督。PCRP 通过浅层多步组合丰富直接的模态关系，而 RCCR 将不确定性推导的先验与学习到的路由证据相结合以校准模态贡献。

CRediT 作者贡献声明

Xin Zhou：原创稿件撰写、可视化、验证、软件、方法论、调研、形式化分析、概念构思。Xiang Shen：稿件审阅与编辑、监督、数据管理。Dezhi Han：稿件审阅与编辑、监督、资源、项目管理、资金获取、概念构思。Yangshuyi Xu：稿件审阅与编辑、监督、调研、数据管理。Xiaoqi Xin：稿件审阅与编辑、监督、调研。Kuan-Ching Li：利益冲突声明

作者声明他们不存在可能影响本文所述工作的已知竞争财务利益、利益关系或人际关系。

致谢

本研究得到上海市自然科学基金（项目编号 25ZR1401156）和 2025 年上海伙伴研究计划（项目编号 25HB2703500）的支持。

Xin Zhou | Xiang Shen | Dezhi Han | Yangshuyi Xu | Xiaoqi Xin | Kuan-Ching Li