抗语义漂移学习：面向不完整信息的鲁棒多模态情感分析

《Information Fusion》：Semantic Drift-Resistant Learning for Robust Multimodal Sentiment Analysis with Incomplete Information

　　

• •
  通过具备可靠性感知控制的语义一致性学习来应对语义漂移。
• •
  引入代理引导补偿机制以应对退化后的文本语义。
• •
  通过分层交互与读出机制增强跨模态建模能力。

引言

随着社交媒体平台的迅速普及，多模态用户生成内容日益增多[1]。文本、语音和视觉模态共同在单条内容中传达复杂且多维的情感信息。与单模态信号相比，多模态信息的互补特性为准确且稳健的情感建模提供了更坚实的基础[2]，从而凸显了多模态情感分析（MSA）的重大理论意义和实际应用价值。然而，在现实场景中，多模态数据经常受到不同程度的信息缺失影响，导致输入不完整，从而损害MSA模型的表征能力和泛化性能。更为严重的是，信息缺失可能破坏跨模态语义对齐，诱导学习到的共享表征产生偏差，并最终导致语义漂移。这种退化进一步削弱了情感预测的鲁棒性和可靠性，如图1所示。

近年来，研究人员提出了多种方法来应对不完整信息条件下的多模态情感分析[3]、[4]、[5]。这些方法大致可分为两类。第一类是基于重建的方法，旨在通过重建或填补缺失模态来恢复近似的完整表征空间[6]、[7]。第二类是联合表征学习方法，通过将异构模态投影到共享语义空间中来增强跨模态互补性和交互性[8]、[9]。尽管这些方法在一定程度上缓解了数据不完整性的不利影响[10]、[11]，但在高度不确定的现实环境中其鲁棒性仍然有限。在实际场景中，文本、语音和视觉信号经常受到多种干扰源的影响，例如网络传输波动和环境噪声[12]。这些因素不仅可能导致部分信息丢失，还会破坏模态之间的内在语义对应关系，并放大噪声和冗余特征对表征学习的不利影响。与完整的多模态数据相比，不完整输入更容易引发表征偏移，导致学习到的潜在表征逐步偏离底层语义空间，最终导致语义漂移[13]、[14]。虽然现有研究通过信息补偿和鲁棒表征学习策略提高了模型对不完整数据的适应性[8]、[15]，但它们普遍缺乏专门设计用于约束信息缺失所引发的语义漂移的显式机制。因此，这些方法在不同缺失程度下仍难以维持稳定可靠的预测性能。

除了信息补偿和鲁棒建模之外，不变表征学习和分布对齐为缓解信息缺失引发的表征偏移提供了另外两个视角。不变表征学习旨在通过提取不同模态或缺失条件下共享的特征来提高表征稳定性[16]。然而，过度强调不变性可能会抑制语音和视觉信号中包含的模态特定且具有判别力的线索，从而限制它们对情感识别的贡献。分布对齐则旨在通过减少完整数据与不完整数据的潜在分布之间的差异来缓解分布漂移及其导致的决策边界变化[17]、[18]。然而，全局分布一致性并不一定确保单个样本在局部表征、全局结构和任务特定响应层面保持语义稳定。与这些方法相比，语义漂移表现出显著的样本依赖性特征，并倾向于在多个表征层面逐步传播。因此，一种有效的解决方案应在保留互补的跨模态信息的同时，显式约束不同层面的语义偏差，并为这些约束提供相对可靠的语义参考。

与语音和视觉模态相比，文本模态通常表现出更大的稳定性，并且更明确地传达语义信息，因此被广泛认为是多模态情感分析中的主要模态[19]。然而，仅依赖文本信息的相对稳定性不足以应对现实社交环境中复杂且不可预测的扰动[20]。有效缓解信息缺失引发的语义漂移需要联合考虑跨模态语义一致性和模态可靠性。前者旨在维持潜在表征空间中的语义连贯性和对齐性，后者则表征模态特定信息的可靠性，减少不可靠或受损信号的不利影响。因此，建立将语义一致性约束与可靠性感知调节相结合的协同机制对于维持多模态表征的语义稳定性至关重要。基于上述观察，我们提出了一种抗语义漂移学习（SDRL）框架。与现有方法隐含假设核心模态始终完整可靠不同，SDRL从两个互补视角联合建模语义一致性和模态可靠性。具体而言，语义一致性机制保留跨模态语义对应关系并约束潜在表征的偏差，而可靠性感知调节机制自适应估计模态可靠性并抑制不可靠信息在整个推理过程中的传播。通过这两种机制的协同交互，SDRL能够在动态变化的缺失条件下维持语义稳定的多模态表征，从而提升情感预测的鲁棒性和可靠性。本工作的主要贡献总结如下：

1：提出语义一致性融合模块，通过多层语义一致性约束和可靠性感知调节实现对退化文本语义的鲁棒补偿，从而缓解信息缺失引发的语义漂移，提升跨模态融合的可靠性。

2：设计增强跨模态交互与读出模块，通过分层跨模态交互和结构化特征读出充分利用跨模态互补信息，从而获得更具判别力的多模态联合表征。

3：在MOSI、MOSEI和SIMS三个基准数据集上进行了系统性实验。结果表明，所提方法在多个评估指标上优于现有方法，验证了其实用性和鲁棒性。

章节摘要

多模态情感分析

多模态情感分析旨在通过整合来自文本、语音和视觉模态的异构信息来准确推断个体的情感状态。尽管其潜力巨大，但模态之间在语义粒度、时间分辨率和表征空间上的显著异质性仍为有效的跨模态对齐和交互建模带来了重大挑战[21]。

从跨模态交互的角度来看，现有的MSA方法

方法

在不完整信息条件下，多模态输入的缺失不仅削弱了模态之间的互补交互，还破坏了在完整输入场景下建立的跨模态语义对应关系。因此，从不完整输入中学习到的联合表征可能系统性地偏离完整状态下的表征。这种偏差在代理补偿、跨模态交互和特征过程中可逐步累积

实验与分析

本节对提出的抗语义漂移学习框架进行了系统性评估。为确保公平性和可靠性，所有对比方法均在相同的实验设置下进行。

结论与未来工作

本文通过提出抗语义漂移学习框架，解决了多模态情感分析中模态缺失导致的语义漂移问题。通过引入语义一致性融合模块和增强跨模态交互与读出模块，所提方法实现了跨模态对齐和动态调节，有效抑制了语义漂移，提高了不完整条件下的鲁棒性和语义一致性。实验结果表明

CRediT作者贡献声明

王猛生：写作—审阅与编辑、写作—初稿撰写、可视化、验证、软件、方法论、调查、形式分析、数据管理、概念构思。谢伦：写作—审阅与编辑、监督、资源、项目管理、资金获取。何洋洋：写作—审阅与编辑、可视化、验证、调查、数据管理。王新恒：写作—审阅与编辑、调查、数据管理。

利益冲突声明

作者声明不存在已知的财务利益冲突或个人关系可能影响本文所报告的工作。

王猛生 | 谢伦 | 何洋洋 | 王新恒