频率恢复与模态强化在抗腐败多模态情感分析中的应用

《ACM Transactions on Multimedia Computing, Communications, and Applications》：Frequency Restoration and Modality Enforcement towards Resisting-corruption Multimodal Sentiment Analysis

针对多模态情感分析中视频模态细节缺失问题，提出HFR-AME方法，通过分层频率恢复和自适应模态强化提升情感识别准确率，在CMU-MOSI和CMU-MOSEI数据集上分别提高0.5%和0.6%。

　　

摘要

在多模态情感分析（MSA）中，以往的方法主要集中在设计复杂的融合策略以及跨异构模态进行表示学习上，旨在利用多模态信号来检测人类情感。然而，这些方法未能解决视频中模态细节被破坏这一长期存在的问题，这可能是由于情感相关语义的过度丢失导致详细信息退化所造成的。在这项工作中，我们提出了一种分层频率恢复与自适应模态增强（HFR-AME）方法，以提高MSA抵抗数据损坏的能力。HFR-AME逐步恢复每种模态中模糊的细节信息，同时增强模态表示的区分能力。具体而言，为了重构不同的频带特征，我们为HFR模块配备了一个名为频率多模态UNet（FM-UNet）的关键组件，以便利用互补的模态特征作为条件。这种从低频到高频逐步进行的精细恢复过程，有助于全面恢复复杂的细节。同时，为了自适应地整合这些多样化的频率特征，我们引入了AME模块来增强有用的模态频率并抑制无关频率，从而加强恢复后的模态表示。大量实验表明，我们的HFR-AME在CMU-MOSI和CMU-MOSEI数据集上的表现优于现有方法，分别将7类分类的准确率提高了0.5%和0.6%。进一步分析还证实了其跨语言的通用性和卓越的计算效率。我们的代码可在以下链接获取：https://github.com/nianhua20/HFR-AME。