面向鲁棒多模态情感分析的文本锚定多焦点融合网络及自适应门控残差

《Neurocomputing》：Text-anchored multi-focus fusion network with adaptive gated residual for robust multimodal sentiment analysis

　　

• •
  提出TAMF-Net，用于在模态缺失条件下实现鲁棒的多模态情感分析。
• •
  引入ATCR以抑制噪声并精炼与情感相关的特征。
• •
  开发提示引导的双流融合机制，以捕捉全局和局部交互。
• •
  采用文本锚定的门控残差引导，无需显式重构。
• •
  在合理的效率与性能平衡下取得了具有竞争力的表现。

引言

多模态情感分析（Multimodal Sentiment Analysis, MSA）是自然语言处理（Natural Language Processing, NLP）领域中最重要且最活跃的研究方向之一[1]。随着社交媒体的广泛普及，MSA领域吸引了学术界和工业界的广泛关注[2]。MSA旨在融合来自多种模态的信息，以实现高精度的情感分析。最常见的模态包括文本、音频和视觉元素。传统的单模态情感分析方法仅依赖文本、音频或视觉数据，而MSA则联合整合这三种模态，以准确捕捉仅凭文本无法检测到的情感线索。这使得情感评估更加全面和准确，从而在社交媒体分析和人机交互等领域发挥着至关重要的作用。

传统MSA方法已取得显著进展。具体而言，研究人员不断探索MSA的两大关键基石，即多模态表示学习[3]、[4]、[5]、[6]和多模态融合[7]、[8]、[9]、[10]。然而，大多数现有研究都基于所有训练样本均具有完整模态信息的假设。在实际应用场景中，模态缺失有时是不可避免的。例如，如图1所示，高噪声环境会严重降低音频数据质量，不成熟的文本转录错误会阻碍语义信息的捕捉，视频遮挡则会导致视觉模态数据的部分丢失。这些问题都会导致传统MSA模型性能的显著下降。因此，模态缺失问题已成为制约MSA领域发展的关键瓶颈。更广泛地说，在不完备或不确定观测条件下实现可靠的多模态学习也与近期关于推理密集型多媒体信息融合[11]和不确定性感知优化[12]的研究密切相关。近年来，针对缺失模态设置下MSA任务的现有方法主要可分为两类：基于生成模型的方法[13]、[14]和基于迁移学习的方法[15]、[16]。这两类方法的主要目标都是最大限度地保留各模态中的有效信息。这些方法展现出显著的有效性和创新性。然而，大多数现有方法采用专用的重构分支——一种复杂的生成模块——来恢复缺失模态的特征。这种范式存在两个显著局限性。首先，重构分支可能导致不可预测的结果，因为重构后的特征可能偏离原始数据分布，从而进一步加剧固有的模态缺失问题。此外，大多数现有方法忽视了模态间信息密度的固有差异。文本模态通常包含最丰富的语义信息[17]，提供显式的情感线索，如承载情感的词汇、否定词、修饰语和上下文关系，这些直接指示情感极性和强度。相比之下，视频和音频模态即使在利用专用提取工具进行特征提取后，仍然不可避免地受到噪声和信息冗余的影响[18]。因此，可以利用文本语义来提供稳定的融合引导。此外，现有方法所采用的简单特征提取和跨模态融合策略无法抑制噪声干扰并有效捕捉全局跨模态依赖关系。上述问题阻碍了现有方法在缺失模态设置下维持高性能。

为解决上述问题，我们提出了一种带有自适应门控残差的文本锚定多焦点融合网络（Text-Anchored Multi-Focus Fusion Network, TAMF-Net），用于鲁棒的多模态情感分析。该网络主要由自适应时间-通道精炼（Adaptive Temporal-Channel Refinement, ATCR）模块、提示引导的双流融合模块和自适应门控残差模块组成。具体而言，ATCR模块包含两个子模块：通道注意力模块和时间自注意力模块。前者通过全局池化和通道级自适应学习来强调信息丰富的通道，后者则动态调整注意力权重以突出对多模态学习任务至关重要的时间帧，从而为后续融合过程提供信息更丰富且抗噪性更强的模态表示。为了全面建模多模态交互，我们通过提示引导的双流框架改进了多粒度多模态融合，其中粗粒度和细粒度融合流共同捕捉互补的全局和局部交互。在融合之前，引入可学习的情感感知提示，将任务相关的情感线索注入融合过程。对于粗粒度融合流，每个模态首先由专用的Transformer编码器进行编码，然后利用跨模态Transformer捕捉模态间的全局语义依赖关系。通过将增强后的粗粒度流与基于伪孪生网络的细粒度融合流相结合，该框架建模了互补的全局和局部跨模态交互。最后，自适应门控残差模块引入了带有可学习门控控制的文本锚定残差路径，以选择性保留可靠的情感语义并稳定多模态融合输出。

本文的主要贡献总结如下：

• •
  我们设计了自适应时间-通道精炼（ATCR）模块，通过优化和整合通道级注意力和时间依赖建模来实现多模态表示精炼。该模块抑制噪声并保留情感判别性特征，为缺失模态条件下的鲁棒多模态融合提供面向任务的精炼处理。
• •
  我们适配并整合了提示引导的双流融合模块与文本锚定的自适应门控残差机制。两条融合流捕捉互补的全局和局部交互，而自适应门控残差模块则利用文本锚定的语义引导来稳定预测，无需特征重构。
• •
  在两个流行的基准数据集上，于完整模态和随机缺失模态条件下进行了大量实验。实验结果表明，所提方法取得了具有竞争力或更优的性能。详细的消融研究进一步验证了每个核心组件的有效性。

章节摘要

相关工作

本节从两个方面回顾了相关研究：多模态情感分析以及多模态情感分析中的模态缺失问题。这种分类方式阐明了我们的方法定位，并便于与已有方法和近期发表的方法进行比较。

方法

本节首先提供问题定义，然后展示所提方法及其核心组件，如图2所示，包括图3中的ATCR模块、提示引导的双流融合模块以及图4中的门控残差模块。最后，我们补充了所提模型的适用任务场景和边界条件。

数据集

我们的实验评估在两个广泛使用的多模态情感分析基准数据集上进行，详细统计信息见表1。CMU-MOSI[43]由从93个YouTube视频中提取的2199个简短独白视频片段组成。每句话都手动标注了情感极性分数，范围从-3（表示强烈负面情感）到3（表示强烈正面情感）。CMU-MOSEI[44]是一个规模更大的数据集，由……组成

完整模态设置

为了评估所提模型在理想条件下的有效性，我们在CMU-MOSI和CMU-MOSEI数据集上将其与多个具有竞争力的基线方法进行了比较。结果汇总于表3。

在CMU-MOSI上，所提模型取得了最佳MAE 0.700和Corr 0.802，分别比基线方法MFMB-Net高出0.014和0.004。此外，我们的模型还取得了最高的Acc-7为47.1%和Acc-5为55.0%，以较大优势超越了所有竞争方法。对于二分类……

结论

本文提出了一种带有自适应门控残差的文本锚定多焦点融合网络（TAMF-Net），用于鲁棒的多模态情感分析，该方法更加关注多粒度跨模态特征融合和特征增强，不涉及显式特征重构。ATCR模块通过通道和时间自注意力机制捕捉判别性情感特征。提示引导的双流融合模块融合全局和局部多模态信息……

CRediT作者贡献声明

Wang Xinke：初稿撰写、软件、方法。Ma Miao：审阅与编辑、监督、资金获取。Li Yutong：审阅与编辑、验证。

利益冲突声明

作者声明不存在任何已知的竞争性经济利益或个人关系，这些关系可能影响到本文所报告的工作。

致谢

本工作部分得到国家自然科学基金（62377031）的支持。

Wang Xinke 于2024年在中国济南山东财经大学计算机科学与技术学院获得工学学士学位。目前正在中国西安陕西师范大学攻读计算机科学与技术专业工学硕士学位。其研究兴趣包括多模态情感分析和智能教育评估。

Wang Xinke|Ma Miao|Li Yutong