基于多级表示学习与全局三模态统一融合的多模态情感分析

《Neural Networks》：Multimodal sentiment analysis with multi-level representation learning and global tri-modality unified fusion

　　摘要多模态情感分析是一种备受关注的研究方向，尤其用于预测人类的情绪态度。然而，现有方法大多采用单层表示学习，无法捕捉多模态情感分析中的多层非线性信息，同时也难以充分提取三种模态之间的综合关联特征。为解决这些问题，我们提出了一种基于多层表示学习与全局三模态统一融合的MSA网络，命名为MLTM。具体而言，我们设计了一种多层编码策略，通过分层渐进式编码器与多层感知注意力机制动态调整各层信息的权重，从而提升模型的非线性表示能力。此外，我们还开发了一种动态表示优化机制，在保持私有特征独特性的同时增强共享特征的语义相关性。随后，我们设计了全局三模态Transformer（GTMT），该模型首先对三种模态进行并行融合，再在文本模态的引导下进行深度整合，以实现跨模态语义对齐与关联，显著提升了三模态信息的整体融合效果。在三个公开的MSA数据集上的大量实验表明，MLTM在各项评估指标上均大幅优于现有的先进方法，展现了其高效性与稳定性。具体来说，MLTM在CMU-MOSEI和CMU-MOSI数据集上的Acc7值分别达到55.10和48.98，较第二好的基准方法分别提升了2.39%和2.44%；同时，它在上述两个数据集上的MAE值分别降至0.501和0.590，提升了2.14%和15.7%。