作为理解人类情感的基本任务,情感分析在从公共意见监测[1]和产品营销[2]到智能人机交互系统[3],[4]等一系列应用中发挥着重要作用。社交媒体的发展使得内容从纯文本转向了多模态内容,图像和文本共同传达情感意义。这种演变推动了多模态情感分析的兴起,它整合了跨模态线索以提高预测准确率,成为自然语言处理和计算机视觉领域的研究重点。
早期的多模态情感分析依赖于简单的融合方法,例如基于卷积神经网络(CNN)的单一模态特征的直接拼接[5]。TFN[6]通过张量操作改进了跨模态建模,但复杂性较高,因此采用了低秩近似方法来提高融合效率[7]。同时,引入了共记忆机制来改进图像-文本对齐[8]。然而,这些方法往往忽略了单一模态的精细处理,这限制了它们在现实世界场景中的泛化能力。
Transformer[9]的出现通过实现高效的并行处理和分层表示学习,彻底改变了多模态学习。预训练的基于Transformer的模型,如BERT[10]和RoBERTa[11],在文本情感分析方面取得了显著进展,而像ViLT[12]和VAuLT[13]这样的视觉-语言模型在跨模态对齐方面也取得了实质性进步。此外,FENet[14]等方法的引入利用了预训练的文本编码器来提升多模态融合性能。值得注意的是,最近的研究在模拟跨模态交互方面取得了显著进展。例如,MAMSA[15]采用了多注意力机制来加强特征交互,HIFCL[16]将分层融合与对比学习相结合,以捕捉样本间的语义关联。
尽管之前的研究取得了显著成果,但大多数模型要么忽略了原始文本的处理,要么只进行了简单的数据清洗。此外,现有的对齐方法通常在token或区域层面采用细粒度匹配机制[17],[18]。这些方法不仅容易受到局部噪声的影响,还受到图像和文本之间模态差异的阻碍,从而难以实现充分的语义对齐。同时,预训练编码器中的隐藏层噪声也会影响分类能力。一些模型[18]使用隐藏层进行跨模态交互,但直接获得的隐藏表示仍然包含噪声成分,这在融合过程中会削弱分类效果。
为了解决这些问题,本文提出了TCHFNet(基于主题引导的跨模态对齐和隐藏层优化的融合网络),这是一种新颖的多模态情感分类框架。TCHFNet包含三个核心组件。首先,基于主题引导的跨模态对齐模块使用BERTopic提取的主题关键词作为全局语义锚点,从而在全局层面对齐图像和文本模态,并避免了细粒度匹配的噪声敏感性。其次,隐藏层处理模块结合了Diff-Transformer和Bi-LSTM,以去除文本隐藏表示中的噪声并捕捉时间依赖性。最后,自适应融合模块通过基于Transformer的注意力机制动态整合优化后的特征。
TCHFNet背后的关键思想是,主题级别的语义 guidance 为跨模态对齐提供了坚实的基础,而对隐藏层表示的显式去噪则提高了融合前的特征质量。这一设计解决了现有方法的三个关键局限:(1) 细粒度对齐对局部噪声的敏感性;(2) 预训练编码器输出缺乏显式去噪机制;(3) 固定的融合策略无法适应不同模态的贡献。
我们在三个基准数据集上进行了全面实验:MVSA-Single、MVSA-Multiple和HFM。实验结果表明,TCHFNet在所有数据集上都达到了最先进的性能。具体来说,在MVSA-Single上,TCHFNet的准确率为79.60%,F1分数为78.06%,分别比最佳基线模型提高了2.56%和1.59%;在MVSA-Multiple上,准确率为73.22%,F1分数为72.08%;在HFM上,准确率为91.94%,F1分数为91.87%,分别比最佳基线模型提高了5.42%和6.04%。值得注意的是,TCHFNet的表现甚至优于参数量少得多的LLaVAC(大约1.5亿个参数 vs. 数十亿个参数)。这表明,良好的架构设计可以在不依赖庞大模型的情况下实现更优的性能。
为了解决这些问题,本文提出了一种基于主题引导的跨模态对齐和隐藏层优化的融合网络(TCHFNet),用于多模态情感分类。TCHFNet整合了两种核心机制:基于主题的对齐和分层特征细化,并由三个关键组件组成:文本主题引导的跨模态对齐模块、隐藏层处理模块和自适应融合模块。需要明确的是,我们的跨模态对齐模块作用于全局池化表示(64维向量),而不是区域级或token级的细粒度特征。这种全局对全局的对齐设计旨在增强对社交媒体图像-文本数据中局部噪声的鲁棒性。
本文的主要贡献如下:
- •
我们提出了TCHFNet模型框架,通过结合基于主题引导的跨模态对齐和分层隐藏层细化来缓解上述问题。我们的跨模态对齐模块作用于全局池化表示(64维向量),执行全局对全局的条件对齐,从而增强了对社交媒体图像-文本数据中局部噪声的鲁棒性,这使我们的方法区别于现有的细粒度区域/token级对齐方法。
- •
采用BERTopic模型从原始输入中提取具有主题意识的双文本表示,减少了冗余并提高了语义一致性。跨模态对齐模块利用这些基于主题的文本特征,在全局语义层面对齐图像表示。随后,文本表示对齐模块使用与RoBERTa类似的Transformer架构重新编码对齐后的特征,消除了跨模态融合特征与原始文本特征之间的语义异质性。
- •
TCHFNet中引入了分层细化模块,通过差分注意力和时间建模来去除文本隐藏状态中的噪声,从而提高语义表示质量。通过基于Transformer的机制实现动态跨模态融合,使得多模态学习更加鲁棒和具有上下文感知能力。
- •
在MVSA-Single、MVSA-Multiple和HFM数据集上的广泛实验验证了TCHFNet优于主流基线模型,证明了其有效性。
本文的其余部分安排如下:第2节回顾了多模态学习的相关工作。第3节介绍了提出的TCHFNet框架。第4节提供了实验结果和分析。第5节总结了研究的意义和未来研究方向。