TCHFNet:基于主题引导的跨模态对齐与隐藏层优化的融合网络,用于多模态情感分类

《Neurocomputing》:TCHFNet: Topic-guided cross-modal alignment and hidden layer-optimized fusion network for multimodal sentiment classification

【字体: 大 中 小 】 时间:2026年05月06日 来源:Neurocomputing 6.5

编辑推荐:

  胡永星|杨志霞|杨雪|李杰新疆大学数学与系统科学学院,乌鲁木齐,830046,中国摘要多模态情感分类面临着双重挑战:一是跨模态语义对齐的困难,二是由于模态异质性、文本冗余以及隐藏层中的噪声等问题,导致情感区分能力不足。为了解决这些挑战,本文提出了一种基于主题引导的跨模态对齐和隐藏

  
胡永星|杨志霞|杨雪|李杰
新疆大学数学与系统科学学院,乌鲁木齐,830046,中国

摘要

多模态情感分类面临着双重挑战:一是跨模态语义对齐的困难,二是由于模态异质性、文本冗余以及隐藏层中的噪声等问题,导致情感区分能力不足。为了解决这些挑战,本文提出了一种基于主题引导的跨模态对齐和隐藏层优化的融合网络(TCHFNet)用于多模态情感分类。该网络有效地处理了模态差异,减少了噪声干扰,并整合了跨模态特征,为在模态异质性和特征噪声条件下进行多模态情感分类提供了一个高效的主题引导去噪解决方案。TCHFNet的工作流程分为三个阶段。首先,通过带有Transformer编码层的主题引导注意力模块对齐文本和图像语义,从而缓解模态异质性。其次,在原始文本的隐藏层中使用Diff-Transformer和Bi-LSTM来去除文本特征中的噪声,提高特征纯度。最后,采用自适应融合策略,结合连接操作和Transformer编码层来整合优化后的特征进行情感分类。在三个广泛使用的情感分类数据集上的实验结果表明,与基线模型相比,TCHFNet的准确率提高了1.19%-5.42%,F1分数提高了1.59%-6.04%。

引言

作为理解人类情感的基本任务,情感分析在从公共意见监测[1]和产品营销[2]到智能人机交互系统[3],[4]等一系列应用中发挥着重要作用。社交媒体的发展使得内容从纯文本转向了多模态内容,图像和文本共同传达情感意义。这种演变推动了多模态情感分析的兴起,它整合了跨模态线索以提高预测准确率,成为自然语言处理和计算机视觉领域的研究重点。
早期的多模态情感分析依赖于简单的融合方法,例如基于卷积神经网络(CNN)的单一模态特征的直接拼接[5]。TFN[6]通过张量操作改进了跨模态建模,但复杂性较高,因此采用了低秩近似方法来提高融合效率[7]。同时,引入了共记忆机制来改进图像-文本对齐[8]。然而,这些方法往往忽略了单一模态的精细处理,这限制了它们在现实世界场景中的泛化能力。
Transformer[9]的出现通过实现高效的并行处理和分层表示学习,彻底改变了多模态学习。预训练的基于Transformer的模型,如BERT[10]和RoBERTa[11],在文本情感分析方面取得了显著进展,而像ViLT[12]和VAuLT[13]这样的视觉-语言模型在跨模态对齐方面也取得了实质性进步。此外,FENet[14]等方法的引入利用了预训练的文本编码器来提升多模态融合性能。值得注意的是,最近的研究在模拟跨模态交互方面取得了显著进展。例如,MAMSA[15]采用了多注意力机制来加强特征交互,HIFCL[16]将分层融合与对比学习相结合,以捕捉样本间的语义关联。
尽管之前的研究取得了显著成果,但大多数模型要么忽略了原始文本的处理,要么只进行了简单的数据清洗。此外,现有的对齐方法通常在token或区域层面采用细粒度匹配机制[17],[18]。这些方法不仅容易受到局部噪声的影响,还受到图像和文本之间模态差异的阻碍,从而难以实现充分的语义对齐。同时,预训练编码器中的隐藏层噪声也会影响分类能力。一些模型[18]使用隐藏层进行跨模态交互,但直接获得的隐藏表示仍然包含噪声成分,这在融合过程中会削弱分类效果。
为了解决这些问题,本文提出了TCHFNet(基于主题引导的跨模态对齐和隐藏层优化的融合网络),这是一种新颖的多模态情感分类框架。TCHFNet包含三个核心组件。首先,基于主题引导的跨模态对齐模块使用BERTopic提取的主题关键词作为全局语义锚点,从而在全局层面对齐图像和文本模态,并避免了细粒度匹配的噪声敏感性。其次,隐藏层处理模块结合了Diff-Transformer和Bi-LSTM,以去除文本隐藏表示中的噪声并捕捉时间依赖性。最后,自适应融合模块通过基于Transformer的注意力机制动态整合优化后的特征。
TCHFNet背后的关键思想是,主题级别的语义 guidance 为跨模态对齐提供了坚实的基础,而对隐藏层表示的显式去噪则提高了融合前的特征质量。这一设计解决了现有方法的三个关键局限:(1) 细粒度对齐对局部噪声的敏感性;(2) 预训练编码器输出缺乏显式去噪机制;(3) 固定的融合策略无法适应不同模态的贡献。
我们在三个基准数据集上进行了全面实验:MVSA-Single、MVSA-Multiple和HFM。实验结果表明,TCHFNet在所有数据集上都达到了最先进的性能。具体来说,在MVSA-Single上,TCHFNet的准确率为79.60%,F1分数为78.06%,分别比最佳基线模型提高了2.56%和1.59%;在MVSA-Multiple上,准确率为73.22%,F1分数为72.08%;在HFM上,准确率为91.94%,F1分数为91.87%,分别比最佳基线模型提高了5.42%和6.04%。值得注意的是,TCHFNet的表现甚至优于参数量少得多的LLaVAC(大约1.5亿个参数 vs. 数十亿个参数)。这表明,良好的架构设计可以在不依赖庞大模型的情况下实现更优的性能。
为了解决这些问题,本文提出了一种基于主题引导的跨模态对齐和隐藏层优化的融合网络(TCHFNet),用于多模态情感分类。TCHFNet整合了两种核心机制:基于主题的对齐和分层特征细化,并由三个关键组件组成:文本主题引导的跨模态对齐模块、隐藏层处理模块和自适应融合模块。需要明确的是,我们的跨模态对齐模块作用于全局池化表示(64维向量),而不是区域级或token级的细粒度特征。这种全局对全局的对齐设计旨在增强对社交媒体图像-文本数据中局部噪声的鲁棒性。
本文的主要贡献如下:
  • •
    我们提出了TCHFNet模型框架,通过结合基于主题引导的跨模态对齐和分层隐藏层细化来缓解上述问题。我们的跨模态对齐模块作用于全局池化表示(64维向量),执行全局对全局的条件对齐,从而增强了对社交媒体图像-文本数据中局部噪声的鲁棒性,这使我们的方法区别于现有的细粒度区域/token级对齐方法。
  • •
    采用BERTopic模型从原始输入中提取具有主题意识的双文本表示,减少了冗余并提高了语义一致性。跨模态对齐模块利用这些基于主题的文本特征,在全局语义层面对齐图像表示。随后,文本表示对齐模块使用与RoBERTa类似的Transformer架构重新编码对齐后的特征,消除了跨模态融合特征与原始文本特征之间的语义异质性。
  • •
    TCHFNet中引入了分层细化模块,通过差分注意力和时间建模来去除文本隐藏状态中的噪声,从而提高语义表示质量。通过基于Transformer的机制实现动态跨模态融合,使得多模态学习更加鲁棒和具有上下文感知能力。
  • •
    在MVSA-Single、MVSA-Multiple和HFM数据集上的广泛实验验证了TCHFNet优于主流基线模型,证明了其有效性。
本文的其余部分安排如下:第2节回顾了多模态学习的相关工作。第3节介绍了提出的TCHFNet框架。第4节提供了实验结果和分析。第5节总结了研究的意义和未来研究方向。

章节片段

相关工作

本节回顾了现有的情感分析方法,包括针对图像或文本的单一模态方法,以及结合两者的多模态方法。

方法

本节介绍了TCHFNet框架及其损失函数。如图1所示,该架构包括单一模态特征提取器、跨模态对齐块(CMA)、文本表示对齐块(TRA)和融合模块,随后是分类层。

实验

在本节中,我们首先解释实验设置并报告实验结果。之后,我们进行消融实验来分析模型。

结论

本文提出了一种图像-文本多模态情感分类模型TCHFNet,该模型以跨模态主题对齐和分层特征细化机制为核心。模型通过文本主题信息引导图像和文本的对齐,并结合Diff-Transformer和Bi-LSTM进行隐藏层去噪。图像和文本之间的语义对齐由文本主题指导,差分注意力机制用于去除隐藏层特征中的噪声。

CRediT作者贡献声明

胡永星:撰写——原始草稿、方法论、形式分析、数据整理。杨志霞:撰写——审阅与编辑、监督、项目管理。杨雪:撰写——审阅与编辑、可视化、验证、形式分析。李杰:撰写——审阅与编辑、形式分析、数据整理。

利益冲突声明

作者声明他们没有已知的会影响到本文工作的财务利益或个人关系。

致谢

本工作得到了国家自然科学基金(项目编号12461058)和新疆应用数学重点实验室(项目编号XJDX1401)的支持。
胡永星于2023年毕业于中国新疆大学数学与系统科学学院,目前是新疆大学数学与系统科学学院的硕士候选人。他的研究兴趣包括优化方法、机器学习、自然语言处理和图像识别。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号