《Information Fusion》:MulMoSenT: Multimodal Sentiment Analysis for a Low-Resource Language Using Textual-Visual Cross-Attention and Fusion
编辑推荐:
针对低资源语言多模态情感分析挑战,本研究构建了首个Bengali多模态情感分析语料库BMSA,开发了MulMoSenT系统,通过模型融合与视觉语义增强实现84.90%最高准确率,较现有VLMs提升37.83%。
Sadia Afroze|Md Rajib Hossain|Mohammed Moshiul Hoque|Nazmul Siddique
计算机科学与工程系,吉大港工程技术大学,吉大港,4349,孟加拉国
摘要
互联网的广泛普及和智能设备的日益使用推动了多模态(图像-文本)情感分析(MSA)的迅速发展,这是一个新兴的研究领域。这一增长得益于这些技术产生的大量图像-文本数据。然而,MSA面临重大挑战,尤其是图像与文本之间的不一致性:一张图像可能有多种解释,或者与其配对的文本相矛盾。此外,简短的文本内容往往缺乏足够的上下文,使得情感预测变得复杂。在资源匮乏的语言中,这些问题尤为突出,因为标注的图像-文本语料库非常稀缺,而视觉语言模型(VLMs)和大型语言模型(LLMs)的表现也有限。本研究介绍了
MulMoSenT,这是一种专为解决资源匮乏语言中的这些挑战而设计的多模态图像-文本情感分析系统。
MulMoSenT的开发分为四个关键阶段:语料库构建、基线模型评估与选择、超参数调整以及模型微调和推理。所提出的
MulMoSenT模型达到了84.90%的峰值准确率,超过了所有基线模型。相比VLMs提高了37.83%,相比仅基于图像的模型提高了35.28%,相比仅基于文本的模型提高了0.71%。数据集和解决方案均可在以下链接公开获取:
https://github.com/sadia-afroze/MulMoSenT。
引言
移动设备和社交网络的快速发展导致人们越来越多地同时发布图像和文本来表达情感或观点。这一趋势极大地激发了人们对多模态情感分析(MSA)的研究兴趣[1]。尽管MSA涵盖了涉及多种模态组合的任务,如文本、音频、视频和图像,但本研究重点关注图像-文本对的情感分析。具体来说,我们采用基于图像-文本的多模态情感分析方法,通过联合建模图像的视觉特征和关联文本的语义特征来推断情感。理解多模态情感具有广泛的应用前景,包括个性化广告[2]、情感跨模态检索[3]、意见挖掘等。
与单模态方法相比,多模态情感分析提供了更全面、准确和上下文感知的情感理解。不同的模态提供了互补的信息:例如,文本可以传达图像中可能不清晰的具体细节;而图像则有助于澄清或消除文本中的歧义,尤其是在文本过短或模糊时[4]。如图1(a)所示,仅文本表达出积极情感,但关联的图像却表现出消极情感;同样,在图1(b)中,单独的图像没有明确的情感表达,但图像和文本的结合则表现出积极情感。因此,单一模态无法准确预测情感,必须使用多模态数据。然而,处理多模态数据进行情感分析仍然是一项具有挑战性的任务。与传统单模态情感分析不同,多模态情感分析涉及多种现象,例如视觉内容和文本描述在特征空间上存在差异。因此,情感分析方法必须有效弥合这些模态之间的差距。此外,视觉内容和文本描述提供了统计上不同的语义信息。从每种模态中提取与情感分类最相关的全面且具有区分度的信息至关重要。另一个常见挑战是多模态数据的不完整性[5]:许多用户在社交平台上发布评论或状态更新时没有附上图片,而一些摄影师上传的图片也没有文字说明。应对这些不完整数据的情况是多模态情感分析中的另一个重大挑战。
大多数关于多模态情感分析的研究都基于英语、中文和法语等资源丰富的语言[6]、[7]。相比之下,针对孟加拉语、阿拉伯语、印地语和菲律宾语等资源匮乏语言的研究仍然有限[8]、[9]。
据我们所知,尚未有针对孟加拉语的多模态情感分析研究,尽管它是全球第五大常用语言,在孟加拉国和印度部分地区约有2.45亿使用者[10]。每天都会产生大量的多模态图像-文本内容,这加剧了有害和负面内容的传播,对社会和文化生活以及经济领域产生了显著影响。一个多模态图像-文本情感分析系统可以帮助减少负面信息的传播,同时推广积极内容,从而造福社会和个人。然而,这一领域的研究面临诸多挑战,包括计算资源有限、缺乏标注的多模态(图像-文本)语料库,以及适用于资源匮乏语言的高性能视觉语言模型(VLMs)和大型语言模型(LLMs)的缺失。为应对这些挑战,本研究提出了以下
研究问题(RQs)。
•RQ1:如何为孟加拉语等资源匮乏的语言设计一个有效框架来开发多模态图像-文本情感分析语料库?
•RQ2:如何将VLMs、LLMs、MLMs和视觉变换器模型适配到孟加拉语等资源匮乏的语言中?
•RQ3:如何增强视觉语义并降低资源匮乏的多模态图像-文本情感分析中的图像歧义?
为了解决
RQ1-RQ3这些研究问题,本研究开发了一个语料库构建流程,并将其应用于孟加拉语。通过使用LLMs和VLMs进行零样本提示的实证评估,确定了表现最好的两种图像和文本分类模型,随后使用新构建的语料库对这些模型进行了调整。此外,消融研究、视觉和文本嵌入的融合以及文本到图像特征的对齐有助于缓解图像歧义问题。本研究的主要贡献及其对研究问题的潜在答案(
ARQs)总结如下:
•ARQ1:我们开发了一个名为CropLMSA的框架,用于构建资源匮乏的多模态图像-文本情感分析语料库,并在孟加拉语领域进行了应用。CropLMSA用于构建首个孟加拉语多模态情感分析(BMSA)语料库,包含22,489对图像-文本对,分为5,842个积极样本、8,649个消极样本和7,998个中性样本。该框架包括来源选择、自动化数据收集、预处理、手动注释和质量评估。更多细节见第3节。
•ARQ2:我们在零样本提示和微调模式下评估了四种VLMs和四种LLMs,以及在微调模式下评估了四种MLMs、两种ViT模型和五种基于CNN的模型。该评估确定了仅基于图像和仅基于文本的分类中表现最好的两种模型。基于这些最佳模型,我们进行了消融研究以分析最主要的超参数并确定最佳配置。详细结果见第5.2.2节和第5.2节,以及表2、表3和表4。
•ARQ3:我们提出了MulMoSenT,这是一种多模态图像-文本情感分析模型,整合了表现最好的仅基于图像和仅基于文本的模型。MulMoSenT采用了两种融合技术:首先是对视觉和文本嵌入的平均融合,然后将结果嵌入与文本到图像交叉注意力(TICA)嵌入连接起来。这种组合增强了视觉语义并降低了图像歧义,其性能证明了这一点。更多细节见第4.5节,结果见表7、表8和第5.2.3节。
文章的其余部分结构如下:第2节介绍了相关工作,第3节描述了语料库构建过程。第4节概述了问题陈述、基线模型的评估与选择以及所提出模型MulMoSenT的开发过程。第5节首先描述了实验设置,然后详细分析了基线模型的性能、超参数调整性能、MulMoSenT的性能以及MulMoSenT和基线模型的误差分析。第6节讨论了本研究的主要发现和见解,第7节总结了文章并指出了未来工作的方向。
相关研究
情感分析作为研究领域近年来取得了显著进展。大多数现有研究集中在单模态情感分析上,特别是基于文本的方法[11]。虽然也有一些关于多模态情感分析的研究,但这些研究主要集中在资源丰富的语言上,针对资源匮乏语言的研究较少。以下小节将概述现有的情感分析方法,包括单模态和多模态方法
语料库构建
由于资源匮乏语言的多模态情感分析语料库稀缺,以及为解决RQ1问题,本研究引入了CropLMSA,这是一个专为资源匮乏的多模态情感分析设计的创新语料库收集框架。利用CropLMSA,本研究构建了首个孟加拉语多模态情感分析(BMSA)语料库。该框架包括五个核心模块:(1)来源选择、(2)爬取、(3)预处理和(4)手动注释
方法论
主要目标是为资源匮乏的语言(如孟加拉语)开发多模态图像-文本情感分析模型,该模型名为MulMoSenT。本节首先介绍了问题表述,然后介绍了方法。
实验设置与结果分析
以下小节首先详细介绍了基线模型和所提出系统的实验设置,然后总结了基线模型和所提出系统的性能。
讨论
本研究介绍了
MulMoSenT,这是首个为资源匮乏语言(如孟加拉语)设计的多模态图像-文本情感分析系统。下面概述了主要发现和局限性。
•首次创建了标注完善的资源匮乏BMSA语料库:本研究提出了CropLMSA,这是一个用于资源匮乏语言的多模态图像-文本情感分析语料库开发流程,已应用于孟加拉语语料库的构建(详见图2)。CropLMSA构建了首个BMSA
结论与未来工作
本研究提出了MulMoSenTCropLMSA,这是一个用于资源匮乏环境下创建多模态语料库的半自动化框架。该框架促进了BMSA的构建,即首个孟加拉语多模态情感分析语料库。利用BMSA语料库,本研究进行了实证评估
CRediT作者贡献声明
Sadia Afroze:撰写——原始草稿、方法论、形式分析、数据整理、概念化。Md Rajib Hossain:撰写——审阅与编辑、方法论、调查、形式分析、数据整理。Mohammed Moshiul Hoque:撰写——审阅与编辑、监督、资源管理、项目管理、调查。Nazmul Siddique:撰写——审阅与编辑、可视化、验证、调查。
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。