基于多模态特征的情感分析:结合插件增强的大型语言模型

《IEEE Transactions on Neural Networks and Learning Systems》:Multimodal Aspect-Based Sentiment Analysis With Plugin-Enhanced Large Language Models

【字体: 大 中 小 】 时间:2026年04月08日 来源:IEEE Transactions on Neural Networks and Learning Systems 8.9

编辑推荐:

  多模态基于方面的情感分析(MABSA)需融合视觉与文本特征解决模态间复杂关联问题,现有方法依赖高级编码器但存在局限。本文提出插件式框架,利用A-GCN编码关键知识实例并记忆型枢纽对齐多模态表征,在基准数据集上超越基线,且支持LLM高效适配任务。

  

摘要:

多模态基于方面的情绪分析(MABSA)是一项具有挑战性的任务,它根据跨模态的输入来预测特定方面术语的情绪极性。现有的方法通常使用先进的视觉和文本编码器来提取多模态特征,并将它们对齐以进行MABSA预测,但在处理多种模态之间的复杂关联时仍面临挑战。最近大型语言模型(LLMs)及其多模态对应模型的蓬勃发展在各种任务中显示出巨大的潜力,为MABSA提供了一个有希望的解决方案,尽管存在一些潜在的限制,例如图像和文本之间的语义不匹配,以及针对特定任务进行微调的高计算成本。为了解决这些限制,本文提出了一种基于插件的新方法,该方法使用插件来编码关键知识实例,如图像中的显著对象和文本中的词关系,并结合注意力图卷积网络(A-GCN)进行处理。我们进一步利用基于记忆的枢纽来整合编码的多模态知识,并将知识表示与LLM对齐,引导其更好地理解模态之间的复杂关联。我们在两个基准MABSA数据集上评估了我们的方法,其性能优于基线方法,并在现有研究中达到了最先进的水平。进一步分析表明,我们的方法能够使多模态LLM高效且可扩展地适应特定任务,使其成为相关任务的一个有前景的解决方案。代码可在以下链接获取:https://github.com/synlp/MABSA-LLMPlug

引言

多模态基于方面的情绪分析(MABSA)是一项将视觉理解和自然语言处理相结合的关键任务,旨在通过整合多种数据模态来识别组合输入中实体特定方面的情绪极性。与传统仅关注文本内容的情绪分析任务不同,MABSA利用文本、图像和视频等多种模态的组合,以捕捉更丰富、更细致的意见和情感理解。MABSA通过其他重要证据的支持,克服了单模态输入情绪分析的局限性,这些证据可以揭示隐含的极性并提高情绪预测的可解释性。因此,它在广泛的现实世界应用中具有巨大潜力,特别是在用户意见多样并通过多种模态的内容表达的领域,例如产品评论、社交媒体监控、客户服务自动化,以及媒体和娱乐产品等,这使得这项任务成为近年来研究的热门领域[1]、[2]、[3]、[4]、[5]、[6]、[7]、[8]、[9]、[10]。

相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号