CLAMP：一种结合自适应多损失函数与渐进式融合的对比学习方法，用于多模态基于特征的 sentiment 分析

《Neural Networks》：CLAMP: Contrastive Learning with Adaptive Multi-loss and Progressive Fusion for Multimodal Aspect-Based Sentiment Analysis

　　摘要多模态面向方面的情感分析旨在识别图像-文本对中的方面词，并确定其细粒度的情感极性，这是提升产品评价系统及舆情监测等应用效果的关键任务。现有方法存在跨模态对齐噪声以及细粒度表示一致性不足等问题。全局模态对齐方法往往忽视了方面词与其对应局部视觉区域之间的关联，因此弥合文本与图像之间的表示差距仍是一项挑战。为解决这些局限，本文提出了一种基于自适应多损失与渐进式注意力融合的端到端对比学习框架CLAMP。该框架由三个创新模块组成：渐进式注意力融合网络、多任务对比学习模块以及自适应多损失聚合模块。渐进式注意力融合网络通过分层的多阶段跨模态交互，增强文本特征与图像区域之间的细粒度对齐，有效抑制无关视觉噪声。其次，多任务对比学习结合全局模态对比与局部粒度对齐，提升跨模态表示的一致性。自适应多损失聚合模块则采用基于动态不确定性的加权机制，根据各任务的不确定性调整损失贡献，从而减少梯度干扰。在标准公开基准测试上的结果表明，CLAMP的性能始终优于绝大多数现有先进方法。

引言随着社交媒体和电子商务平台的不断发展，用户越来越倾向于通过结合图像与文本的信息来表达观点，这类信息常见于产品评价和新闻评论等领域。因此，多模态面向方面的情感分析已成为情感计算领域的核心任务（Zhou等人，2021），其目标是从图像-文本对中提取诸如“电池续航”或“屏幕清晰度”等产品评价中的方面词，并预测其细粒度的情感极性。该技术在产品优化、舆情监测以及个性化推荐等方面有着广泛的应用。与传统单模态方法相比，多模态面向方面的情感分析通过融合视觉信息提升了语义理解能力，但同时也面临跨模态对齐噪声、任务冲突以及细粒度表示不一致等挑战。这些问题的产生源于文本-图像数据的复杂性：一方面，句子级语义通常包含多个具有不同情感倾向的方面，容易导致情感判断的模糊性；另一方面，图像中往往包含大量无关的视觉信息，只有极少部分与特定方面直接相关。例如，在图1所示的Twitter示例中，文本中包含了三个不同的方面词，每个词都对应不同的情感极性。情感极性很容易受到上下文的影响，比如“Cavaliers”可能因为后续出现的“赢得NBA冠军”“获胜”等词汇而被错误地判为正面情感。而尽管图像中包含大量与“Warriors”相关的视觉线索，但仅凭图像本身却无法察觉到与“Cavaliers”相关的负面情感。这种复杂性要求实现细粒度的跨模态对齐以及动态的噪声抑制，而这些正是现有方法尚未完全解决的难题。

面向方面的情感分析是社交媒体内容分析中的基础技术，它能够从文本数据中精准提取方面实体并确定其情感极性。随着数字社交平台的快速发展，用户越来越倾向于使用多媒体形式来表达自己的观点和情感。虽然传统的多模态情感分析方法能够处理整体层面的情感识别任务，但在需要细粒度情感理解的特定方面分析上表现不佳。为此，多模态面向方面的情感分析逐渐成为多模态学习领域的研究重点。该技术结合了多模态情感分析和面向方面的情感分析的优势，通过融入视觉信息提升了细粒度的语义理解能力。从技术发展角度看，现有的多模态面向方面的情感分析研究可分为三个主要方向：管道式处理框架、基于BART的统一建模方法以及跨模态Transformer技术。在管道式方法中，Ju等人（2021）将文本与图像之间的全局对齐视为视觉线索融入文本表示的程度，并提出了联合多模态学习框架。然而，这类管道式方法大多忽略了对象级的视觉信息，且依赖顺序处理流程，这不可避免会导致子任务之间出现误差传播。相比之下，BART能够同时处理多模态输入，并在解码器内并行执行多个子任务，从而降低误差积累。基于这一优势，Ling等人（2022）设计了VLP-MABSA，这是一种与下游多模态面向方面的情感分析任务紧密相关的任务特定预训练框架，可实现视觉与文本信息的端到端融合。不过，该方法在模态间对齐策略上仍有改进空间，且仅考虑将细粒度的对象视觉信息与文本进行对齐。Zhou等人（2023）提出了AoM方法，该方法致力于挖掘与特定方面紧密相关的语义和情感信息，但对视觉和文本模态的独立监督学习支持较为有限。在此基础上，Yang等人（2022）引入了跨模态多任务学习框架，该框架通过动态门控机制调节视觉信息对文本处理的影响，但对于图像中无关区域产生的噪声仅能进行初步处理。Xiao等人（2024）则从美学角度出发，基于美学评分提出了Atlantis模型，探索图像情感表达的内在机制。然而，文本句法特征与细粒度视觉细节的整合利用仍不尽理想。为解决这一问题，Zou等人（2025）提出了目标导向型跨模态Transformer（TCMT），该模型包含三个模块：它利用句法信息以及光学字符识别技术从图像中提取嵌入文本，并对视觉模态进行监督训练。不过，三模块结构不可避免地会导致参数量的增加。尽管这些研究取得了一定进展，但仍存在诸多局限：第一，对齐粒度不足：大多数模型仅在全局层面对齐视觉与文本特征，忽视了方面词与局部区域之间的对应关系，从而导致无关噪声的干扰。为解决这一问题，我们提出了一个多任务对比学习框架，可在全局和局部层面同时对不同模态的特征进行对齐。第二，跨模态一致性欠缺：当图像和文本特征被独立处理时，各模态之间的语义连贯性会受到影响，进而降低跨模态一致性。为解决此问题，我们采用了渐进式注意力融合网络，让模型逐步整合两种模态的特征。第三，损失优化不够灵活：在多任务学习中，固定的权重分配策略难以平衡不同模态的贡献，且容易受到占主导地位的模态梯度的影响。我们在模型中引入了自适应多损失聚合机制，以平衡不同任务和模态的贡献。

为应对上述挑战，我们提出了专为多模态面向方面的情感分析设计的CLAMP框架，该框架融合了对比学习、自适应多损失机制以及渐进式注意力融合技术。CLAMP由四个核心组成部分构成：多模态特征提取模块、渐进式注意力融合网络、多任务对比学习框架以及自适应多损失聚合模块。在特征提取阶段，两个基于Transformer的编码器分别生成文本和视觉表示。随后，渐进式注意力融合网络通过分层注意力机制，逐层迭代合并并优化这些表示，最终形成丰富且统一的跨模态嵌入向量。在多任务对比学习框架中，我们设计了三个相互协作的组件来处理三项任务：对比学习组件、词区域对齐组件以及多任务情感标注组件。对比学习组件负责促进文本与图像之间的全局特征学习；词区域对齐组件则通过最优传输距离实现细粒度对齐，从而强化视觉与文本特征之间的跨模态对应关系；多任务情感标注组件则将问题转化为条件随机场模型，以此捕捉标签间的依赖关系，实现精确的词级预测。本研究的主要贡献如下：第一，我们提出了CLAMP这一创新方法，它通过逐步分层融合跨模态信息，而非一次性完成文本与图像的交互，而是采用非对称的多阶段策略逐步深化融合程度。在每一阶段，都会利用前一层的结果优化文本表示，然后再通过新的跨模态交互方式与视觉特征进行结合。这种设计模拟了人类逐步理解复杂信息的过程，旨在从多个层面和角度全面整合不同模态的信息。第二，为有效支持逐步融合，我们设计了多任务对比学习框架，该框架结合了现有的对比学习技术与词区域对齐方法，能够在不同粒度层面对文本和视觉表示进行对齐，从而减少模态间的冲突。此外，我们还引入了基于动态不确定性的加权机制，这是一种复合加权策略，通过将动态参数纳入不确定性计算中，自适应地平衡各任务的贡献，避免负面迁移效应。第三，我们在涵盖不同领域和语言的三个基准数据集上进行了大量实验和可视化分析，结果表明我们的方法不仅优于基线方法，而且在多模态面向方面的情感分析任务上表现出持续的提升效果。

本文的其余结构如下：第2节回顾了基于文本和多模态的情感分析相关研究；第3节详细介绍了所提出的CLAMP模型的架构；第4节展示并分析了实验结果；第5节总结全文的主要贡献。

片段摘录基于文本的面向方面情感分析基于文本的面向方面情感分析聚焦于检测文本中的细粒度方面词并确定其对应的情感极性，因此成为情感计算领域的关键研究主题。相比之下，早期的情绪分析主要针对句子或段落层面的粗粒度情绪分类（Chauhan等人，2023），但难以处理单篇文本中同时存在的多种方面级情绪，比如“这款相机的……”

方法论在本节中，我们将明确阐述多模态面向方面的情感分析任务的定义，介绍CLAMP的整体架构，然后详细说明构成该模型的各个具体组件。

实验设置数据集：我们将在三个广泛使用的基准数据集上评估所提方法的性能，这三个数据集分别是Twitter2015、Twitter2017以及Multi-ZOL。Zhang等人（2018）最初提供了这两个Twitter数据集，Lu等人（2018）为这些数据集标注了方面情感极性，Ling等人（2022）则对数据集进行了优化。表1总结了这些数据集的关键特性，所有数据集都包含配对的文本和视觉信息，文本内容则对应着相应的图像文件。

结论本文提出了一种专为多模态面向方面的情感分析任务设计的端到端对比学习框架CLAMP，该框架具备自适应多损失与渐进式注意力融合功能。CLAMP能够深入挖掘不同模态之间的语义和结构特征，实现动态对齐、跨模态交互以及高效的信息融合。CLAMP由三个主要模块组成：渐进式注意力融合网络、多任务对比学习模块以及自适应多损失聚合模块。

关于写作过程中生成式AI和AI辅助技术的声明在撰写本文时，作者们使用了Claude和ChatGPT来提升文章的可读性和语言表达水平。在使用这些工具之后，作者们对内容进行了必要的审阅和修改，并对最终发表的文章内容承担全部责任。

数据可用性数据可根据请求提供。

CRediT作者贡献说明何晓强：概念构思、方法设计、软件开发、文章撰写。蒲秋梅：资源获取、数据整理、监督指导、内容审阅。罗欣：调研分析、内容审阅。李倩：监督指导、内容审阅。魏杰耀：监督指导、内容审阅。

CRediT作者贡献说明何晓强：文章撰写——审阅与编辑、文章撰写——初稿撰写、软件开发、方法设计、概念构思。蒲秋梅：文章撰写——审阅与编辑、监督指导、资源获取、数据整理。罗欣：文章撰写——审阅与编辑、调研分析。李倩：文章撰写——审阅与编辑、监督指导。魏杰耀：文章撰写——审阅与编辑、监督指导。

利益冲突声明作者声明自己不存在任何可能影响本文研究结果的已知财务利益或个人关系。

致谢本研究得到了中国国家社会科学基金的资助（项目编号：20BGL251）。

何晓强|蒲秋梅|罗欣|李倩|魏杰耀