融合双约束对比学习的拓扑感知图 Transformer 用于多模态方面级情感分析

《Expert Systems with Applications》：Topology-aware Graph Transformer with Dual-Constrained Contrastive Learning for Multimodal Aspect-based Sentiment Analysis

　　

# 基于拓扑感知图变换器与双约束对比学习的多模态方面级情感分析

**• 该模型克服了情感分析中的模态异质性问题。• 显式的拓扑建模有效防止了网络中的过平滑问题。• 距离感知图变换器捕捉深层句法和空间拓扑。• 双对比学习通过吸引和张力实现无损失特征对齐。**

## 引言

情感分析旨在挖掘文本中嵌入的主观情感和态度，在舆论监测、商业智能和人机交互等领域具有重要的应用价值（Chan, Bea, Leow, Phoong, Cheng, 2023; Shukla, Kumar, Dwivedi, Singh, 2026）。近年来，随着多模态智能技术的快速发展，构建可靠且可实际部署的多模态人工智能系统已成为该领域的核心追求（Zhu et al., 2025）。在这一宏观背景下，单文本模态的局限性日益突出——在线文本往往存在简短、语义模糊和解读含糊的问题，难以准确恢复用户真实的情感状态。为弥补仅依靠文本分析的缺陷，多模态方面级情感分析（MABSA）被提出并受到广泛关注（Han, Ding, Qiao, Wang, Dang, Xie, Wang, Zou, 2026; Kalateh, Estrada-Jimenez, Nikghadam-Hojjati, Barata, 2024）。MABSA不仅是一项特定的细粒度分类任务，更是实现可信多模态推理的关键试金石。其目标是通过融合文本和视觉信息，准确判断文本中提及的特定实体或方面的情感极性，从而实现更全面和精确的复杂情感表达理解。该任务的核心挑战在于如何有效弥合文本和图像这两种截然不同的数据模态之间的鸿沟（Zhao, Yang, Bai, & Liu, 2024）。在社交图文分享和智能产品评论等主流多模态应用场景中，文本和图像之间普遍存在复杂的依赖关系，常伴有冗余语义和信息错位。如图1(a)所示，用户在配文中称赞某杯咖啡的味道，但咖啡杯在配图中仅占据极小的区域，背景充满了霓虹灯等无关元素。在这种情况下，跨模态关联的有效线索稀缺，朴素的交互往往引入噪声。因此，如何从复杂的异质图文数据中有效提取结构化内容，并学习鲁棒且可解释的方面特定多模态特征，不仅是MABSA社区亟待解决的技术瓶颈，也是实现跨异质模态可扩展语义对齐的关键一步。

近年来，多模态方面级情感分析研究在利用各种跨模态交互策略实现图文对齐方面取得了显著进展。从基于跨模态注意力的浅层特征交互（Aslam, Sargano, Habib, 2023; Zhao, Yang, 2023），到基于复杂Transformer架构的深度联合建模（例如CMMT（Yang, Na, & Yu, 2022b）和DTCA（Yu, Wang, Yu, & Zhang, 2022b）），再到引入多模态对比学习框架（Mu, Nie, Wang, Xu, Zhang, Liu, 2023; Wang, Du, Xiang, 2025），神经网络和预训练技术的突破不断推动研究人员缩小模态差距。然而，面对高度复杂的多模态场景时，现有方法仍存在某些分析瓶颈，最显著的表现为由浅层拓扑引起的特征过平滑以及归一化操作导致的特征强度衰减。

首先，现有模型在结构建模方面在很大程度上受限于浅层拓扑。从图表示学习的角度来看，文本侧主流的句法增强方法通常将依存树直接输入图卷积网络（Xiao et al., 2023）进行局部邻域聚合，但难以容纳由子词分词片段或多个词组成的方面实体。在视觉侧，现有方法过度依赖局部欧几里得空间中固定的二维物理网格来建立边，从而无法有效捕捉超越空间分离的多跳长程语义依赖。这种浅层局部聚合机制在处理如图1(b)所示的跨物理空间实体时（例如Andrew Luck和远处的接球动作），需要堆叠多层网络才能实现信息交换。然而，过度堆叠往往会导致图神经网络中的特征过平滑问题。在该问题下，节点表示趋向全局均值坍缩，即收敛到无区分性的子空间，从而模糊了原本高度可区分的情感极性决策边界。如图1(c-1)进一步分析所示，缺乏长程拓扑编码迫使注意力机制将权重均匀分布到冗余的背景节点上。这种在大量低信噪比节点上的强制性聚合，在数学本质上稀释了目标实体的情感表示，导致高度可区分的情感嵌入向全局均值坍缩，模糊了正负极性之间的决策边界。

其次，现有对比学习框架在弥合模态差距时，往往伴随着情感强度的减弱——即有损特征对齐。如图1(c-2)所示，主流对齐策略（例如InfoNCE）依赖于对特征向量执行强制L2归一化来计算余弦相似度。虽然该机制将所有特征投影到单位超球面上并成功在语义方向（即角度）上拉近正样本对，但它在数学上削弱了原始特征的幅度信息。在情感表示空间中，特征幅度通常与情感强度高度正相关。因此，强制归一化操作不可避免地导致强度特征的不可逆物理损失，损害模型感知微妙情感梯度的能力。因此，如何突破浅层拓扑的限制以抑制特征过平滑，同时实现跨模态拓扑对齐而不破坏原始特征强度，仍是亟待解决的关键挑战。

针对上述瓶颈，本文面向MABSA任务的内在特性，从结构建模和对比学习两个视角重构其底层机制，提出了一种基于拓扑感知图变换器与双约束对比学习的框架。具体而言，该框架首先采用基于距离编码的图变换器。在文本侧，引入最短路径距离编码以实现复杂句法拓扑的细粒度追踪。在视觉侧，提出了一种视觉语义拓扑机制，通过基于特征相似度的动态图构建和路径编码，成功超越空间障碍连接远距离但语义相关的实体，从而缓解对无关节点的注意力分散和特征过平滑。随后，我们提出了一种双约束对比学习机制。在对特征空间进行特征中心化以缓解固有模态偏差后，引入基于物理距离的张力惩罚。该机制在不改变特征幅度分布的情况下，通过语义吸引和空间排斥实现跨模态拓扑对齐。

我们的主要贡献总结如下：

(1) 我们提出了一种多模态方面级情感分析框架，有效应对了MABSA任务中拓扑信息缺失和模态异质性带来的挑战。

(2) 我们引入了图变换器来建模单个模态内的复杂多跳拓扑，缓解了由局部聚合引起的特征过平滑问题。我们还设计了一种双约束对比优化机制，通过特征空间中心化去除冗余信息，同时整合语义吸引和空间排斥以实现跨模态拓扑对齐。

(3) 在Twitter-2015和Twitter-2017等基准数据集上的大量实验表明，所提模型表现出良好的有效性和鲁棒性。消融研究进一步验证了我们方法的有效性。

## 小节片段

### 多模态方面级情感分析

多模态方面级情感分析通过引入视觉上下文，弥补了单模态文本在识别特定方面情感极性方面的不足。早期研究主要关注浅层特征匹配。例如，Xu, Mao, & Chen (2019) 采用了一种多交互注意力机制，Yu, Jiang, & Xia (2019) 设计了一种双线性交互门控和辅助重建机制，Zhao et al. (2023) 引入了一种多粒度……

### 任务定义

多模态方面级情感分析旨在融合文本语义和视觉上下文，构建面向方面的 sentiment 分类器，实现对特定方面词的细粒度情感判别。给定一个多模态样本S=(T,I,A)，其中T=(w?,w?,…,w_m)表示由m个词组成的文本序列，I表示关联图像，A表示T中的方面词子序列，任务目标是预测情感极性y∈{负面, 中性, …}。

### 实验设置

**数据集：** 为验证所提模型在MABSA任务上的有效性，我们在两个广泛使用的基准数据集Twitter-2015和Twitter-2017（Yu et al., 2019）上进行了实验。这两个基准数据集分别包含2014-2015年和2016-2017年收集的真实多模态样本。数据划分见表1。Twitter-2015数据集包含3179/1122/1037个训练/验证/测试样本，而Twitter-2017……

### 计算复杂度与效率分析

为评估TGTCL模型的实用部署可行性，本节系统地分析了其计算复杂度和运行时效率。我们框架的计算开销主要来自图构建、最短路径距离编码和结构感知注意力计算。首先，在拓扑构建阶段，基于广度优先搜索的距离编码的渐近时间复杂度为O(V+E)。由于……

## 结论与未来工作

本文针对多模态方面级情感分析任务提出了一种基于距离编码和双约束对比学习的网络框架。围绕细粒度拓扑感知和跨模态对齐，该框架通过图变换器整句法依赖和空间位置关系，构建深层模态内拓扑结构。结合中心化与双约束对比学习机制，它……

## 利益冲突声明

作者声明不存在已知的可能影响本文所报告工作的竞争经济利益或个人关系。

**韩洪宇 | 丁浩然 | 王英奇 | 赵亚亮 | 穆慧宇 | 胡辉芳 | 胡红燕 | 邹小梅**