GTPF：一种基于提示感知融合的模态专用图变换器，用于多模态情感分析

《Neural Networks》：GTPF: Modality-Specific Graph Transformer with Prompt-Aware Fusion for Multimodal Sentiment Analysis

　　摘要：多模态情感分析通过整合多种模态的信息来推断情感倾向。该任务面临两大挑战：准确建模单一模态以及高效融合这些模态。现有的基于图神经网络的方法由于深层结构导致的过度平滑问题，通常采用较浅的架构进行模态建模。虽然这类浅层结构能够较好地捕捉各模态内的局部信息，但难以把握全局上下文。同时，目前的以文本为中心的融合方法在融合前并未对文本与非文本模态进行明确对齐，从而导致融合效果不佳。为解决这些问题，我们提出了具有提示感知融合功能的模态专用图变换器框架GTPF。GTPF采用模态专用图变换器架构来同时挖掘各模态的局部与全局信息，从而实现更精准的单模态建模。此外，它还包含一个提示感知多模态融合模块，通过提示调整实现对文本与非文本模态的预对齐，进而提升以文本为中心的融合效果。我们在三个多模态情感分析基准数据集上进行了大量实验，结果表明GTPF在各项指标上均优于现有最佳方法。在CMU-MOSI数据集上，GTPF在平均绝对误差指标上的表现比第二好的模型高出13.76%；在CH-SIMS数据集上，其在皮尔逊相关系数指标上提升6.01%，五类分类准确率上提升5.03%。这些结果证明了我们所设计的图变换器架构与提示感知融合策略的有效性。

引言：多模态情感分析是情感计算领域的一个分支，它通过整合文本、语音、面部表情等模态的信息来推断说话者的情感状态。该技术在人类-计算机交互、医疗互动以及从社交多媒体内容中提取观点等诸多实际应用中展现出重要价值。多模态情感分析的核心任务是首先准确建模每个单一模态，然后再将其有效融合以实现情感推断。准确的单模态建模能够生成高质量的单模态表示，为后续的融合步骤奠定基础；而有效的融合则有助于捕捉人类情感表达中复杂的协同模式。早期的多模态情感分析方法多使用卷积神经网络、循环神经网络以及长短期记忆网络来处理单一模态。近年来，越来越多的研究开始采用图神经网络来对各类单模态进行建模。例如，有研究利用图卷积模块学习模态内的语义关联，还有研究构建图结构来传递模态内的信息，进而捕捉情感关联，另有研究则使用图卷积网络分析模态内的时间关系，还有研究提出多模态注意力图网络来处理三种不同类型的模态数据。尽管这些方法在捕捉各模态内的局部结构信息方面表现良好，但在捕捉全局信息方面存在不足。为全面捕获全局模式，图神经网络通常需要较多的层数，但层数增加会引发过度平滑问题——信息在多层传递过程中，节点表示会趋向于相似值，从而导致区分能力下降。这是因为每一层都会聚合邻居节点的特征，反复聚合会逐渐削弱局部差异。因此，目前的基于图神经网络的单模态分析方法往往限制层数以避免过度平滑，而这又限制了它们捕捉各模态全局信息的能力。为有效融合多种模态以实现情感推断，人们提出了多种多模态融合策略，包括张量融合、加法融合、分层融合以及基于注意力的融合等。其中，以文本为中心的融合方法逐渐成为主流，因为研究表明在所有模态中，文本模态对情感分析的贡献最大，因此在融合时应作为主要模态。这类方法通常利用文本特征来引导视觉和音频模态，形成能够补充文本模态的超级模态，或是通过文本导向的跨模态映射生成多模态表示以用于情感分析。虽然以文本为中心的融合方法已取得不错成果，但目前这类方法在融合前并未在特征空间中对文本与非文本模态进行明确的预对齐。由于文本与非文本模态之间存在显著差异，直接融合而不进行预对齐可能会导致融合过程中的相似度或注意力系数出现偏差，从而影响融合效果。因此，现有以文本为中心的融合方法在融合性能方面仍有提升空间。为解决上述问题，本文提出了具有提示感知融合功能的模态专用图变换器框架GTPF。在该框架下，我们为每种模态设计了专门的模态专用图变换器架构。该架构利用图神经网络处理各模态内的局部结构信息，同时借助变换器编码器来探索全局上下文信息。这样一来，图神经网络组件只需采用较浅的架构，因为它无需通过多层结构来捕捉全局信息，从而间接解决了图基模型常见的过度平滑问题。此外，在GTPF框架中，我们还设计了提示感知多模态融合模块。该模块通过提示学习技术先在特征空间中对文本与非文本模态进行预对齐，从而为后续融合创造理想的语义环境。之后，以预对齐后的文本模态作为主要模态，再通过跨模态注意力机制实现多模态融合。我们在CMU-MOSI、CMU-MOSEI和CH-SIMS数据集上进行了大量实验，结果表明我们的方法相比现有最佳方法有了显著提升。我们的贡献可总结如下：首先，我们提出了用于多模态情感分析的具有提示感知融合功能的模态专用图变换器框架GTPF，通过解决准确建模单模态表示以及高效融合多模态表示这两大关键问题提升了分析性能；其次，我们为每种模态设计了MSGT模块，该模块结合了用于局部结构建模的图神经网络与用于全局上下文分析的变换器编码器，从而实现了较浅的图神经网络架构，并间接缓解了过度平滑问题；第三，我们开发了提示感知多模态融合模块，该模块通过基于提示的调整实现文本与非文本模态的对齐，为提升以文本为中心的融合效果创造了有利条件；最后，我们通过在三个多模态情感分析基准数据集上的全面实验验证了GTPF框架的优异性能。

章节摘录：多模态情感分析中的融合策略。多模态情感分析的核心任务是有效整合多种模态的信息以实现情感推断。但由于不同模态的属性存在显著差异，要实现跨模态的有效融合颇具难度。为解决这一融合问题，人们提出了多种策略，包括张量融合、加法融合等。

问题定义：考虑一个话语级的视频片段，其中包含来自文本、音频和视觉三种模态的特征序列。这些特征分别记为Xm∈RTm×dm，m∈{t, v, a}。这里，Tm表示序列长度，dm表示第m种模态的特征维度，t、a、v分别对应文本、音频和视觉模态。多模态情感分析的任务是：给定一个视频片段，根据其三种模态的特征序列预测其情感强度y，即f(Xt, Xa, Xv)→y。

数据集与评估指标：为评估我们所提出的具有提示感知融合功能的模态专用图变换器框架的性能，我们在三个常用的多模态情感分析基准数据集上进行了大量实验，这些数据集分别是CMU-MOSI（Zadeh等人，2016年）、CMU-MOSEI（Zadeh等人，2018b年）以及CH-SIMS（Yu等人，2020年）。下面将介绍这些数据集的相关信息，其统计指标汇总见表1。

定量分析结果：我们在CMU-MOSI、CMU-MOSEI和CH-SIMS数据集上比较了GTPF与各基准方法的性能，相应结果分别呈现于表3、表4和表5中。如表3至表5所示，我们的GTPF框架在三个数据集的所有评估指标上均表现出最优性能。具体而言，在CMU-MOSI数据集上，与各项指标的第二好模型相比，GTPF在平均绝对误差指标上的提升幅度达13.76%。

结论：在本文中，我们解决了多模态情感分析的两个核心问题：准确的单模态建模以及高效的多模态融合。我们提出了GTPF框架，该框架结合了用于单模态表示学习的模态专用图变换器以及用于以文本为中心的融合的提示感知多模态融合模块。MSGT架构通过将较浅的图神经网络与变换器编码器相结合，既能捕捉局部信息又能获取全局信息，从而间接缓解过度平滑问题。PAMF模块则通过提示调整实现文本与非文本模态的对齐，进一步提升以文本为中心的融合效果。

CRediT作者贡献说明：郑浩龙负责初稿撰写、可视化处理、形式分析、数据整理以及概念设计；冷燕负责审稿与编辑、可视化处理、方法设计以及资金申请工作；吴建宁负责研究调查；张恩泽负责方法设计及研究调查；陶倩倩负责形式分析；袁琪负责资金申请；李天平负责资金申请；孙成利负责资金申请。

利益冲突声明：作者声明不存在任何可能影响本文研究工作的已知财务利益或个人关系。

致谢：本研究得到了山东省自然科学基金（ZR2025MS1040、ZR2023MF068）的支持，同时也部分得益于济南市高校一体化发展战略工程项目（JNSX2025010）、广东省普通高等学校重点领域专项项目（2025ZDZX10232）、广东省重点学科科研能力提升项目（2024ZDJS056）、赣州市揭榜领航项目（2023ULGX0004）以及广州市教育局的支持。

郑浩龙|冷燕|吴建宁|张恩泽|陶倩倩|袁琪|李天平|孙成利