IGT：通过交替使用GNN与Transformer对图数据的局部与全局模式进行建模

《Expert Systems with Applications》：IGT: Modeling Local and Global Patterns of Graph Data by Interleaving GNNs and Transformers

　　

• •
  新颖的IGT结构将GNN与Transformer交替排列，以捕捉局部/全局模式。
• •
  IGT在统一架构中支持可配置的稀疏和稠密局部算子。
• •
  在IGT-GRL和IGT-TC上的大量实验验证了该框架的有效性。

引言

近年来，随着图神经网络（GNNs）在各个应用领域的显著成功，针对图结构数据的深度学习方法受到了越来越多的关注。与卷积神经网络（CNNs）Li et al. (2025b)和循环神经网络（RNNs）Jiang, Bai, & Zhou (2025)相比，GNNs在处理图数据方面尤为有效。这使得它们在数据分析和模式识别中被广泛采用。通常，大多数GNN被构建为多层网络模型，其中每一层的输入基于前一层的输出。新的节点表示通过消息传递神经网络（MPNN）Gilmer, Schoenholz, Riley, Vinyals, & Dahl (2017)聚合局部邻域信息来生成。几种代表性的GNN包括GCN Kipf & Welling (2017)、GIN Xu, Hu, Leskovec, & Jegelka (2019)、PNA Corso, Cavalleri, Beaini, Liò, & Veli?kovi? (2020)和DGN Beaini et al. (2021)。然而，先前GNN的性能本质上受到若干关键局限性的制约，例如过度平滑。如图1(a)所示，增加GNN模型的深度会导致节点表示的收敛，这可能削弱区分节点的能力，最终导致过度平滑Oono & Suzuki (2020)。

最近，Transformer Vaswani et al. (2017)已成为深度学习领域的主导力量，在各种计算机视觉和自然语言处理任务中取得了最先进（SOTA）的性能。利用自注意力机制可以有效地捕捉序列中的长程依赖关系，从而在对象检测、语义分割、机器翻译、文本摘要和问答等领域取得了重大进展。然而，与GNN中观察到的挑战类似，如图1(b)所示，增加Transformer模型的层数也会在图数据上导致过度平滑Shi et al. (2022)。

为了解决过度平滑问题并充分利用图的结构信息，图Transformer（GT）Dwivedi & Bresson (2020); Kreuzer, Beaini, Hamilton, Létourneau, & Tossou (2021)——将Transformer的全局关系建模能力与GNN相结合——已成为一个有前景的研究方向。具体而言，GT可以分为两种主要类型。第一种类型（类型I）不使用相对独立的GNN模块，而是通过设计的注意力机制或图专用的位置/结构编码（PE/SE）将连接信息和边特征直接融合到Transformer编码器中，即Transformer编码器作为网络的骨干，针对图结构进行定制，例如GGT Dwivedi & Bresson (2020)、Graphormer Ying et al. (2021)和UniMP (TransformerConv) Shi et al. (2021)。相反，第二种类型（类型II）直接集成了消息传递GNN模块和Transformer编码器层。示例包括GraphTrans Wu et al. (2021)、SAT Chen, O'Bray, & Borgwardt (2022)和GPS Rampasek et al. (2022)。尽管类型I模型往往更加复杂，但类型II GT在各种基准测试上通常能获得最先进性能Dwivedi, Joshi, Laurent, Bengio, & Bresson (2020); Hu et al. (2020a)。

类型II GT的构建可以通过两种方案有效实现：GNN+Transformer和并行化。如图1(c)所示，GNN+Transformer方案涉及在多层GNN之上堆叠多层Transformer，如GraphTrans Wu et al. (2021)。相比之下，如图1(d)所示的并行方案在每个块中独立地将相同输入分别送入GNN层和Transformer编码器层，然后进行融合操作，如GPS Rampasek et al. (2022)。然而，这两种方案在模型结构上均存在缺陷，具体表现为无法充分利用全局和局部信息。

为了解决这一问题，我们建立了一个通过将GNN与Transformerinterleaving（交替排列）的统一GT框架，称为IGT。如图1(e)所示，IGT交替排列GNN层和Transformer层，其中GNN建模局部邻域模式，Transformer捕捉全局依赖关系，从而实现局部和全局信息的迭代融合。特别是，我们纳入了两个专门的消息传递模块：边增强局部注意力（EELA）和TextGINConv，分别作为代表性的稀疏和稠密局部算子。EELA对稀疏图表示执行边感知的消息传递，适用于稀疏图场景。相比之下，TextGINConv通过稠密图卷积联合建模节点和边信息，适用于较小的图（如依存图）。这种模块化设计使IGT能够根据图表示和计算特性灵活配置局部算子，在不同图场景下平衡预测性能和效率。我们在图表示学习（GRL）和文本分类（TC）任务上进行了全面实验，以评估IGT框架的有效性和跨任务适用性。

本工作基于我们先前发表的工作LGI-GT Yin & Zhong (2023)（发表于IJCAI'23）和TextGT Yin & Zhong (2024)（发表于AAAI'24）。为了区分先前组件与IGT的新贡献，我们明确说明EELA和[CLS]跳跃传播机制源自LGI-GT，而TextGINConv和用于ABSA的图-序列建模流程源自TextGT。会议版本的主要基准结果被保留用于比较，而非作为新贡献声明。表1总结了LGI-GT、TextGT和IGT之间的关键区别。IGT的主要贡献如下：

• •
  IGT通过将局部-全局交替排列推广到不同的图数据和任务，建立了一个统一的图Transformer框架。
• •
  IGT在统一架构中整合了多样的局部消息传递模块，实现了灵活的稀疏或稠密消息传递，并通过跨算子评估验证了其适应性。
• •
  IGT将评估进一步扩展到链接预测，从而涵盖了节点级、边级和图级的图学习以及ABSA，为框架的跨任务适用性提供了更广泛的证据。
• •
  IGT通过定量的表示均质化分析扩展了先前的深度分析，并进一步评估了计算复杂度、运行时间和内存消耗，为统一框架提供了机理和效率方面的证据。

章节摘要

相关工作

在本节中，我们首先回顾用于GRL任务的现有GT，然后分析用于TC任务的现有GNN和GT。

模型结构分析

在本节中，我们比较了图1中的GNN、Transformer、GNN+Transformer方案、并行方案以及我们的IGT方案。其中，图卷积层作为局部算子，通常由特定的消息构建函数和特定的聚合机制组成，记为GConv。Transformer编码器层作为全局算子，通过全图注意力直接建模任意两个节点之间的交互，记为TLayer。对比

方法论

在本节中，我们首先阐述所提出的IGT框架，随后描述两个消息传递模块，即EELA和TextGINConv。然后我们探讨IGT结构在GRL和TC任务中的具体实现。

实验

本节报告了IGT结构在GRL和TC任务上的评估结果，包括对比实验、复杂度分析、结构分析、深度研究、消融实验和模型解释。

结论

基于对GNN、Transformer和现有GT结构的深入分析，我们提出了一个统一的交替排列GNN与Transformer结构（IGT），有效地捕捉了局部和全局范围内相邻节点和远距离节点的信息。此外，我们纳入EELA和TextGINConv作为代表性的稀疏和稠密局部算子，使得可以根据图表示（稀疏或稠密）选择合适的消息传递模块。

CRediT作者贡献声明

Qi Guo：方法论、形式分析、可视化、撰写——初稿。Fusheng Li：验证、形式分析、调查研究、可视化。Shuo Yin：方法论、软件、可视化。Guoqiang Zhong：概念化、指导、项目管理、撰写——审阅与编辑。Mohamed Cheriet：指导、项目管理、撰写——审阅与编辑。

利益冲突声明

作者声明不存在任何已知的竞争经济利益或个人关系，这些利益或关系可能影响本文所报告的工作。

Qi Guo|Fusheng Li|Shuo Yin|Guoqiang Zhong|Mohamed Cheriet