图Transformer和图神经网络互为良师

《Pattern Recognition》：Graph Transformers and Graph Neural Networks are good teachers for each other

　　

• •
  GNN与图Transformer展现出互补的局部-全局偏差。
• •
  蒸馏方法比直接融合能更好地整合GNN与GT的表示。
• •
  DMKD实现了GNN与GT之间的架构无关互知识蒸馏。
• •
  方向自适应KD可控制跨图骨干网络的知识迁移。
• •
  实验表明在三个图级基准上取得了一致的性能提升。

引言

在许多真实世界应用中，包括推荐系统[1]、化学分子[2]、[3]以及空间转录组学[4]、[5]，数据可以自然地建模为图。图神经网络（GNNs）[6]、[7]在过去十年中展示了处理图相关问题[8]的强大能力。大多数现有GNN基于消息传递机制聚合邻域特征，以捕获节点间的短程拓扑依赖关系。另一方面，随着基于Transformer的模型的普及及其在计算机视觉[9]和自然语言处理[10]、[11]领域的巨大成功，出现了若干图Transformer（GTs）[12]、[13]、[14]、[15]的工作，旨在将注意力机制应用于学习全局图拓扑。GT通常具有强大的全局拓扑感知能力，其高阶感受野为捕获图中长程依赖提供了新的手段。

GNN和GT已成为建模图结构数据的两大主流骨干网络，各自具有独特的优势，因此无法互相替代。例如，GNN通常被认为在学习局部拓扑方面具有天然优势，且由于图的稀疏性，其计算效率高于GT。然而，由于感受野较浅，仅通过堆叠多层GNN来建模长程依赖关系具有挑战性，因为深层GNN通常会受到过度平滑[16]、[17]、[18]和过度压缩[19]、[20]问题的困扰。相反，GT擅长捕获全局依赖关系，具有强大的表达能力来处理节点间的复杂非线性关系。然而，GT可能会受到过度全局化问题[21]的影响，即过多的全局信息会导致对局部拓扑信息的忽略。

为了结合两种架构的优势，大量工作致力于架构组合，例如基于GT的GNN[22]、[23]或基于GNN的GT[15]、[24]、[25]、[26]。其中一条路线是进一步增强GNN建模长程依赖关系的能力，包括研究如何训练更深的GNN[27]、设计复杂的消息传递机制[28]，或开发更强大的注意力计算机制[29]。另一条路线试图将图的各种局部偏差（如子图、随机游走矩阵、GNN输出等）与图Transformer相结合，但这可能既复杂又缺乏充分的效果。鉴于这些架构设计的复杂性以及众多已有的GNN和GT，研究社区已大幅推进，使得进一步探索架构融合的收益递减。关键已不再是如何设计更多的GNN和GT，而是深入探索GNN与GT之间的差异，以及如何在架构无关的方式下弥合这些差异。

在本文中，我们从表示而非架构的角度出发，探索GNN和GT在图级表示学习中是否能够以及如何在彼此之间相互受益。我们强调了它们在嵌入空间中的互补优势与不足，并提出了一种架构无关的Direction-adaptive Mutual Knowledge Distillation（DMKD，方向自适应互知识蒸馏）框架，该框架在线自适应地重定向GNN与GT之间的知识蒸馏方向，以实现有益的知识迁移。DMKD是一个简单而有效的框架，用于在表示空间中弥合GT的长程依赖与GNN的局部拓扑之间的差距。据我们所知，这是首批研究GNN与GT骨干网络之间双向蒸馏用于图级表示学习的尝试之一。此外，DMKD提供了一个架构无关的框架，用于在任何一对GNN和GT之间平衡全局化与局部化。大量实验表明，这种架构无关的双向蒸馏设计适用于广泛的GNN和GT架构，并能同时显著提升GNN和GT的基础性能。在三个GNN和三个GT架构的跨架构评估中，DMKD在9种KD组合的平均表现上比GNN提升了3.88%，比GT提升了2.57%。我们的主要贡献总结如下：

• •
  我们解释并分析了GNN与GT的预测，展示了它们的互补优势，并基于Rademacher复杂度分析了KD作为特征融合方法的优越性。
• •
  我们提出了一种架构无关的DMKD框架，自适应地控制GNN与GT之间知识蒸馏的方向，使它们能够可控地相互受益。
• •
  我们在多个数据集上进行了大量实验，在各种GNN和GT上取得了持续的性能提升。与最先进的图表示学习方法的进一步比较也证实了我们设计的有效性。

章节摘要

图神经网络（GNNs）

图神经网络（GNNs）通过消息传递机制被应用于建模图结构数据，该机制在每次迭代中通过聚合邻域特征来更新节点嵌入。大多数GNN可以被视为图结构数据上的卷积核[6]、[7]、[30]，其中每一层GNN能够将每个节点的感受野扩展一跳。原则上，这些GNN无法捕获长程依赖关系，而长程依赖关系是

GNN与GT是互补架构

我们首先在3.1节中深入分析了GNN与GT在捕获局部和全局拓扑方面的优势与不足，在3.2节中从经验复杂度的角度讨论了表示整合问题，为使用蒸馏而非直接相加或拼接提供了动机。

预备知识。

设$\mathcal{G}=(\mathcal{V},\mathcal{E},\mathbf{X})$表示一个带属性的图，包含$N=\left|\mathcal{V}\right|$个节点，其中$\mathbf{X}$包含节点特征。我们用$f_{\mathrm{G}}$和$f_{\mathrm{T}}$分别表示一个GNN和一个图Transformer，$\pi \left(\mathcal{G}\right)$表示Transformer所使用的结构或位置编码。它们在层$?$的节点表示分别记为${\mathbf{H}}_{\mathrm{G}}^{\left(?\right)}$和${\mathbf{H}}_{\mathrm{T}}^{\left(?\right)}$。GNN主要通过邻域聚合来建模局部结构，而Transformer通过注意力机制捕获长程交互。DMKD在这些

数据集。

我们首先在来自Benchmarking GNNs[45]的ZINC数据集上评估我们的工作，这是一个真实的分子性质预测数据集。ZINC是一个包含250,000个图的分子数据库，其中原子数量范围为9到37。总共有28种与原子类型相关的节点类别和3种键类型（单键/双键/三键）。任务是图回归任务，用于预测分子性质。我们遵循先前工作[15]、[24]、[25]在子集上进行模型训练

结论

在本工作中，受先前强调GNN与GT不可互换的分析启发，我们证明了知识蒸馏可以作为在两种完全不同的架构之间有效传递信息的手段，使双方都从中受益。在实际实验中，引入了三个GT和三个GNN并进行两两配对，实现信息互传，在三个数据集上的表现均优于所有最先进方法。这种GNN与GT的简单组合可以改善

CRediT作者贡献声明

刘云帆（Yunfan Liu）：撰写——原始草稿、可视化、方法论。吴立蓉（Lirong Wu）：撰写——审阅与编辑、概念构思。刘子涵（Zihan Liu）：可视化。黄雨霏（Yufei Huang）：调查分析。周景博（Jingbo Zhou）：验证。迟长喜（Changxi Chi）：调查分析。陈绍荣（Shaorong Chen）：资源支持。余畅（Chang Yu）：指导监督。李善真（Stan Z. Li）：指导监督。

稿件撰写过程中生成式AI及AI辅助技术的声明

在本工作的撰写过程中，作者使用了ChatGPT来润色文字。在使用该工具后，作者对内容进行了审阅和编辑，并对稿件内容承担全部责任。

利益冲突声明

作者声明不存在可能影响本文所报告工作的已知竞争性财务利益或个人关系。

致谢

本工作得到国家重点研发计划（项目编号：2022ZD0115101）、国家自然科学基金委员会项目（项目编号：U21A20427）、多模态人工智能系统全国重点实验室开放研究基金（项目编号：MAIS2025064）的资助。

刘云帆|吴立蓉|刘子涵|黄雨霏|周景博|迟长喜|陈绍荣|余畅|李善真