深度图神经网络中表示演化的控制

《Neural Networks》：Controlling Representation Evolution in Deep Graph Neural Networks

　　摘要：深度图神经网络在堆叠过多传播层时往往会出现性能下降。尽管这种现象通常与过度平滑有关，但仅从节点相似性角度无法完全解释深度表示的失效问题。在传播过程中，节点表示会形成逐层发展的轨迹，这些轨迹可能变得不稳定，失去与输入信息的关联，或坍缩到低维子空间中。基于这一视角，我们将深度GNN的退化问题视为表示轨迹控制问题。该框架通过共享的表示轨迹整合了三种互补的控制机制。稳定反应-扩散编码器能够提供轨迹稳定的前向演化机制，通过显式控制传播漂移和有限深度敏感性，而非简单叠加额外的消息传递层。确定性深度归一化可追溯性约束则通过图感知的残差一致性，确保中间输入空间目标仍能与原始特征保持关联。秩-率约束则通过限制对数值秩的过度层间衰减，延缓子空间的过早退化。我们将该方法视为一种集成与诊断框架，而非新的传播运算符。理论分析和实验结果表明，所提出的轨迹控制框架具有有效性、鲁棒性和稳定性。

引言：图神经网络被广泛应用于推荐系统、生物信息学、社交网络分析以及材料科学等领域，用于处理图结构数据（Kipf和Welling，2016；Wu等人，2021）。通过聚合邻域信息，GNN能够学习到同时包含属性和图结构的节点表示。更深的传播层次虽然能扩大感受野并捕捉长距离依赖关系，但单纯堆叠过多层往往会导致性能严重下降。常见的解释是过度平滑现象（Li等人，2018；Nt和Maehara，2019）：重复的聚合使得节点表示越来越相似，从而降低了类别区分度。从图信号处理的角度来看，归一化传播相当于低通滤波器，可抑制高频成分。然而，仅考虑平滑性并不足以完全解释深度GNN的退化问题。即使狄利克雷能量变化缓慢，精度仍可能下降，且表示在变得局部无法区分之前就可能失去有效维度（Alon和Yahav，2020；Oono和Suzuki，2019；Roth和Liebig，2023；Zhang等人，2025）。这表明，深度退化问题不应仅从节点同质化角度研究，还应视为表示演化过程的失败。现有方法从不同角度解决这一问题：残差连接、初始特征注入和恒等映射可用于保留浅层信息（Chen等人，2020）；归一化和结构扰动可用于调节特征尺度或减弱确定性平滑效应（Rong等人，2019）；连续深度和反应-扩散GNN将前向传播建模为图动态过程（Choi等人，2022；Poli等人，2019）；而多跳或自适应感受野方法则可在不盲目堆叠层的情况下扩展邻域信息（Gao等人，2025）。这些方法虽有效，但通常仅关注传播运算符、聚合路径或优化稳定性，未能同时确保相同的深度表示轨迹保持稳定、与输入特征可追溯以及具备良好的几何表达能力。本文将深度GNN的退化问题重新视为表示演化控制问题。深度GNN会生成一系列隐藏状态轨迹，有效的深度传播应引导这一轨迹，避免不必要的扰动放大、输入空间信息的不可逆丢失以及子空间的过早坍缩。为此，我们提出了一种结合稳定反应-扩散编码器、确定性深度归一化可追溯性约束和秩-率约束的框架。SRD通过扩散、反应、锚定、门控以及深度缩放离散化等方式，提供可控的前向演化路径。RDC通过图感知的残差归一化，确保中间输入空间目标仍能与原始特征保持可追溯性。RRC则通过限制对数值秩的过度衰减，在允许任务驱动压缩的同时防止表示过早坍缩。这三个模块针对同一逐层表示轨迹的不同失效模式发挥作用。主要贡献如下：首先，我们提出了一个统一的深度GNN轨迹控制框架，将该框架与前向演化、输入空间可追溯性以及秩-率调节相结合，以控制沿共享逐层轨迹的深度表示退化问题；其次，我们设计了一种确定性且图感知的可追溯性约束，无需依赖随机扩散或概率反向建模，即可确保中间表示仍能与原始输入特征保持可恢复性；最后，我们引入了一种秩-率调节策略，通过限制对数值秩的过度层间衰减，既能延缓表示的过早坍缩，又支持任务驱动的压缩。此外，我们还通过理论分析和实证实验验证了所提方法的有效性、鲁棒性和 scalability。

片段摘录：图神经网络中的过度平滑问题。过度平滑是构建深度图神经网络时的核心挑战之一。它指的是随着传播层数量的增加，节点表示变得越来越相似，从而导致类别区分度降低，最终影响下游任务的性能（Li等人，2018；Nt和Maehara，2019）。对于许多消息传递型GNN而言，若忽略非线性激活函数和可学习变换，其传播过程可近似表示为Hk+1≈S?Hk，其中S?为...

初步概念：首先介绍一些基本概念。在本文中，A、X、Lg等粗体大写字母表示矩阵，而Ltask等手写风格符号则表示损失函数。本文区分了两种表示空间：原始输入特征矩阵记为X∈RN×F，传播深度为t时的隐藏表示记为Ht∈RN×d。对于RDC模块，每个隐藏表示会被投影回输入特征空间，从而形成...

方法论：本节介绍了针对深度图神经网络的表示轨迹控制框架。我们首先定义了SRD的前向演化路径，随后介绍了RDC和RRC这两种互补的轨迹级约束机制，分别用于实现输入空间可追溯性和秩-率调节。按照初步概念中定义的符号，设G=(V,E)为一个包含N个节点的无向图，节点特征矩阵为X∈RN×F，标签矩阵为Y，归一化传播运算符为S?，其余参数也按相应规则定义...

实验部分：本节系统地评估了所提模型在节点分类任务上的表现。主要评估使用了八个常用的基准数据集，另外还进行了大规模独立评估。比较对象涵盖了来自消息传递、残差/跳过传播、归一化、异质性建模以及自适应感受野建模等领域的代表性图神经网络方法。此外，还通过消融实验和诊断分析来探讨各组件的作用...

结论：本文从表示轨迹控制的角度研究了深度GNN的退化问题。通过结合稳定的前向演化、确定性的可追溯性调节以及秩-率控制，所提框架旨在缓解深度传播过程中的不稳定性、输入信息丢失以及子空间过早退化问题。在多个基准数据集上的实验结果表明，该框架具有出色的性能和更高的稳定性。这些结果表明，有效的深度GNN设计应...

图表与算法说明：图1和算法1见文末。

作者贡献声明：Jiajun Lin负责写作——审阅与编辑、写作——初稿、方法论、形式分析、数据整理、概念设计；Yuxin Tian负责软件工具、写作——审阅与编辑、可视化工作；Li Feng负责监督、软件工具、资源协调、项目管理、研究实施及资金获取；Shanglian Peng负责可视化、验证、监督、项目管理及数据整理；Wen Zhang负责写作——审阅与编辑、写作——初稿及研究工作。

利益冲突声明：作者声明不存在任何可能影响本文研究的已知财务利益或个人关系。

致谢：作者衷心感谢中国国家社会科学基金（项目编号24XTQ005）、四川省科学技术厅重点研发计划（项目编号2023YFG0144）以及四川省区域创新合作计划（项目编号2024YFHZ0086）提供的财政支持。

Jiajun Lin|Yuxin Tian|Li Feng|Shanglian Peng|Wen Zhang