带有隐层的误差传播驱动图神经网络

《Pattern Recognition》：Error propagation-driven graph neural network with implicit layers

　　

•分析系统稳定性与扰动传播动力学
•提出基于非齐次常微分方程的受限隐式图神经网络
•提供关于稳定性和鲁棒性边界的理论保证

## 引言

图神经网络（GNNs）凭借其有效处理模式识别领域非独立同分布（non-IID）结构化数据的能力，在众多领域受到了广泛关注，例如计算机视觉 [1]、表示学习 [2], [3] 以及链接预测 [4]。其核心的消息传递机制——节点表示通过聚合邻居信息迭代更新——在处理涉及关系和拓扑结构的任务中已被证明非常有效 [5]。为了进一步捕获图数据中的长距离依赖并减少参数消耗，Wu 等人 [6] 受到深度平衡模型 [7] 和权重绑定网络 [8] 的启发，提出了一种隐式图神经网络（IGNN），该模型具有恒定的参数消耗和"无限"层数。具体而言，IGNN 在执行前向传播时采用不动点迭代过程，使得我们只需存储一层的网络参数。然而，随着传播深度的增加，在输入端引入的特征扰动可能会在整个网络中累积并传播，导致表示质量退化 [9]。

近期研究通常从连续时间动力系统汲取灵感，并采用常微分方程（ODEs）来分析图神经网络的稳定性 [10], [11]。虽然这种基于 ODE 的框架为理解特征传播提供了一种系统化工具，但直接将其应用于隐式图模型可能会引入额外问题。一方面，现有的隐式图模型缺乏对特征扰动的系统研究。由于迭代传播机制，在输入端引入的扰动会在整个网络中累积并放大，尤其在具有有效无限深度的隐式架构中。另一方面，大多数现有的基于 ODE 的图模型依赖于无约束的齐次微分方程。尽管这些公式能确保某些稳定性属性，但它们可能在扩散过程演进时将系统推向退化解 [12]。这是因为齐次动力学在收敛条件下倾向于将系统推向平凡平衡点（例如零状态）。对于隐式模型而言，这个问题尤为关键，因为它们的不动点迭代显式地强制收敛。结果，迭代过程不仅抑制了传播的错误，还将学习到的表示推向相同的平凡平衡点，导致退化的、无信息量的解（见图 1）。

为了克服上述局限性，我们提出了一种受动态系统中误差传播启发的鲁棒隐式图神经网络，称为 EPD-IGNN。首先，我们分析了流形上标准动力系统的稳定性条件。具体而言，我们观察到当扩散算子为正定且扩散过程的时间 t 趋于无穷时，该系统是稳定的。在这些稳定性条件下，初始特征扰动的负面影响将随着特征传播的进行而逐渐减弱。进一步地，我们提出了一种灵活的动态系统，并受到谱图理论的启发构建了相应的非齐次常微分方程，以改善该系统的可扩展性和解的稳定性，同时防止齐次公式中常见的平凡平衡问题。通过进一步求解和分析该常微分方程，我们推导出了不动点迭代方程并构建了一种新型隐式图神经网络。我们观察到，对隐式层和扩散算子中的网络权重施加约束可以确保模型的稳定性，同时也保证了所提出的不动点迭代方程的收敛性。总之，本文的贡献可总结如下：

- 我们分析了流形上标准动力系统的稳定性，并明确了特征扰动下系统稳定的条件。随后我们提出了一种灵活的动态系统，并进一步详细讨论了其稳定性条件。
- 我们通过应用数值求解方法分析所提出的非齐次常微分方程，从底层的灵活动态系统中推导出一个鲁棒且可解释的隐式层。然后我们提取该层并构建隐式图模型以抵御特征扰动。
- 我们在多个基准数据集上进行了半监督节点分类和抵御特征扰动实验。所提出的模型在标准分类和防御攻击任务中均取得了良好性能，证明了其优越性。

## 隐式图神经网络

图神经网络（GNNs）由于其高效处理图结构化数据的能力，已在众多领域得到广泛应用。Kip 等人 [13] 从切比雪夫多项式的一阶截断出发提出了图卷积网络（GCN）。受到深度平衡模型和权重绑定网络的启发 [14], [15]，Gu 等人 [6] 提出了隐式图神经网络（IGNN）以捕获图结构化数据中的长距离依赖。由于通过特殊的...

## 初步

在本节中，我们首先介绍一些符号和关于所提出模型的预备知识。首先，考虑流形上具有初始状态的标准动态系统 [10]，它可以表述为如下常微分方程：

$$\frac{dZ}{dt} = -g(L) \cdot Z(t), \quad \text{s.t.} \quad t > t_0, \quad Z(t_0) = X$$

其中 $g(L) \in \mathbb{R}^{n \times n}$ 是关于拉普拉斯矩阵 $L$ 的矩阵。动态系统在 $t_0$ 时刻的状态表示为 $X \in \mathbb{R}^{n \times d}$。这里，$n$ 和 $d$ 分别表示节点数量和特征维度。

## 稳定性分析

在第 3 节中，我们讨论了流形上的动态系统并推导了一个解耦图神经网络。然而，正如我们在第 1 节中提到的，深层图网络在许多场景中是不稳定的，并且容易受到扰动的影响。因此，分析该网络的稳定性条件是必要的。在本节中，我们从所推导网络的源头（即常微分方程，即公式 (1)）进行稳定性分析。

回到...的开头

## 所提出的方法

受上述分析的启发，需要考虑两个挑战：(1) 如何构建一个更灵活的动态系统以获得更好的表达力并确保其稳定性。(2) 如何构建一个具有无限层（即 $t \to \infty$）的深层网络，使其能够收敛到有意义的解。我们将在以下小节中详细讨论这些问题。

## 实验

在本节中，我们将所提出的 EPD-IGNN 与几种最先进的图神经网络进行比较，以实证验证所提出方法的有效性。此外，我们还对模型进行了收敛性和误差传播分析。具体而言，我们通过实验回答了以下几个关键问题：

- Q1：所提出的 EPD-IGNN 在节点分类任务（即无特征扰动）上的表现如何？
- Q2：所提出的 EPD-IGNN...

## 结论

在本文中，我们提出了一种受非齐次常微分方程中误差传播启发的鲁棒隐式图神经网络，称为 EPD-IGNN，用于抵御特征扰动。具体而言，首先我们分析了流形上标准动态扩散系统的稳定性并明确了稳定性条件。然后，我们发现了所提出的灵活动态扩散系统中隐藏的内在层并构建了隐式图模型。我们已证明...

## CRediT 作者贡献声明

Yueyang Pi：初稿撰写、方法论、调查研究。Yuhong Chen：审阅与编辑、数据管理。Wei Huang：审阅与编辑、形式分析。Renjie Lin：审阅与编辑。Shiping Wang：监督、资源、资金获取。

## 利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能影响本文所报告的工作。

## 致谢

本研究部分得到国家自然科学基金（批准号 U25A20527 和 62276065）以及福建省自然科学基金（批准号 2024J01510026）的支持。

Yueyang Pi | Yuhong Chen | Wei Huang | Renjie Lin | Shiping Wang