异构图神经网络统一梯度正则化方法Grug：提升稳定性与多样性的理论突破

本综述提出了一种名为Grug的创新梯度正则化方法，通过迭代约束节点类型和消息矩阵的梯度，有效解决异构图神经网络（HGNNs）中的过平滑（over-smoothing）和非鲁棒性（non-robustness）问题。该方法首次将丢弃消息（drop-message）概念融入HGNNs消息传递机制，在稳定训练过程、增强异构信息利用方面超越DropMessage等现有方法的理论上限，为不同数据与任务场景下的梯度正则化提供了统一框架与理论指导。

　　

Message-passing process

大多数现有HGNN模型采用消息传递框架，其中每个节点根据其关系向邻居发送和接收消息。我们将异构图表示为HG(V,E,R)，其中节点v∈V具有初始特征f_v，边(u,v)∈E具有特征e_uv，关系(u,v)∈R具有特征r_uv。在传播过程中，HGNNs学习每个节点v∈V的表征向量h_v^(k)，该过程可表述为：

h_v^(k) = COMBINE^(k)(h_v^(k-1), AGG^(k)(h_v^(k-1)))

Our Approach

本节提出新型方法Grug，适用于各类消息传递型HGNNs。首先详细解析Grug机制，随后证明包括随机丢弃（random dropping）和对抗扰动（adversarial perturbations）在内的常见梯度正则化方法均可被统一至本框架，并提供其有效性的理论证据。

Unifying gradient regularization methods

我们展示现有梯度正则化技术（如Dropout、DropEdge、DropNode、DropMessage和FLAG）均可被概念化为特定矩阵的范数正则化过程。关键发现表明：这些方法本质上是Grug框架的特殊案例，其区别仅在于正则化矩阵的选择策略。

Experimental Setup

我们在六个真实世界数据集上针对节点分类和链接预测任务开展实验，主要评估Grug相对于现有HGNN梯度正则化方法的性能。实验重点回答三个核心问题：1）Grug性能对比结果如何？2）Grug是否能增强模型鲁棒性？

Conclusion

本文提出面向HGNNs的统一高效梯度正则化方法Grug。我们首先通过同时对节点特征和消息矩阵梯度执行正则化，将现有方法统一至本框架。由于Grug精准作用于消息矩阵，其作为现有方法的泛化版本展现出更广泛的适用性。进一步的理论分析揭示了其在稳定性与多样性方面的优越性。