利用门控架构增强非归一化图中的长程依赖学习

《Knowledge-Based Systems》：Leveraging gated architectures for enhanced long-range dependency learning in non-attributed graphs

　　

•我们提出了门控图卷积单元（GGCUs），用于处理无属性图。•门控机制能够成功捕捉图的长程依赖关系。•我们采用改进的激活函数和残差连接来对抗过度平滑问题。•我们在节点分类和链接预测任务中展现了卓越的性能。•即使在缺乏原始节点特征的实用场景中，我们也能实现高精度。

引言

图神经网络（GNNs）在建立图结构数据表征方面取得了成功。图卷积网络（GCNs）通过消息传递机制聚合邻居节点的特征，并在多个典型图相关任务中取得了优异的性能[1]、[2]、[3]。它们被广泛应用于各种处理图结构数据的领域，如社交网络[4]、[5]、引文网络[6]、[7]、[8]以及分子生物学分析[9]、[10]。

尽管具有这些优势，GNNs在应用于真实世界数据集时仍存在一些显著问题。它们通常假设节点特征是完全可观测的，而这在实际中很难实现[11]、[12]。例如，由于隐私问题，社交网络上的用户信息无法被收集。在引文网络中，节点特征（通常是论文内容）可能因版权保护而无法获取。此外，由于过度平滑问题，GNNs对层数深度有限制。因此，它们只能聚合局部邻居节点特征，难以捕捉图的整体结构。这进而导致浅层GNNs在学习长程依赖方面表现不佳[13]、[14]。

为解决节点特征缺失的问题，研究者提出了多种方法，包括基于结构的方法[15]、[16]、[17]和基于学习的方法[18]、[19]、[20]，用于初始化节点特征。在基于结构的方法中，节点中心度和独热向量被用来初始化节点特征[15]、[17]、[21]。在基于学习的方法中，以无监督方式学习的向量，如DeepWalk[18]或Node2Vec[19]，被用于填充缺失的节点特征。然而，这些表征方法几乎不考虑图的全局结构，凸显了在此背景下研究GNN架构的重要性。尽管如此，目前仍缺乏针对无节点特征图结构数据的GNN架构研究。

为考察学习长程依赖的问题，门控机制的概念已被广泛应用于序列建模[22]、[23]。门控机制控制传递到下一层的信息量。相应地，研究者探索了与门控集成的GNN变体来解决这些问题。一些学者尝试将门控循环单元（GRUs）融合到GNNs中[24]、[25]。然而，他们仅将两个模块简单拼接而未做进一步修改，且处理的是时变图结构数据。因此，缺乏针对静态图GNNs的专门门控机制的研究。因此，探索适合GNN训练的不同门控架构至关重要。

在本研究中，我们提出了门控图卷积单元（GGCUs）。我们采用门控机制来解决上述问题。不同于依赖被动残差缩放或静态初始表征传播来延迟表征坍缩的传统深层GNN架构，我们认为在无属性环境下缓解过度平滑需要一种主动的、由拓扑驱动的调节机制。为此，我们提出了一种从特征级压缩到拓扑级缩放的架构转变。通过将非收缩门控动力学与逐层结构蒸馏相结合，我们建立了一种新范式，其中深层网络传播主动校准结构依赖关系，而非仅仅对邻居属性进行平均。这些固有特性使GGCUs在捕捉全面图结构和提取有意义嵌入方面具有高度价值，即使在节点特征缺失的情况下也是如此。此外，当与合成节点特征（如独热向量或DeepWalk）结合使用时，GGCUs的表达能力可以进一步增强。

我们可视化了GCNs和GGCUs所学表征之间的差异。我们还通过典型图导向任务（包括节点分类和链接预测任务）展示了GGCUs及其组件的能力。此外，我们提出了GGCUs的扩展版本，展示了其在多种深度学习框架中的通用性。总之，我们的贡献如下：

•我们解决了GNNs在处理真实世界图结构数据时常见的关键问题，具体包括节点特征缺失和学习长程依赖的问题。•我们提出了一种带门控的新型GNN架构，称为门控图卷积单元（GGCUs），其中包含基于tanh的门控机制和残差连接，用于动态控制信息流并有效捕捉长程依赖关系。•我们引入了GGCUs的扩展版本，采用类Transformer编码器架构，展示了门控机制在更广泛的深度学习框架中的通用性和鲁棒性。我们通过涉及图结构数据的代表性任务实验验证了其有效性。•实验结果表明，GGCUs在捕捉图结构方面具有卓越能力，在没有节点特征的情况下，在CiteSeer数据集上链接预测准确率达到81.96%。

我们的研究强调了门控机制在提升GNNs性能方面的重要性，为解决图结构数据分析中的现实挑战提供了一种独特方案。

章节摘要

合成节点特征

引入多种合成节点特征来替代缺失的节点特征。合成特征通常可分为基于结构和基于学习的方法[26]。在基于结构的方法中，使用归一化邻接矩阵的前k个特征向量作为节点特征[21]。[15]提出了一种基于度的方法，以每个节点的度来初始化节点特征。在随机方法中，节点特征由随机向量初始化生成

符号说明

令G=(V,E)表示一个无向图，其中V={v?,…,v?}表示n个节点的集合，E为节点之间边的集合。节点包含d维特征向量，表示为X∈R???。边可以用邻接矩阵A∈R???表示，其中若节点v?和v?之间存在边则A??=1，否则为0。标签Y_N={y?^N,…,y?^N}表示节点分类任务中每个节点的类别，Y_L={y??^L,…,y??^L}表示链接预测任务中边的存在性。

门控图卷积单元

我们用一个简单的例子来说明动机。然后，我们介绍门控图卷积单元（GGCUs）架构，并详细描述GGCUs如何控制信息以生成图表征。我们构建了GGCUs的扩展版本，以展示其在深度学习框架中的通用性。

实验

我们使用合成图和引文网络可视化了多种GNNs所学节点表征的相关性。此外，我们在若干基准数据集上（不含节点特征）进行了节点分类和链接预测实验，证明了GGCUs的有效性。我们进行了两类消融研究，以确认GGCUs每个组件的贡献，并根据主要超参数分析性能趋势。此外，我们

讨论

大语言模型（LLMs）的演进为图学习引入了变革性范式，主要分为LLMs作为增强器和LLMs作为预测器[43]。在前一种范式中，LLMs通过将原始文本信息与拓扑描述作为提示结合，用于细化文本属性图（TAGs）中的节点属性[44]、[45]。这种方法利用LLMs中嵌入的广泛先验知识来生成更优的语义嵌入，从而

结论

GNNs在处理图结构数据方面已被证明有效，并在多个领域找到了应用。然而，在将GNNs部署到真实世界图结构数据时，仍存在若干显著挑战。GNNs通常基于节点特征完整且丰富的假设进行设计，而这一条件在真实世界数据集中往往不满足。此外，虽然GNNs擅长从邻近节点收集信息，但它们遇到

作者贡献声明

Juyeob Lee：撰写——初稿，软件，调查研究，形式分析，数据管理，概念化。Donggeun Lee：撰写——初稿，资源，概念化。Chaehee An：撰写——初稿，验证，软件，数据管理，概念化。Eunil Park：撰写——审阅与编辑，验证，监督，软件，资源，项目管理，经费获取，概念化。

生成式AI及AI辅助技术在写作过程中的声明

作者在写作过程中未使用任何生成式AI或AI辅助技术。

利益冲突声明

作者声明不存在已知的可能影响本文所报告工作的竞争性经济利益或个人关系。

致谢

本工作由韩国国家研究基金会（NRF）资助（韩国政府MSIT和MOE拨款）（RS-2026-25501632）。本工作还获得了信息与通信科技规划与评估院（IITP）资助（韩国政府MSIT拨款）（No. RS-2026-25616928，AI Star奖学金支持计划（蔚山科学技术院，校际）；No. RS-2024-00436936，ITRC（信息技术

Juyeob Lee | Donggeun Lee | Chaehee An | Eunil Park