用于深度图神经网络的扩散感知协同学习框架

《Neural Networks》：A Diffusion-Perception Co-learning Framework for Deep Graph Neural Networks

　　摘要：深度图神经网络的发展受到消息传递过程中两个核心问题的阻碍：过度平滑与过度压缩。现有的图表示学习方法通常分别处理这些问题，采用同质化聚合策略，忽视了节点在信息交互中的角色差异，这使得在减少冗余的同时保留关键信号变得困难。为解决这些局限，我们提出了一种名为DPCoL的新的扩散-感知协同学习框架，该框架能够自适应地模拟节点的不同角色，从而优化深度图神经网络中的消息传递过程。DPCoL采用了两阶段消息传递机制：第一阶段为扩散阶段，每个节点根据特征的可区分性动态调整信息传播强度；第二阶段为感知阶段，每个节点从聚合后的消息中筛选出与任务相关的信息。这种协同学习机制能够在避免特征过度混合的同时保留有意义的信号，确保无需依赖先验假设即可实现有效的远距离消息传递。与那些依赖超参数调整或显式平滑控制的现有方法不同，DPCoL通过可学习的扩散控制器和消息感知器实现自适应交互，且不会带来额外的计算开销。理论分析证明了DPCoL在解决上述问题时的收敛性和表达能力。在包括同质图、异质图以及具有长距离依赖关系的图在内的13个基准数据集上的实验表明，该模型具备出色的稳健性及更优的性能，在大多数场景下都能达到最先进水平。

引言：图神经网络在诸多现实应用领域展现出巨大潜力，如社交网络、推荐系统以及药物发现等。例如，有研究利用图结构来分析用户偏好，通过知识图谱显著提升了推荐系统的性能。此外，将图神经网络与先进的生成模型相结合，还实现了基于大语言模型的少样本知识图谱补全等突破性成果。不过，目前的图神经网络大多采用较浅的架构，这限制了它们捕捉节点间长距离依赖关系的能力，尤其在相邻节点具有不同标签的异质图中这一问题更为突出。受深度卷积神经网络在计算机视觉领域成功应用的启发，有研究试图通过构建更深层次的图神经网络结构来提升模型的表达能力，但更深的网络往往会出现性能急剧下降的情况，其主要原因就是过度平滑与过度压缩问题。过度平滑是指迭代消息传递导致特征过度混合，使得节点表示变得难以区分；而过度压缩则是指来自远处节点的大量信息被瓶颈边“压缩”为固定大小的表示，从而削弱了长距离消息传递的能力。

为解决过度平滑问题，现有方法多通过在特征空间中明确分离节点嵌入来增强表示的独特性，常见的策略包括优化平滑度指标以及通过对特征方差进行归一化处理来提高特征的区分度。此外，还有研究借鉴计算机视觉领域的残差连接思想，通过优化狄利克雷能量或调整超参数来实现类似效果。最近还有研究尝试采用先进的聚合机制来解决这一难题，比如GCAN通过高阶注意力机制和对抗性正则化来捕捉具有区分度的特征差异，丰富上下文表示，但这些方法主要侧重于对节点嵌入的数值优化，而非提升模型的整体表达能力。即便解决了过度平滑问题，这类方法在利用更深层次网络架构方面的效果仍有限。而且，大多数现有方法都采用全局固定的优化策略，无法充分考虑节点的不同语义角色——在深度图神经网络中，有些节点会保留全局特征并主动向其他节点传递影响，而有些节点则因结构上的差异而充当被动节点，容易受到其他节点的影响。统一的平滑控制策略无法体现这种差异性，从而导致消息传递效果不佳。因此，一种能够根据节点角色进行自适应调整的机制对于实现高效的消息传递至关重要。

为缓解过度压缩问题，早期的研究多着眼于通过图重连技术来优化图结构。基于图变换器的方法通过全局注意力机制提升了长距离依赖关系的建模能力，但其高昂的计算成本限制了其在大规模图上的应用。为此，有研究者提出用Mamba替代变换器，该模型具有选择性机制，能够提升长距离交互效率。不过，这些方法通常只关注外部模块，而非优化图神经网络本身的消息传递机制。统一的消息传递策略无法考虑节点的结构角色，从而导致信息传播冗余以及噪声积累。因此，一种能够根据节点角色进行自适应调整的机制对于动态筛选与任务相关的信息、消除冗余至关重要。

现有的研究通常分别处理过度平滑与过度压缩问题，而要提升深度图神经网络的性能，就需要同时解决这两个问题，这就需要一种能够同时应对这两类问题的统一方法。现有方法在消息传递过程中忽视了节点的不同角色，导致它们难以在丢弃无关信息的同时保留关键信号，因此往往难以同时有效解决这两个问题。相比之下，从节点角色出发的视角则为同时解决过度平滑与过度压缩问题提供了可行的方案。为了验证这一思路，我们进行了小规模实验，探讨不同的信息传播模式对模型性能的影响。实验结果表明，以ResGCN为骨干网络，并结合基于节点标签的机制来调控信息流，能够在Chameleon异质图数据集和CiteSeer同质图数据集上显著提升分类精度。这说明消息传递不应采用一刀切的策略，因为节点在信息传播过程中扮演着不同的角色。不过，基于节点标签的机制也存在一个关键缺陷：它依赖于标签信息，而在推理过程中验证集和测试集的节点并不具备这些标签信息。因此，从图结构本身自适应地学习信息传播模式，是一种更为灵活且更具通用性的替代方案。

基于以上分析，我们提出了扩散-感知协同学习（DPCoL）框架，这是一种高效且有效的解决方案，旨在同时解决深度图神经网络中的过度平滑与过度压缩问题。该框架采用基于节点角色的自适应机制，将消息传递过程分为两个阶段：扩散阶段和感知阶段，使节点行为分别表现为协作式的扩散与感知过程。在扩散阶段，每个节点会根据特征的可区分性调整自己的信息传播强度，从而使消息能够根据邻居的需求进行相应调整；在感知阶段，每个节点则从聚合后的消息中筛选出与任务相关的信息，以此提升自身的表示能力。与那些依赖超参数调整或显式平滑控制的现有方法不同，DPCoL无需额外计算开销即可实现自适应交互。理论分析证实了该框架在解决过度平滑与过度压缩问题时的收敛性和表达能力。在包括GCN、GAT以及GraphSAGE在内的多种标准图神经网络架构上的实验也证明了DPCoL的优异性能。总体而言，本工作的贡献如下：首先，我们提出了DPCoL这一高效框架，用于优化图神经网络中的消息传递过程。与那些通过数值方式调整平滑度指标的方法不同，DPCOLO能够自适应地模拟节点的角色特性，从而保持表示的独特性并解决过度平滑问题；同时，它还能过滤聚合后的信息，保留与任务相关的信号，减少冗余，进而缓解过度压缩问题。其次，DPCOL提出了一种新颖的两阶段消息传递机制，将节点行为分为扩散与感知两个过程，其中感知过程将传统的聚合与更新操作整合在同一个框架之中。这一通用机制可作为即插即用的模块，轻松集成到GCN、GAT以及GraphSAGE等标准图神经网络架构中。第三，理论分析验证了DPCOL在解决过度平滑与过度压缩问题时的收敛性和表达能力，其扩散-感知协同学习结构不仅能够保持特征的多样性，还能满足信息瓶颈约束，从而保留与任务相关的信号。最后，通过在包括同质图、异质图以及具有长距离依赖关系的图在内的13个基准数据集上的实验，我们证明了DPCOL的优异性能与强大稳健性，实验结果始终显示，该模型在各种场景下都能优于现有方法，达到最先进水平。

本文的其余部分结构如下：第2节和第3节分别介绍相关研究与基础理论；第4节阐述所提出的DPCOL框架的整体设计及核心理念，第4.4节进行理论分析；第5节通过大量实验验证该方法的有效性与稳健性；最后，第6节对全文进行总结，并指出未来的研究方向。