MASIG：面向结构不均衡图的多视角增强图表示学习

《Expert Systems with Applications》：MASIG: Multi-view Augmentation for Graph Representation Learning on Structurally Imbalanced Graphs

　　

MASIG从连通分量和节点度数的角度设计图增强。MASIG采用原型对比学习来最大化跨视图的相似性。MASIG在多个基准数据集上超越了现有最优方法。

引言

图神经网络已成为重要的研究领域，并在图表示学习方面推动了大量进展，尤其是在Kipf和Welling开创性的图卷积网络之后。GNN通过消息传递机制获得节点表示，递归地收集相邻节点的信息。其核心任务是通过对图进行表示学习，生成有效的节点、边或整个图的特征表示，从而支持多种下游任务，包括节点分类、链接预测和图分类。

然而，现实世界中的图通常表现出结构不平衡的特性，这给消息传递的有效性带来了挑战。因此，具有不同结构特征的节点可能接收到不同数量或质量的邻居信息，导致表示质量和预测性能出现显著差异。特别是，这些问题主要体现在高度倾斜的连通性和节点度数分布上。

图的连通性结构通常表现出高度不均匀的分布。这一固有特性对图表示学习构成了重大挑战，尤其是对于那些依赖消息传递机制的GNN而言。具体而言，最大连通分量通常包含图中大部分的顶点和边。与此同时，剩余的连通分量通常仅由少数节点或孤立的单个节点（即游离节点）组成。图1（左）展示了Cora数据集的详细信息，该数据集包含一个由2,485个节点组成的最大连通分量和223个游离节点。

消息传递允许每个节点迭代地聚合来自邻居的信息。然而，由于游离节点与最大连通分量之间缺乏路径，模型在游离节点上的表现较差。图1（右）展示了GCN模型在四个基准数据集上的节点分类结果。该模型在最大连通分量内的节点上表现出强大的性能，但在游离节点上的表现较差。例如，对于Cora数据集，模型在最大连通分量内节点上的准确率为81.97%，而在游离节点上的准确率降至仅61.56%。这些结果提供了明确的定量证据，表明断连的图结构限制了有效的信息传播，从而降低了游离节点的表示质量，并导致性能下降。

另一种结构不平衡是由节点度数的长尾分布引起的。在现实世界的图中，节点度数通常表现出长尾分布，这意味着大量节点为低度节点，而少数节点为高度节点，如图2（左）所示。由于GNN依赖消息传递来迭代聚合来自邻居节点的信息，度数不平衡会直接影响所学节点表示的质量。低度节点由于邻居数量较少，在消息传递过程中只能获取有限的结构和特征信息。相比之下，高度节点会从更大的邻域中聚合信息，这可能最初提供更丰富的上下文信号并改善表示质量。然而，过大的邻域也会带来显著挑战。具体而言，由于来自更大感受野的信息被更快速、更广泛地混合，高度节点的表示往往在更早阶段趋于同质化。这种加速的特征同质化降低了节点的区分能力，并对下游分类性能产生负面影响。这种度数不平衡最终会损害模型的整体性能。我们的实验评估证实了这一现象，如图2（右）所示。Cora数据集上的结果表明，GCN模型在高度节点上的表现明显优于低度节点。同时，当度数过大时，在极高度节点上的性能会下降。

当前关于结构不平衡的研究主要关注节点度数。例如，一种常见方法是通过扰动边来生成新的图结构并创建增强视图。然而，这种以度数为中心的方法很大程度上忽略了图的全局拓扑结构。一个位于大型密集连通分量中的低度节点，与位于小型稀疏或甚至孤立分量中的节点相比，在信息传播和特征聚合方面面临不同的挑战。因此，一种更稳健的结构不平衡应对算法必须同时考虑节点度数和全局连通环境。

因此，本文提出了一种名为MASIG的框架，从连通分量和节点度数两个方面进行改进。该框架的创新之处在于引入了基于多视图视角的对比原型对齐损失函数。该损失函数通过强制多个增强视图之间图表示的一致性来构建监督信号，从而引导模型从更广泛的上下文中提取特征。

本工作的主要贡献如下：
- 我们从连通分量和节点度数的角度执行图增强。
- 我们在图上采用原型对比学习范式来解决结构不平衡问题。
- 在四个真实世界数据集上的实验结果证实，MASIG的准确率高于所有其他基线方法。

小节摘要

图神经网络：GNN被设计用于处理图结构数据。它们通过图表示学习生成有效的节点特征，从而支持多种下游任务。

在GNN的发展过程中，提出了几种具有代表性的架构。GCN为图数据提供了一个可扩展的半监督学习解决方案，通过应用卷积操作来逐步抽象和

问题定义

符号说明：考虑图??=(??,?,??)，包含|??|=??个节点和特征维度d，其中??∈???×??。二值邻接矩阵A∈{0, 1}?×?中，????=1表示节点vi和vj之间存在边。对于节点分类任务，Y∈{0, 1}?×?存储k类独热标签。我们使用归一化的邻接矩阵???=???1/2?????1/2，其中????=∑?????。节点v的邻居集合为??(v)。

半监督节点分类：我们的方法聚焦于半监督分类。在此设置中，模型在一小部分具有已知标签的节点子集???????上进行训练。

方法论

本节详细介绍我们提出的框架MASIG，该框架旨在缓解连通分量和节点度数中存在的长尾分布所带来的挑战。MASIG主要由三部分组成，即信息传播、图增强和多视图原型对比学习。该模型的关键点是创建多个增强视图，并引入对比原型对齐损失，利用跨视图表示的一致性。

实验

我们通过一系列评估验证了模型的有效性。首先，我们介绍实验中的数据集和参数设置。然后，我们将我们的模型与各种最先进的方法进行比较。最后，通过消融实验对不同组件和超参数的贡献进行了深入分析。

结论

我们解决了GNN中普遍存在的结构不平衡挑战，包括连通分量和节点度数的不平衡。具体而言，我们设计了MASIG，一种新的图对比学习方案，利用多视图增强。我们的方法将连通分量增强和度数增强与原型对比对齐算法相结合，以学习鲁棒且无偏的节点表示。在四个真实世界基准数据集上的系统评估证实了该方法的有效性。

未引用浮动元素：图4，算法1

CRediT作者贡献声明：
- Bingqian Xue：方法论、软件、原始撰写、可视化、调查研究、验证、形式分析
- Mingxia Zhao：数据整理、调查研究
- Suiyuan Zhang：调查研究、验证
- Bairui Jing：验证、可视化
- Adele Lu Jia：指导、概念化、审阅与编辑

利益冲突声明：作者声明不存在可能影响本文所述工作的已知竞争性经济利益或个人关系。

Bingqian Xue | Mingxia Zhao | Suiyuan Zhang | Bairui Jing | Adele Lu Jia