DG-GCN：一种用于不平衡节点分类的双相似度引导图卷积网络

《Neurocomputing》：DG-GCN: A dual similarity-guided graph convolutional network for imbalanced node classification

　　王妮|李龙杰|孙凌波|王伟军|马志新
中国兰州大学信息科学与工程学院

摘要
图神经网络在节点分类任务中取得了显著成果。然而，现有方法大多假设训练数据中的类别分布是均衡的，这在类别不平衡现象普遍存在的现实应用中限制了其有效性。虽然重采样技术能为平衡训练集提供简单方法，但它们往往引入分布偏差，并且由于过度依赖少量带标签的少数类样本而容易过拟合。此外，这类方法通常未能充分利用大量无标签节点的信息，从而导致性能提升有限。为解决这些问题，我们提出了一种新的双相似性引导图卷积网络（DG-GCN）。该框架首先通过在潜在特征空间中对少数类节点进行插值，并利用特征相似性建模拓扑结构，来构建平衡图。为利用无标签节点，我们使用多层感知器生成软标签。随后，我们引入双相似性引导的邻居选择机制，结合自我邻居分离与高阶邻居聚合，以学习更具区分度的节点表示。在多个基准数据集上的广泛实验表明，DG-GCN在类别不平衡的节点分类任务中始终优于现有最先进方法。

引言
图在现实场景中无处不在，其普及推动了图神经网络的发展，使其成为图结构数据表示学习的强大工具[1][2]。传统GNN通常通过沿边传递和接收信息来实现邻居聚合。由于其出色的性能和灵活性，图卷积网络在节点分类[4][5]、链接预测[6][7]、社区检测[8]以及推荐系统[9][10]等多种应用中表现出极高的有效性。其中，节点分类是指利用图的结构性和属性信息为图中的无标签节点分配标签，是一项重要的研究任务。为完成这一任务，GNN通常依赖于大量类别均衡的带标签节点进行训练。然而，现实世界中的图往往缺乏带标签样本，且类别分布不平衡。因此，我们的研究聚焦于这一在诸多领域都具有重大意义的类别不平衡问题。特别是在社交网络、金融欺诈和医疗领域，少数类节点可能代表特定用户、欺诈交易和罕见疾病病例。这些节点通常包含重要的结构和属性信息，对于推荐系统、异常检测和疾病早期诊断等任务至关重要。在这些实际应用中，如何通过学习有效的节点表示来提升识别少数类节点的能力具有重要的现实意义。

为克服这一难题，最直接的方法是通过增加少数类样本或减少多数类样本来平衡训练集，然后再训练一个无偏见的分类器。例如，SMOTE[11]和Mixup[12]在嵌入空间中合成少数类节点，之后训练边缘预测器为这些合成节点生成边。GraphSMOTE[13]和GraphMixup[14]则将SMOTE和Mixup扩展到图结构上，显著提升了类别不平衡节点分类的性能。为了生成更具区分度的少数类节点，BNE[15]、INS-GNN[16]和NodeMixup[17]不仅在带标签节点中，还在全局范围内对少数类节点进行增强。然而，这些方法仅从少数类样本中合成新节点，因此容易出现过拟合问题。为避免这一问题，一些研究[18][19][20]试图在生成少数类样本时利用多数类信息，从而增加合成节点的多样性。另一种有效的对策是代价敏感学习，它通过在训练过程中给少数类更高的损失权重，促使分类器更加关注少数类，例如Re-weight[21]。不过，由于缺乏关于数据集的先验知识，如何为不同类别分配权重仍然是一个挑战。

尽管上述方法取得了显著成功，但它们仍存在以下四个严重问题之一或多个：

P1：非采样方法[21][22][23]，如损失权重调整和代价敏感学习，由于少数类样本稀缺，在应用于类别不平衡的数据集时表现不佳。虽然这些方法通过加权提高了少数类的权重，但单纯修改权重并不足以有效调整节点间的信息传播和聚合过程[21][24]。尤其是在邻居不平衡的情况下，少数类节点通常被多数类节点包围，因此这些方法无法为少数类节点学习出高质量的表示，进而无法有效提升其分类性能。

P2：现有模型[18][19][20][25]通过基于特征相似性的边缘预测器将合成节点与现有节点相连，这可能导致一个合成少数类节点与众多多数类节点相连。因为在类别不平衡的图中，多数类节点的数量远远超过少数类节点，这使得边缘预测器更倾向于连接多数类节点。现有方法并未意识到这一问题，从而导致错误的连接，使得大量噪声信息被聚合进来。

P3：标准的消息传递机制通过简单的聚合方式传递节点信息。在邻居不平衡的情况下，一个少数类节点可能有多个多数类邻居。这种机制会导致在聚合过程中少数类被多数类“淹没”[5][13][16]。现有方法主要侧重于数据增强，很少考虑调整聚合策略来减轻这种偏差。

P4：现有的聚合或注意力机制在类别不平衡的图中仍然不够完善，因为它们主要依赖于根据节点的特征来估计邻居的重要性[5][26][27]。然而，在邻居不平衡的情况下，少数类节点数量稀少，且常常被众多多数类邻居包围，导致它们的自监督信号较弱。在这种情况下，注意力机制往往会学习出偏向于数量多且特征稳定的多数类节点的权重，从而无法真正突出少数类节点的信息。

为解决上述问题，本研究提出了一种名为DG-GCN的双相似性引导图卷积网络，用于处理类别不平衡的节点分类问题。DG-GCN采用一种新的过采样方法生成平衡图，并结合两种相似性来有针对性地聚合高度相似的邻居。它由少数类增强模块、伪标签模块和消息聚合模块组成。具体而言，我们基于过采样技术设计模型，以缓解因少数类节点稀缺而导致的分类性能不佳问题。为获得可靠的合成节点，我们首先使用GraphSAGE[28]将节点投影到隐藏嵌入空间，然后在嵌入空间中进行插值，得到合成少数类节点。之后，我们利用解码器生成这些合成节点的原始特征。同质性假设认为，属于同一类别的节点在特征空间中更为相似，也更有可能建立连接。因此，我们基于目标节点所在邻域内的特征相似性而非整个图来为合成节点生成边。随后，我们在将生成的合成节点和边添加到初始图之后，对得到的平衡图进行节点分类。为区分不同邻居的重要性，我们以预测的软标签和特征相似性作为权重来聚合邻居。最后，为确保节点本身的独立性并防止过度平滑，本工作中我们引入了自我邻居分离和高阶聚合机制[29]，分别整合目标节点及其邻居的信息，从而便于进行类别不平衡的节点分类。所提出的DG-GCN提升了少数类节点的学习能力，在社交网络中的个性化推荐、金融交易中的欺诈行为检测以及医疗领域中罕见疾病的早期诊断等各种应用中具有显著价值。

与现有方法相比，DG-GCN在相同的类别不平衡场景下表现出更优异的性能。DG-GCN的核心创新在于双相似性引导机制，该机制结合了特征相似性和软标签相似性来指导聚合过程，从而大大提升了节点表示的质量。这一机制有效缓解了由于少数类样本稀缺而导致传统生成方法性能不佳的问题。此外，DG-GCN摒弃了传统上使用边缘预测器为合成节点全局生成边的方法，而是从两个源节点及其一跳邻居中选择高度相似的节点作为合成节点的邻居。这一创新有效减少了噪声信息的传播，从而提升了节点表示的质量并促进了有效信息的传播。不过，DG-GCN也存在一定的局限性。虽然其双相似性引导机制显著提升了模型性能，但也增加了计算复杂度，这可能会导致训练时间变长，尤其是在处理大规模图数据时。我们工作的主要贡献总结如下：
• 我们提出了专门设计的GNN模型DG-GCN，用于解决类别不平衡的节点分类问题。其核心创新在于双相似性引导机制，该机制同时利用特征相似性和软标签相似性来指导邻居聚合。
• 我们将数据增强与卷积操作相结合，以解决类别不平衡问题，并进一步设计了基于局部相似性约束的边生成策略。
• 我们在四个真实世界数据集上对所提出的DG-GCN进行了评估，与其众多的现有最先进基线方法进行了比较。实验结果表明，DG-GCN在大多数数据集上都优于这些方法，证明了其在少数类信号本身较弱的类别不平衡场景中的有效性。

本文的其余结构如下：第2节讨论该领域的相关工作。第3节介绍符号说明及一些必要的预备知识。第4节详细阐述所提出的DG-GCN。第5节报告并分析在多个数据集上进行的实验结果。最后，第6节对本文工作进行总结。马志新：监督管理、项目实施、资金筹措、正式分析。利益冲突声明作者声明不存在任何可能影响本文所述工作的已知财务利益或个人关系。致谢本研究部分得到了甘肃省科技计划（编号26YFGA045和23YFGA0005）以及兰州大学超级计算中心的支持。王妮出生于2001年，目前在中国兰州的兰州大学攻读计算机科学硕士学位，她的研究兴趣包括数据挖掘和图神经网络。