DSA-GNN:通过度抑制和注意力机制优化图结构中的长尾现象

《Pattern Recognition》:DSA-GNN: Optimizing Long-Tail in Graph Structures via Degree Suppression with Attention

【字体: 大 中 小 】 时间:2026年04月08日 来源:Pattern Recognition 7.6

编辑推荐:

  提出DSA-GNN通过 Degree Suppression with Attention机制抑制高阶节点主导的长尾现象,并融合奇偶跳邻居信息,理论证明其通过有限方差特征空间和最小化谱回归损失提升模型泛化能力,实验在多种异构图数据集上达到新SOTA性能。

  
关伟黄|段瑞|关青晓|田灿|陈思远|张文生
中国广州大学计算机科学与网络工程学院

摘要

基于多项式的谱图神经网络(GNNs)通过有效近似图滤波器,在图处理方面取得了优异的性能。然而,仍存在两个需要解决的问题:高度节点的主导现象会导致在邻居聚合过程中低度节点的信息被削弱,这被称为长尾现象。一些基于多项式的谱图GNN为了更好地处理异质图而忽略了奇数跳数的邻居,从而导致奇数跳数邻居信息的丢失,限制了模型充分利用完整图结构的能力。为了解决这些问题,我们提出了DSA-GNN,这是一种新的谱图神经网络,它通过“注意力度抑制”(DSA)机制来优化图结构中的长尾现象。DSA-GNN设计了“度抑制与注意力”(DSA)机制,以抑制高度节点,从而从低度节点获取更多信息,并融合奇数跳数和偶数跳数的邻居信息。理论证明,DSA不仅通过保持特征空间的有限方差来缓解长尾现象,还通过最小化谱回归损失来保证模型的优越泛化能力。实验表明,DSA-GNN在同类图和异质图上都取得了新的最佳性能。

引言

由于其强大的结构信息捕获能力,GNNs在图表示学习任务中得到了广泛应用[1]、[2]、[3]、[4]。作为GNNs的一个重要分支,谱图GNNs[5]、[6]、[7]使用拉普拉斯特征值的多项式来近似所需的图滤波器,以避免特征分解。这些谱图滤波器可以分为两类:固定滤波器和可学习滤波器。
第一类图滤波器以预定的固定方式进行图卷积。GCNs[8]及其变体[9]、[10]、[11]通过使用一阶切比雪夫多项式来简化ChebNet的图卷积。
第二类图滤波器以可学习的方式进行图卷积。ChebNet[12]使用切比雪夫多项式来近似图卷积,从而理论上可以逼近任何图滤波器。ARMA[13]通过使用自回归移动平均滤波器族实现了高效稳定的滤波器近似。BernNet[14]和GPR-GNN[15]分别使用伯恩斯坦多项式和单项式多项式来近似图卷积。ChebNetII[6]通过切比雪夫插值重新审视了ChebNet,以学习更合理的多项式系数。EvenNet[16]忽略了奇数跳数的邻居,仅使用偶数跳数的邻居进行聚合。PCNet[17]使用泊松-Charlier多项式来近似图滤波器。UniFilter[18]通过结合传统的同类和自适应异质基构建了一个通用的多项式基UniBasis。SGNN-LS[19]通过拉普拉斯稀疏化来近似谱图GNN的传播模式。
尽管基于多项式的谱图神经网络取得了优异的性能,但它们仍然面临两个挑战。首先,一些现有的图结构遵循长尾幂律分布[20],即少数节点的度数非常高,而大量节点的度数非常低。这种分布加剧了高度节点的主导地位,导致模型倾向于学习高度节点的信息,同时削弱了低度节点的信息。其次,一些现有模型在处理异质图时假设直接连接的节点属于不同的类别,并选择忽略奇数跳数的信息,但这一假设在现实世界的图中并不成立。对于一个中心节点,其奇数跳数的邻居也可能包括同一类别的节点,这意味着奇数跳数的邻居包含了对分类有益的关键信息。然而,一些现有方法(如EvenNet[16])仅关注偶数跳数的邻居,从而仅聚合来自这些节点的偶数跳数邻居信息。这些方法虽然在性能上有所提升,但也带来了局限性,因为它们未能利用重要的奇数跳数邻居信息,导致关键信息的丢失。上述讨论提出了两个问题:
问题1:如何有效地融合奇数跳数和偶数跳数邻居的信息?
问题2:如何抑制高度节点的主导地位,并减少高度节点和低度节点在信息聚合之间的差距?
对于第一个问题,我们观察到一些基于谱的GNN仅聚合来自偶数跳数邻居的信息,导致奇数跳数邻居信息的丢失。在异质图中,奇数跳数邻居的信息反映了节点之间的异质性,而在同类图中则相反。然而,由于现实世界的图既不表现出绝对的同类性也不表现出异质性,因此很难确定奇数跳数和偶数跳数信息的融合比例。对于第二个问题,许多现实世界图中的节点度数遵循长尾幂律分布。因此,我们设计了“度抑制与注意力”(DSA)机制来减轻信息聚合过程中极端度数的影响,并调整奇数跳数和偶数跳数信息的贡献比例,从而增强模型对复杂图结构的适应性。具体来说,DSA首先使用对数变换将所有节点的度数从一个较宽的范围映射到一个较小的区间,生成度抑制系数。然后使用这些系数分别调整提取的奇数跳数和偶数跳数信息。最后,DSA根据调整后的信息自适应地计算权重,以融合奇数跳数和偶数跳数信息,使DSA-GNN能够充分利用完整的图结构。
总之,我们提出了DSA,它通过度抑制机制平衡了高度节点和低度节点的影响,并通过注意力机制融合奇数跳数和偶数跳数信息,然后提出了DSA-GNN,如图1所示。本文的贡献可以总结如下:•
我们设计了DSA来减轻邻居聚合过程中高度节点的主导影响,并自适应地融合邻居信息,以充分利用完整的图结构。
  • •
    理论证明,DSA通过保持特征空间的有限方差来缓解长尾现象,并利用谱回归损失(SRL)证明了更低的最小损失,这证实了我们模型的增强泛化能力和鲁棒性。
  • •
    为了验证DSA-GNN的优越性,我们在各种数据集上对其进行了实验,与基线模型进行了比较,结果显示在同类图和异质图上都取得了新的最佳性能。
  • 章节片段

    初步介绍

    符号说明。给定一个图G=(E,V),其中节点集为V,边集为E。用n=|V|表示节点的数量。我们使用xY∈Rn表示G的标签矩阵,C表示类别的数量。我们用X∈Rn表示初始特征矩阵,A?∈?{0, 1}n?×?n表示G的邻接矩阵,D表示度矩阵,其中Dii=∑i=1NAij表示初始特征的维度。L=D?A

    方法论

    在本节中,我们描述了DSA-GNN的方法论,包括动机、DSA-GNN的实现、时间复杂度以及DSA的理论分析。

    实验

    在本节中,我们进行了半监督和全监督节点分类实验、消融研究、注意力机制下的度抑制实验、超参数分析、可视化实验以及时间效率分析,以评估DSA-GNN的性能。
    数据集和实验设置。我们选择了7个具有不同同类性水平的监督节点分类数据集。对于同类图,我们选择了3个经典的引用图[Cora、CiteSeer和PubMed]。

    结论

    我们提出了DSA-GNN,这是一种新的谱图神经网络,它通过“注意力度抑制”(DSA)机制优化图结构中的长尾现象,以解决两个问题。DSA-GNN使用DSA来抑制高度节点,并自适应地融合奇数跳数和偶数跳数信息,不仅减轻了图结构中幂律分布的长尾现象,还改进了一些忽略奇数跳数以处理异质图的谱图GNN。理论

    未引用参考文献

    表2。

    CRediT作者贡献声明

    关伟黄:研究、概念化。段瑞:撰写 – 审稿与编辑、概念化。关青晓:撰写 – 审稿与编辑、概念化。田灿:监督、概念化。陈思远:监督、概念化。张文生:监督、概念化。

    利益冲突声明

    作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。

    致谢

    本工作得到了国家自然科学基金(编号62506087)的支持。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号