NCPM:一种轻量级的、基于节点感知的图神经网络通道个性化机制

《Neurocomputing》:NCPM: A lightweight node-aware channel personalization mechanism for graph neural networks

【字体: 大 中 小 】 时间:2026年04月08日 来源:Neurocomputing 6.5

编辑推荐:

  图神经网络通道权重统一分配导致表征同质化问题,本文提出节点感知的通道个性化机制NCPM,通过节点级通道加权与任务自适应输出模块协同优化,缓解过平滑并增强结构表达能力。实验表明NCPM在11个基准数据集上为12种主流GNN架构提升性能,MOOC任务AUC从87.52%提升至97.36%,Wikipedia任务达98.83%。

  
重庆邮电大学计算机科学与技术学院,中国重庆,400065

摘要

大多数现有的图神经网络(GNNs)对所有特征通道赋予相同的权重,忽略了每个节点在各个通道上的语义偏好。这种均匀的加权导致表示结果趋同,加剧了过度平滑现象,并削弱了结构的表达能力。我们提出了一种节点感知的通道个性化机制(NCPM),该机制学习节点特定的通道权重以实现细粒度的特征重新校准,并引入了任务自适应的输出模块,从而使通道注意力与节点分类、图分类和链接预测的监督目标精确对齐。NCPM轻量且模块化,可以无缝集成到十二种主流的backbone中,包括GCN、GAT和图变换器(graph Transformers)。在十一个基准数据集上的实验表明,NCPM将DyGFormer在MOOC任务上的AUC从87.52%提升到了97.36%,将TGAT在Wikipedia任务上的AUC从90.71%提升到了98.83%,同时在所有其他任务上也取得了持续的改进。理论分析进一步证明,NCPM通过动态区分信息丰富的通道和冗余通道来缓解过度平滑现象,从而增强了GNN的表达能力和泛化能力。

引言

图神经网络(GNNs)已成为结构化数据学习的基石,在社交网络分析、推荐系统和生物信息学等领域取得了广泛的成功[30]。最近的研究继续关注GNNs,特别是它们在大型动态环境中的应用以及提高模型的可扩展性和稳定性[29]。通过聚合和转换来自相邻节点的特征,GNNs能够有效地捕捉复杂图结构中的高阶依赖关系[12]。为了进一步提高表达能力,近年来提出了各种扩展方法,特别是基于注意力的模型,如GAT[24]和GATv2[1],这些模型增强了在消息传递过程中区分相邻节点重要性的能力。
随着GNN架构的不断发展,最近的研究越来越多地探索具有更大感受野和更强表示能力的模型,包括图变换器变体和基于全局注意力的框架[10]、[22]。这些方法旨在通过实现长距离依赖建模和更丰富的特征交互来克服严格局部消息传递的固有限制,并在大型和复杂的图环境中展示了有希望的性能[31]。尽管取得了这些进展,大多数现有的GNNs仍然通过平等对待所有通道来聚合特征,忽略了通道之间的语义差异。这种均匀的加权不仅不是最优的;它从根本上忽视了节点在图中的多样化角色。与图像中的像素不同,像素在空间上相关但在语义上是独立的样本,图中的节点是一个演员,其语义由自身的属性和在网络中的独特结构位置共同决定。位于社区中心的“枢纽”节点可能更依赖于编码社区凝聚力和结构中心性的通道,而连接不同社区的“桥梁”节点可能需要放大信号结构缺口和群体间交互的通道。同样,连接稀疏的外围节点可能更依赖于自身的属性通道。
这种均匀的加权使得具有不同功能角色的节点的表示趋向于一个共同的特征轮廓,加剧了过度平滑现象[14],并削弱了模型捕捉细粒度结构语义的能力。例如,在社交推荐中,活跃用户更多地受益于捕捉交互模式的结构性通道,而冷启动用户则更依赖于描述其内在偏好的属性通道。全局通道加权方案无法同时满足这两种需求。
为了解决这一被忽视但至关重要的问题,我们提出了一种节点感知的通道个性化机制(NCPM),以实现GNNs中通道维度的细粒度和自适应建模。与CNN中的传统通道注意力模块(例如SENet)不同,后者使用全局池化来模拟共享通道的重要性[8],NCPM明确捕获节点-通道的语义偏好,并根据节点和任务动态调整通道权重。通过区分冗余和信息丰富的通道,NCPM防止了层间的表示同质化,从而在提高泛化能力的同时抵抗过度平滑。NCPM通过与GNN backbones协同工作来实现这一点:当GNN层处理拓扑信息传播时,NCPM对得到的拓扑感知表示进行补充的通道级细化。
NCPM包括两个协同工作的组件:(1)节点感知的通道注意力模块(NCAM),用于中间层的调节,采用无池化结构,结合共享的MLPs和固定的缩放Sigmoid激活函数来计算节点特定的通道权重;(2)任务自适应输出模块,为不同的任务定制通道调制策略,为节点分类保持节点级别的粒度,为图分类引入多尺度全局校准(MultiScale-GCAM),并为链接预测增强交互建模(PCASM)。
如图1所示,NCPM可以无缝集成到现有的GNN backbones中。在浅层网络中,它可以抑制噪声通道而无需结构假设;在深层网络中,它可以实现更敏感的语义通道选择并增强任务适应性。
我们总结我们的主要贡献如下:
  • •
    我们提出了NCPM,这是一种为GNNs量身定制的统一通道个性化范式。与现有的全局或共享通道注意力机制不同,这种方法明确模拟了节点级的语义偏好,以实现通道空间中的细粒度和自适应特征重新校准。
  • •
    我们设计了一种无池化且参数量少的节点感知通道注意力模块(NCAM)。该模块可以轻松集成到各种GNN架构中,如GCN、GAT、TGAT[32]和SGFormer[28],而不会引入显著的计算开销。
  • •
    我们提供了理论分析,证明所提出的节点感知通道差异可以抵消消息传递的收缩效应。这为在深度GNNs中保持狄利克雷能量和表示多样性提供了新的视角。
  • •
    我们在12个backbone模型和11个基准数据集上进行了广泛的实验。结果表明,NCPM在节点分类、图分类和链接预测任务上一致地提高了性能和鲁棒性,消融研究进一步验证了每个组件的有效性。
  • 图神经网络中的通道注意力机制

    受到计算机视觉中通道注意力机制(如SENet[8]和ECA[25])成功的启发,最近的研究探索了将它们集成到图神经网络(GNNs)中以增强特征级建模。现有的方法大致可以分为两大策略。
    第一类关注邻居级通道注意力,在消息传递过程中为来自不同邻居或边的消息分配通道权重。代表性的方法

    两阶段通道注意力框架

    为了解决传统GNNs中特征通道间区分不足的问题,我们提出了一个两阶段通道优化框架,如图2所示。该框架通过两个阶段整合了结构依赖性和通道区分:中间特征细化和任务特定的通道适应。

    实验

    随机种子配置在超参数设置部分指定。为了评估鲁棒性,我们还使用了多个随机种子(例如0、42、72)进行了实验,运行之间的性能变化在0.5%以内,表明结果稳定且可重复。

    NCAM与SE:参数成本和准确性

    为了检验标准通道注意力机制是否适用于图数据,我们将经典的SE模块(基于全局池化)集成到了GCN、GraphSAGE和SGFormer中。如图6所示,结果表明:SE在GCN上只有微小的提升(+0.10%),而在GraphSAGE和SGFormer上则导致了性能下降(?0.10%和?0.04%)。这表明强制使用全局共享的通道策略与节点特定的异质性存在冲突

    结论

    虽然我们的方法在各种任务上都显示了一致的改进,但实验结果表明,在某些情况下,通道权重倾向于在节点间收敛,类似于全局注意力模式。这揭示了在促进节点级多样性方面的潜在限制。未来的工作将探索更具表现力的个性化策略,以进一步改善节点间的区分能力,同时仔细管理计算权衡。一个有前景的方向是研究通道级的自注意力

    CRediT作者贡献声明

    彭赵:撰写——原始草稿、可视化、验证、资源管理、方法论、调查、形式分析、数据策划、概念化。胡峰:撰写——审阅与编辑、数据策划、概念化。刘新峰:监督、项目管理、资金获取。戴进:验证、监督、资源管理。苏祖强:验证、资源管理、项目管理。赵俊宏:验证。余洪:方法论。

    利益冲突声明

    作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

    致谢

    本工作部分得到了重庆市自然科学基金项目(CSTB2023NSCQ-LZX0006, 2024NSCQ-MSX3194)、国家自然科学基金重点项目(62233018, 62221005, 62576063和62306056)、中国博士后科学基金(2024MD754044)以及成都市重点研发计划项目(2023-YF11-00059-HZ)的支持。
    彭赵于2024年获得中国重庆邮电大学计算机科学与技术学院的学士学位。他目前在该学院攻读硕士学位。他的研究兴趣包括图神经网络、大型语言模型和大数据技术。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号