《Neural Networks》:Hybrid Graph Attention Learning with Pseudo-label Guided Adaptive Evolution
编辑推荐:
图神经网络通过注意力机制动态区分邻居节点的重要性,但现有方法仅关注节点嵌入层面的注意力计算,忽略图拓扑结构中的语义关联,且难以解决监督信息稀疏导致的节点交互不足问题。本文提出混合图注意力学习机制,通过节点嵌入与结构嵌入的双重注意力计算提升建模精度,并设计伪标签引导的动态图演化策略,结合Mixup增强伪标签置信度以优化图结构。实验表明该方法在节点分类任务中显著优于基线模型,有效提升注意力分配准确性和图噪声鲁棒性。
Jinlu Wang|Yanfeng Sun|Junbin Gao|Shaofan Wang|Qi Zhang|Yachao Yang|Baocai Yin|Jipeng Guo
北京工业大学多媒体与智能软件技术重点实验室,中国北京100124
摘要
图注意力网络(GAT)能够自适应地区分信息聚合中相邻节点的重要性,是一种强大的图表示学习方法。然而,现有的GAT方法仅依赖于节点嵌入级别的注意力,忽略了图拓扑中嵌入的丰富语义关联信息,难以有效区分不同节点的重要性。此外,由于网络深度和监督信息的稀缺性,这些方法还面临着图与标签预测之间的语义偏差以及未标记节点与标记节点之间交互不足的问题。在本文中,我们提出了一种混合图注意力学习机制,整合了节点嵌入级别和结构嵌入级别的注意力,从而实现对节点邻接关系的更全面和准确的建模。此外,我们还引入了一种动态图演化机制,该机制结合了精细的拓扑剪枝和基于伪标签的节点混合操作,伪标签的置信度逐渐增加。这使得模型能够自适应地调整图结构,并显著提高其对噪声图的鲁棒性。这也有助于促进图与标签预测之间的语义对齐,并提高标记节点的可访问性。具有特征和结构混合的自适应图不可避免地促进了混合注意力学习,形成了一个闭环表示学习和图优化框架。在真实世界图数据集上的广泛实验结果清楚地证明了所提出方法在探索准确注意力和判别性表示学习方面的优越性,其性能显著优于几种先前的基线方法。
引言
图数据在现实世界的场景中无处不在,例如社交网络中的用户关系(Guo和Wang,2020年;Li等人,2023年;Zhang等人,2022年)、蛋白质分子结构(Yang、Lan、Wang、Chen、Chen、Wu,2025年;Yang、Li、Wang、Chen、Wu,2024年)、引文网络(Cummings和Nassar,2020年;Liu等人,2022年)等。然而,传统的深度学习方法(如代表性的卷积神经网络)难以对不规则的非欧几里得数据进行建模(Chen等人,2025年;Ju等人,2024年)。在这种情况下,图神经网络(GNNs)应运而生,通过迭代聚合相邻节点信息为图数据提供了强大的编码框架。现有的GNN通常可以分为两大类:空间方法和谱方法。空间方法通常通过聚合来自相邻节点的特征来更新节点表示(Yang等人,2023年;Zhao等人,2022a),例如图卷积网络(GCN)(Kipf和Welling,2017年)、图注意力网络(GAT)(Velickovic等人,2018年)和GraphSAGE(Hamilton等人,2017年)。相比之下,谱方法是根据谱图理论设计的,利用图拉普拉斯算子来定义卷积操作。这涉及使用图拉普拉斯矩阵的特征值作为频率来过滤图信号,通常用于降低与大规模图相关的高计算复杂性(Zhang等人,2024b),例如ChebNet(Tang等人,2024年)、简化图卷积网络(SGC)(Wu等人,2019年)。图卷积核机(GCKM)(Wu等人,2023年)将核学习与图卷积相结合,实现了更高的计算效率和可解释性,适用于基于图的机器学习任务。节点协作信息图卷积网络(NGCN)通过特殊的三重机制捕获隐藏在连接节点对中的局部协作信息,避免了严重的信息损失,并获得了精确的无向加权图表示(Yuan等人,2025年)。实际上,GNNs被广泛应用于各个领域,如节点分类(Wang等人,2025年)、图分类(Wang和Fan,2024年)、节点聚类(Guo等人,2020年;Zhao、Sun、Guo、Gao、Yin,2022b;Zhao、Wang、Xu、Yang、Gao、Guo,2025年)、建模用户-项交互以增强推荐系统(Wu等人,2021年);Zhou等人,2020年)、预测分子属性以加速药物开发(Gasteiger等人,2021年);Zitnik和Leskovec(2017年)以及分析交通网络以优化城市交通流量(Jiang和Luo,2022年;Zheng和Zhang,2023年)。
GAT方法是一系列具有代表性的强大图表示学习框架,引入了注意力机制来区分信息聚合中相邻节点的重要性,显示出对非欧几里得数据建模的强大能力。注意力机制能够关注最相关的部分,并已广泛应用于序列建模、机器翻译和视觉处理(Brauwers和Frasincar,2023年)。GAT的出现进一步将注意力机制引入图领域,在该领域中,目标节点的嵌入表示通过不同的方式聚合相邻信息来更新权重。近年来,GAT及其变体受到了广泛关注。一些方法通过改进注意力计算方式解决了原始GAT在表达能力方面的局限性。例如,GATv2(Karaaslanli和Aviyente,2022年)解决了原始GAT中注意力计算的静态性质问题,通过调整计算顺序生成了更灵活的动态注意力。HONGAT(Zhang等人,2024a)将注意力系数的计算范围从仅低阶邻居扩展到包括低阶和高阶邻居的更广泛范围,通过测量高阶共同邻居的相似性并引入掩码矩阵来细化注意力分布。此外,一些方法还通过整合辅助因素来丰富注意力系数的计算,从而增强了相邻节点的语义关联感知能力。例如,CAT(He等人,2021年)通过整合异构可学习因素来增强注意力系数计算。同时,DCAT(Zhou等人,2024年)尝试将图聚类作为图注意力网络内的辅助目标,以学习半监督学习任务的集群感知注意力分数。此外,基于动态图的自依赖全局依赖性感知框架(SGD-DyG)利用频率自增强学习和全局-局部混合自监督学习来全面捕获全局时空依赖性(Han等人,2025年)。Wang等人(2024年)提出了图张量联盟注意力网络(GT-A2T)用于动态图表示,该网络通过张量积设计了统一的时空信息传播机制,并通过属性特征和高阶结构相关性获得了准确的注意力系数。
尽管在改进图注意力机制方面取得了相当大的进展,但仍有一些基本挑战需要紧急解决。主要问题如下:首先,大多数现有的GAT方法仅关注修改注意力本身的计算方式,忽略了通过结合特征表示和结构信息来进行多模态信息的混合注意力计算。其次,原始图中的“物理连接”与预测标签中的语义关联不一致,而浅层网络中稀疏标记节点限制了未标记节点对监督信息的有效访问。在现实世界的应用中,图数据通常存在噪声,这不可避免地削弱了注意力权重的构建和嵌入表示学习。设计一种自适应图演化机制来有效去噪和细化注意力系数的计算仍然是一个关键挑战,从而构建全面的注意力关联并获得判别性表示。
为了解决上述问题,我们提出了一种称为混合图注意力学习与伪标签引导的自适应演化(HGAL-PAE)的新方法,该方法整合了节点嵌入表示和结构嵌入,通过高置信度伪标签诱导的Mixup增强来构建全面的注意力系数并实现自适应图演化。首先,HGAL-PAE解决了邻接自表示优化问题,获得了具有隐式聚类结构的嵌入表示。然后,它通过结合特征-结构双重嵌入构建了一种混合注意力学习机制,探索了更准确的邻接关联并获得判别性表示。其次,引入了一种伪标签引导的自适应图演化策略,通过Mixup操作和可信的节点混合采样策略实现了邻接结构和属性特征的增强。此外,节点混合增强能够扩展标签信息传输的接收场,并对齐图和语义标签。判别性表示学习与全面的注意力学习和自适应图演化在闭环框架中相互促进。
我们从以下三个方面总结了本文的主要贡献:
- 我们提出了一种混合图注意力学习方法,该方法结合了节点嵌入和结构嵌入信息,从而丰富了注意力学习,使得在信息聚合中对相邻节点的重要性分配更加准确和有效。
- 为了减弱噪声影响并有效传递监督信息,我们进一步提出了一种自适应图演化策略,该策略利用嵌入表示中的高置信度先验知识来指导节点混合增强,实现了图与标签信息之间的语义对齐。
- 在真实世界数据集上进行的广泛实验充分证明了我们提出的方法在半监督节点分类任务上的有效性和优越性。
部分片段
初步
在本节中,我们首先介绍了一些符号、经典的图注意力网络以及使用Mixup操作的数据增强方法。为了提高可读性,一些重要的符号及其明确定义列在表1中。
提出的模型
本文提出了一种新的图表示学习框架HGAL-PAE,旨在通过全面的注意力学习和图数据的自适应增强演化来提高嵌入表示学习的判别能力。HGAL-PAE方法主要由两个模块组成:混合图注意力学习(HGAL)和伪标签引导的自适应图演化(PAGE)模块。
实验结果与分析
在本节中,我们验证了所提出的HGAL-PAE在半监督节点分类任务上的性能。
结论
在这项研究中,提出了一种新的图表示学习方法HGAL-PAE,主要由HGAL和PAGE模块组成。HGAL模块将结构嵌入注意力优化与节点嵌入注意力学习相结合,以建模全面和准确的邻接关联,从而获得判别性嵌入表示。
CRediT作者贡献声明
Jinlu Wang:撰写——原始草稿、可视化、验证、方法论、概念化。Yanfeng Sun:撰写——审阅与编辑、监督、项目管理、资金获取。Junbin Gao:撰写——审阅与编辑、验证、监督、方法论。Shaofan Wang:撰写——原始草稿、项目管理、数据整理。Qi Zhang:可视化、验证、方法论。Yachao Yang:可视化、验证、形式分析。Baocai Yin:监督
利益冲突声明
作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。
致谢
本研究得到了国家自然科学基金(62172023, 62403043)、北京市自然科学基金(编号4222021和4244085)、国家重点研发计划(编号2021ZD0111902)、中国博士后科学基金会(编号GZC20230203, 2025T180467)的支持。作者感谢匿名审稿人和编辑们的建设性评论和建议。