查看节点内部：一种用于图注意力网络的新型节点内注意力机制

《Pattern Recognition》：Look inside nodes: A novel intranode attention mechanism for graph attention networks

针对图注意力网络（GATs）忽略节点内特征差异的问题，提出内节点注意力机制（INAT）。通过偏差分析动态调整特征权重，仅需两个可学习参数，即可提升节点表示能力。实验表明，集成INAT的GATs在11个基准数据集上的链接预测、节点分类和图分类任务中均优于基线模型，验证了其参数效率高、兼容性强和性能提升显著的三大优势。

　　

贾英娟|陈彤|刘欣宇|王汉普

中国重庆西南大学电子与信息工程学院，400715

摘要

图注意力网络（GATs）是分析图结构数据的强大工具。它们通过引入注意力机制来模拟节点之间的关系。然而，这些机制忽略了节点内部特征的区分性——即某些特征比其他特征具有更强的区分能力。为了弥补这一不足，我们提出了节点内部注意力（INAT）机制，该机制能够明确量化节点内部特征的重要性。INAT利用偏差分析来适应性地重新加权特征，每层仅需要两个可学习的参数。此外，INAT具有即插即用的设计，可以无缝集成到任何GAT中。在链接预测、节点预测和图预测任务上的广泛实验表明，增强后的GAT在11个公共基准数据库中均取得了性能提升。这些实验进一步验证了INAT的三大优势：参数效率、通用兼容性和性能增强。重现实验结果的代码可在https://github.com/JiaYingjuan/Look-inside-nodes-NdAttG获取。

引言

图是一种复杂的数据结构，用于描述元素之间的关系[1]。在生物信息学[2]、化学信息学[3]、社交网络[4]、城市交通[5]、推荐系统[6]等多个领域中，经常使用可以建模为图的数据[7]、[8]。现实世界中的图通常规模庞大且复杂，同时存在噪声，这给图挖掘带来了挑战[9]。在这种背景下，图神经网络（GNNs）因其能够从图中学习复杂元素之间的关系而变得越来越流行[10]。

将神经网络应用于图可以追溯到20世纪90年代[11]，当时递归神经网络首次被应用于有向无环图[12]。早期方法的核心思想是在图上构建状态转换系统，但这限制了它们的可扩展性和表示能力[13]。近年来，深度神经网络在机器学习的几乎所有领域都取得了突破，开启了深度学习的新时代[14]。将深度神经网络扩展到非欧几里得领域也成为一个备受关注的研究方向[15]。基于此背景，图上的深度学习取得了巨大发展。不断有新的GNN变体被提出[16]，例如ChebNet[17]、图卷积网络（GCN）[18]、[19]和GraphSAGE[20]，这些网络基于卷积来聚合图中的信息。

另一种方法是Veli?kovi?等人[21]使用基于注意力的聚合机制提出了图注意力网络（GAT）。注意力机制最初被引入深度学习是为了帮助模型关注数据的重要部分[22]。将注意力机制融入图挖掘中可以使模型避免或忽略图中的噪声部分[23]，突出与任务最相关的元素，从而提高信噪比[24]。目前，GAT是最受欢迎的GNN之一，被认为是图学习的先进神经网络[25]，这要归功于注意力机制的优势。在GAT中，每个节点通过使用自身的表示作为查询来关注其邻居，从而更新其表示[26]。它还泛化了Transformer的自注意力机制[27]。此外，GAT利用了Vaswani等人[26]使用的多头注意力来稳定学习过程[28]。最新的GATv2[29]表明，GAT仅计算一种受限的“静态”形式的注意力，其中注意力系数的排名在图中的所有节点之间共享，并且与查询节点无关。因此，GATv2对其注意力函数进行了修改，比GAT更具表现力[29]。此外，还有一些值得注意的GAT变体。Jiang等人[30]提出了图学习-卷积网络（GLCN），该网络在统一框架内同时优化图构建和卷积。Cui等人[31]提出了一个从粗到细的层次化框架（CFGAT），包括结构感知的粗化（CoarseNet）和多级注意力细化（FineNet）。Sun等人[32]提出了高频和低频双通道图注意力网络（HLGAT），验证了高频聚合在异构图中的决定性作用。Fang等人[33]通过Kolmogorov–Arnold注意力（KAA）统一了GAT的评分函数，提升了GAT的性能。

上述GAT主要关注建模节点间关系[34]。然而，我们认为节点内部特征的区分性对于表示学习至关重要。在现实世界的图中，节点内的特征往往表现出隐性的重要性层次结构——与节点内部特征平均值显著偏离的特征通常对应于罕见属性或区分性模式。尽管偏差与重要性之间的关联并非绝对（例如，不重要的噪声可能表现为异常值），但这些偏离特征仍然可能比其他特征具有更强的区分能力。当前的GAT未能解决这种节点内部特征不平衡的问题。它们的注意力机制仅作用于节点间交互，隐含地假设节点内所有特征的重要性是均匀的——这种简化导致了次优的表示学习。

为了解决这一问题，引入节点内部注意力机制是一个有前景的解决方案。它意味着为每个特征分配不同的重要性级别，使模型能够专注于节点内部的独特特征。然而，同时部署节点间和节点内部机制可能会导致参数数量激增，这是一个主要问题。因此，我们需要一个参数受限的解决方案。基于这些考虑，我们提出了节点内部注意力（INAT），这是第一个明确量化和放大节点内部特征区分能力的机制。受统计异常值检测的启发，INAT通过偏差分析识别特征的重要性，仅需要两个可学习的参数即可实现自适应加权。广泛的实验表明，INAT在链接预测、节点预测和图预测任务中提升了GAT的性能。INAT的主要优势如下：

•

低参数设计：每个GAT层仅增加两个额外参数。

•

即插即用设计：INAT可以无缝集成到任何GAT变体中。

•

性能提升：INAT在多个基准数据库中的链接预测、节点预测和图预测任务中得到了广泛验证，表现优异。

本文的后续结构如下：第4.2节介绍图注意力网络的基本原理，第4.3节详细阐述INAT的过程，第4节在多个基准数据库上进行比较实验，第5节总结整个研究。

章节片段

初步介绍

GAT通过关注其邻居来计算每个节点的隐藏状态。例如，要计算邻居j对节点i的重要性，首先需要计算边(i, j)的注意力分数。h_i和h_j分别代表节点i和j的当前状态，W是应用于每个节点的线性变换的权重矩阵，a是单层感知器（MLP）的权重向量。“||”表示

提出的节点内部注意力机制

GAT的性能在很大程度上依赖于它们聚合邻居信息的能力。然而，不同的节点内部特征对节点最终表示的贡献并不均衡，因此区分这些特征对于表示学习至关重要。为了更有效地利用节点内部信息并增强节点表示的区分能力，我们提出了INAT机制。如图1所示，其核心思想是动态地为节点内的不同特征分配重要性权重。

实验

在本节中，我们通过评估INAT在链接预测（第4.1节）、节点预测（第4.2节）和图预测（第4.3节）任务中的性能来全面验证其优势与劣势。实验是在云GPU上使用RTX 3090进行的。复制所有实验的环境配置和详细参数设置可在https://github.com/JiaYingjuan/Look-inside-nodes-NdAttG获取。

使用的基准数据库包括ogbl-collab [35]

结论

在这项研究中，我们提出了INAT机制——一种即插即用、低参数的注意力机制，旨在增强节点表示能力。INAT仅需要两个可训练参数，通过计算全局和局部特征偏差来适应性地关注关键节点内部信息，从而提升模型性能。值得注意的是，它可以集成到任何图注意力网络中。在链接预测、节点预测和图预测任务中，INAT的表现优于基线模型。统计实验进一步证实了...

CRediT作者贡献声明

贾英娟：方法论、写作——原始草稿。陈彤：写作——审阅与编辑。刘欣宇：形式分析。王汉普：调查。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。