面向知识图谱补全的粒度感知图注意力网络

《Neurocomputing》：Granularity-aware graph attention network for knowledge graph completion

　　李文峰|谢佳琳|马圆圆
中国河南省新乡市453007，河南师范大学计算机与信息工程学院

摘要
近年来，图注意力网络已成为知识图谱补全领域的重要方法之一。然而，现有的基于GAT的模型未能有效利用知识图谱中由关系共现产生的全局语义先验信息。这一局限使得多头注意力机制无法根据语义上下文动态激活相关的注意力头，进而影响注意力权重的精确分配。因此，这类模型容易受到噪声干扰，从而降低实体表示的准确性。为解决这些问题，本文提出了GrANet，一种具备粒度感知能力的知识图谱补全用图注意力网络。首先，基于粒度计算理论，GrANet从知识图谱中的关系共现模式中挖掘全局语义先验信息，并将其编码为结构化的先验表示。其次，GrANet采用动态多头筛选机制，根据先验信息和当前语义上下文自适应地激活关键的注意力头，从而抑制无关头的噪声干扰。最后，在被激活的注意力头中，GrANet采用粒度感知的注意力计算方法，将语义先验信息融入注意力得分的计算过程中，从而实现注意力权重的精确分配，提升实体表示的准确性。实验结果表明，通过利用全局语义先验信息，GrANet显著提升了链接预测性能，在多个基准数据集上取得了最佳或次优的结果。例如，在FB15k-237数据集上，GrANet的Hits@1指标相比次优模型提升了13%。我们的代码已公开发布在https://github.com/XJE0/GrANet。

引言
知识图谱通常以（头部实体、关系、尾部实体）三元组的形式存储知识。现有的知识图谱，如NELL[1]和Freebase[2]，被广泛应用于智能问答[3]、推荐系统[4]以及知识追踪[5][6]等下游任务中。然而，由于构建过程中的限制，现有的知识图谱往往存在不完整性。为解决这一问题，人们提出了知识图谱补全任务，其目标是为知识图谱中的缺失链接进行预测，例如给定一个头部实体和一种关系后预测对应的尾部实体[7]。

在知识图谱补全任务中，现有方法通常将实体和关系表示为低维向量，并设计相应的评分函数和损失函数，通过嵌入学习来实现知识图谱补全[8]。这些模型大致可分为两类：（1）基于三元组的模型[9][10][11][12][13][14][15][16][17][18]，它们直接通过对实体和关系学习低维表示来建模事实三元组；（2）基于图的模型[19][20][21][22][23][24][25][26]，它们利用图神经网络捕捉节点的局部结构信息并更新其表示，从而提升整体性能。其中，GAT因其能够有效地聚合邻域信息而成为主流的图建模方法之一[22][23][24][25][26]。

然而，大多数现有的基于GAT的模型忽视了全局语义先验信息的重要性，未能有效建模和利用知识图谱中固有的先验信息——比如可以视为基于关系的语义相似性度量的关系共现模式。如图1(a)所示，与“Alex”和“Bob”这两个实体相关的关系集合有大量重叠（例如，两者都通过“author”和“collaborate”这两种关系相连），这说明它们在知识图谱中的语义角色具有高度相似性。具体而言，这类模型的局限性体现在两个方面。首先，在注意力机制的实现上，多头注意力缺乏根据当前语义上下文动态激活最相关注意力头的功能，因而容易受到噪声干扰。其次，在注意力权重计算与分配过程中，这些模型通常依赖局部特征相似性，这往往导致注意力分布与实体之间的实际语义关联不一致。结果，那些具有相似局部特征但在语义上存在差异的邻居会被赋予相近的注意力权重，进而削弱链接预测的区分能力。

以图1(a)中的中心实体“Alex”为例，它通过“collaborate”和“advisor”等关系与多个邻居相连。大多数基于GAT的模型在为“Alex”聚合邻居信息时，往往会仅因为“Bob”和“Eva”都属于“person”类型就赋予它们相似的注意力权重。然而，通过引入全局语义先验信息，就可以区分不同邻居之间不同的语义角色。如图1(b)所示，利用全局语义先验信息后，可以发现“Alex”和“Bob”之间的语义角色相似性更高，因此“Bob”会获得更高的注意力权重。这使得模型能够更精准地聚焦于语义上一致的邻居，从而证明了在注意力权重分配优化中纳入全局语义先验信息的必要性。

粒度计算理论为处理复杂信息并挖掘底层语义提供了一个系统化的框架[27][28]。作为粒度计算的重要分支，形式概念分析能够通过构建“对象-属性”上下文并生成概念格，自动从数据中提取粒度化的概念知识[29][30][31]。鉴于形式概念分析在知识发现方面的强大能力，它也被引入到知识图谱领域[32][33][34][35]。例如，González等人[33]率先将形式概念分析用于语义网知识图谱的动态建模。后续的研究，如Graph-FCA[34]和GCR-GCN[35]，则进一步将形式概念分析应用于图结构数据，为知识图谱的概念分析提供了新的思路。这些研究不仅验证了形式概念分析在挖掘知识图谱底层语义方面的有效性，也为我们从知识图谱的关系模式中提取全局语义先验信息提供了重要的方法论依据和坚实的理论基础。

为此，本文提出了GrANet，一种具备粒度感知能力的知识图谱补全用图注意力网络。GrANet的核心创新在于对全局语义先验信息的建模与利用——这些先验信息是从知识图谱中的关系共现模式中挖掘出来的，用于指导GAT中的多头注意力筛选和权重分配。具体而言，该模型首先基于粒度计算理论构建一个粒度语义先验矩阵，实现对语义信息的结构化表示。随后，本文设计了一种动态多头筛选机制，一旦启用，该机制就会根据先验信息和当前语义上下文自适应地激活关键的注意力头，从而抑制无关头的噪声干扰。在此基础上，本文还提出了一种粒度感知的注意力计算方法，将上述先验信息融入注意力计算过程，从而更精准地聚焦于对中心实体具有更强语义关联的邻居。最后，本文采用了规范的评分函数来评估三元组。总之，本文的主要贡献如下：
• 我们提出了GrANet，这是一种将粒度计算理论融入GAT的新型框架。通过构建粒度语义先验矩阵，我们为GAT提供了可量化的全球语义约束，从而使模型具备全局语义感知能力。
• 我们设计了一种带有阈值触发策略的动态多头筛选机制。一旦启用，该机制就能根据当前语义上下文自适应地激活相关的注意力头，从源头上有效抑制噪声干扰，提升模型在复杂场景下的语义区分能力。
• 我们提出了一种粒度感知的注意力计算方法，该方法创新地将粒度语义先验转化为边权重。通过将这些权重与节点特征相结合，我们的方法能够更集中地关注那些与中心实体具有更强语义亲和力的邻居，从而显著提升实体表示的准确性。

本文的其余结构如下：第2节回顾相关研究；第3节详细介绍所提出的GrANet模型；第4节阐述实验设计、分析结果以及消融实验，用以系统验证所提模型的有效性；第5节对全文进行总结，并指出未来的研究方向。

相关研究
本节将回顾知识图谱补全领域的现有方法。

方法论
本节将详细介绍如图2所示的GrANet模型。首先，本文概述全局语义先验建模方法，随后分别阐述动态多头筛选机制、粒度感知注意力计算方法以及三元组评分方法。

实验
本节将详细介绍实验中使用的数据集和基线方法。同时，本文还会对实验设置、结果、对比分析以及消融实验进行全面描述，以系统验证所提模型的有效性。这些实验旨在回答以下三个研究问题：
• RQ1：GrANet与其他知识图谱补全模型的性能相比如何？
• RQ2：GrANet的关键功能模块是如何为其性能提升做出贡献的？

结论与未来工作
本文提出了GrANet，一种具备粒度感知能力的知识图谱补全用图注意力网络，旨在解决现有基于GAT的模型在利用知识图谱中的全局语义先验信息方面的不足。首先，本文利用粒度计算理论，从知识图谱中的全局关系共现模式中构建粒度语义先验矩阵Q，为GAT提供结构化的语义引导。其次，本文设计了动态多头筛选机制，根据关系分布自适应地激活注意力头。

CRediT作者贡献声明
李文峰：撰写——审阅与编辑、监督、方法论设计。谢佳琳：撰写——初稿撰写、验证、方法论设计。马圆圆：撰写——审阅与编辑、监督、资金获取。

利益冲突声明
作者声明不存在任何可能影响本文研究的已知财务利益或个人关系。

致谢
作者衷心感谢编辑和匿名审稿人提出的宝贵意见，这些意见有助于提升本文的质量。本研究部分得到了河南省自然科学基金青年科学基金（A类，编号262300421054）以及国家自然科学基金（编号62572174）的支持。

李文峰于2014年在中国武汉大学计算机科学学院获得博士学位。她目前担任河南师范大学计算机与信息工程学院的讲师，同时也在河南省新乡市的人工智能与个性化教育重点实验室工作。她的研究兴趣集中在知识图谱和图神经网络领域。