用于知识图谱表示学习的多关系约束共现注意力模型

《Neurocomputing》：Multi-relation constrained co-occurrence attention model for knowledge graph representation learning

　　

• •
  提出了一种新型混合框架（MRCCA），协同利用图注意力网络（GATs）和知识图谱嵌入（KGE），以克服知识图谱补全中的过平滑和关系容量有限的问题。
• •
  一种共现驱动的注意力机制，利用共现信息和KGE语义假设，消除了传统的线性变换和非线性激活函数，从而减少可训练参数。
• •
  一个多关系匹配模块，融合KGE几何运算（旋转和平移），以显式建模一对多、多对一等复杂关系。在多个评估指标上均实现了高参数效率，并在通用基准（FB15k-237、WN18RR）和领域特定知识图谱（Kinship、UMLS）上取得了最先进的结果。

引言

知识图谱（KG）作为一种高效的知识和组织范式，已成为人工智能领域的关键驱动力[48]。从根本上说，知识图谱具有双重功能：它既是结构化存储现实世界信息的库，支持高效查询、统计分析和数据挖掘；同时也是知识表示的显式形式化机制，支撑深度语义理解、可解释分析和逻辑推理[6]。

在实际应用中，实体往往表现出复杂的交互模式。从映射基数的角度来看，这些交互大致可分为四种类型：一对一、一对多、多对一和多对多。这些多样的关系模式使知识图谱能够直观地表示丰富的语义信息。然而，现实世界的知识图谱通常是不完整的，包含大量缺失的关系，这严重限制了其在下游任务中的有效性。因此，知识图谱补全（KGC）应运而生，其主要目标是自动预测和补充缺失的三元组。KGC不仅是丰富知识图谱的关键技术，还为从现有数据中推断新知识提供了有效手段，对于提升知识图谱的规模和质量至关重要[1]。尽管如此，如图1所示，这四种复杂关系类型的普遍存在——尤其是涉及多重性的关系——对推理模型的准确性构成了重大挑战。

目前，推理方法的主导范式主要基于KGE技术。现有的KGE模型通常可分为四类：线性/双线性模型（如TransE [5]、DistMult [58]、ComplEx [44]、RotatE [42]）、分解模型（如TuckER [2]）、基于神经网络的模型（如NTN [40]、ConvE [11]、ConvKB [35]）和基于本体论的模型（如TransO [27]）。这些方法的根本前提是将实体和关系映射到低维连续向量空间，然后通过优化评分函数来评估三元组的合理性。尽管这些方法取得了显著进展，但它们存在明显的局限性。具体而言，大多数KGE模型基于独立性假设，仅关注单个三元组的合理性，而忽略了实体周围丰富的局部邻域结构和全局图拓扑。这种对结构信息的忽视导致嵌入空间缺乏显式的拓扑约束，从而限制了模型的推理能力和可解释性。因此，这些模型在区分相似实体时容易产生误判。

为缓解KGE模型在忽略结构信息方面的缺陷，图注意力网络（GATs）被引入到知识图谱补全任务中。与传统KGE方法不同，基于GAT的方法采用消息传递机制来聚合邻居节点的特征，从而能够捕获更丰富的上下文信息。然而，将GAT直接应用于知识图谱面临着非平凡的挑战。首先，设计一个能够有效适应知识图谱固有异质性的聚合函数仍是一个亟待解决的问题。其次，现有的图神经网络（GNN）方法通常在聚合过程中生成通用的、静态的实体表示。因此，它们难以区分同一实体在不同关系上下文中的具体语义（即缺乏关系特异性）。这一局限性严重限制了模型在处理复杂多关系场景时的预测准确性。

针对上述局限性，本文提出了一种新型混合框架，旨在协同结合GATs的结构感知能力和KGEs的几何建模优势。本文的主要贡献总结如下：

• •
  我们提出了一种显式整合统计先验的共现图注意力聚合机制。与通过线性变换在三元组上计算注意力的传统GAT不同，该模块利用实体-关系共现信息和KGE的语义假设来优化注意力计算，从而实现了GAT和KGE优势的更具原则性的整合。
• •
  在嵌入传播过程中，本研究借鉴KGE原理显式建模实体的上下文信息，自然地去除了层特定的变换矩阵和激活函数。这不仅缓解了过拟合和抑制了冗余噪声，还使GAT和KGE能够优势互补。
• •
  所提出的方法进一步设计了联合平移-旋转空间中的多关系匹配策略。为克服异质关系下图卷积的局限性，该模块整合了KGE的几何原理。它将实体映射到平移-旋转空间，通过周期性旋转和平移来建模其交互，从而有效地捕获在单一结构空间中难以辨识的复杂关系模式（如一对N、N对一、N对N）。

本文的其余部分组织如下：第2节回顾了相关工作。第3节介绍了前期工作。第4节概述了所提出的模型。最后，第5节讨论了实验结果，第6节给出了结论。

章节摘要

相关工作

本节介绍了KGC的主流知识图谱推理方法，包括基于距离和基于语义匹配的KGE模型，以及基于神经网络和基于GNN的模型。

前期工作

知识图谱。知识图谱是一种用于表示和组织知识的信息结构，通常实例化为图，其中节点对应实体（如人物、地点或物体），边编码这些实体之间的关系。我们将知识图谱形式化定义如下（公式1）。$$$$$$和$$分别是关系集和实体集，$$是以（主体实体，关系，客体实体）形式表示的三元组集合，$$是知识图谱的整体表示。

链接预测

方法论

图2展示了MRCCA的整体架构。通过将独特的基于共现的注意力策略与平移和旋转操作相结合，并利用KGE指导GAT的权重分配和聚合过程，MRCCA有效地促进了图卷积架构与基于平移的KGE模型之间的深度集成，从而缓解了实体语义异质性带来的干扰。最后，模型通过计算预测分数来

实验

本节开展了一系列广泛的实验，从多个角度系统评估所提出的MRCCA模型在知识图谱链接预测任务上的性能。

结论

本文提出了一种新型KGC模型MRCCA，旨在结合图神经网络和知识图谱嵌入方法的优势。尽管MRCCA取得了令人满意的结果，但仍有一些方向有待进一步探索。当前模型在处理极度稀疏或高度规则的关系（如Kinship数据集中的情况）时仍有改进空间。未来工作可以探索更细粒度的关系-实体交互机制，例如引入

CRediT作者贡献声明

李晓东：撰写——审阅与编辑，撰写——初稿，方法论，形式化分析，概念构思。 曹思凡：撰写——审阅与编辑，撰写——初稿，可视化，验证，软件，资源，调查研究，数据管理。 沈兴发：方法论，形式化分析。 肖风军：方法论，形式化分析。 陈金：方法论，形式化分析。 俞正生：验证，监督指导。

利益冲突声明

作者声明他们没有已知的 competing 经济利益或个人关系，这些利益或关系可能对本论文报道的工作产生影响。

致谢

本工作得到了国家自然科学基金（61976074、72374058）、浙江省"先锋"和"领雁"研发计划（资助编号2023C01143）、浙江省自然科学基金（资助编号LLSSZ24F020001）以及浙江省高校基本研究经费（编号GK239909299001-011）的资助。

李晓东于2014年获浙江大学控制科学与工程专业博士学位。目前他在杭州电子科技大学计算机科学与技术学院担任讲师。他的研究兴趣包括机器学习、图像处理、模式识别和医疗大数据分析。

李晓东|曹思凡|沈兴发|肖风军|陈金|俞正生