《Neurocomputing》:Adaptive inductive knowledge graph reasoning for conditional queries
编辑推荐:
知识图谱推理中,针对多跳传播中查询信息衰减和无关邻居噪声问题,提出QAPD模型。该模型通过条件查询注意力筛选关键证据边,自适应残差信息融合增强深层次传播稳定性,并构建并行双解码架构适配不同关系模式。实验表明QAPD在FB15k-237、WN18RR和NELL-995数据集上显著优于基线,尤其在长程推理任务中MRR提升达23.96%。
卢彦军|杜芳芳
重庆工业大学计算机科学与工程学院,中国重庆市巴南区,400054
摘要
归纳式知识图谱推理利用已知的关系语义和结构证据来泛化到之前未见过的实体,并推断出缺失的事实。现有的基于图神经网络的方法表现出很强的性能,但多跳传输会引入无关的邻居噪声,导致查询信息在深度传播过程中逐渐衰减。为了解决这个问题,本文提出了一种用于条件查询的自适应归纳推理模型。该模型引入了条件查询注意力机制来突出关键的证据边,并采用自适应残差信息融合来稳定深度传播。构建了一种并行双解码器架构以适应不同的关系模式。在FB15k-237、WN18RR和NELL-995上的实验结果表明,QAPD在大多数评估的分割上优于传统的归纳基线方法,在NELL-995 v4上相对MRR提高了23.96%。在需要长距离推理的设置中,这种优势更为明显,而在WN18RR上的性能虽然仍有竞争力,但提升幅度较小。
引言
知识图谱中的事实表示为有序三元组,用于捕捉实体之间的关系。随着智能系统的快速发展,知识图谱因能够明确建模结构化知识而被广泛应用于语义搜索[1]、问答[2]、推荐系统[3]等领域,因此在许多下游AI应用中发挥着关键作用。然而,由于知识图谱是手动构建的或从各种信息源自动提取的,现实世界中的知识图谱通常存在严重的不完整性[1]、[4]。知识图谱推理旨在通过基于现有三元组预测缺失的实体或关系来缓解知识的稀疏性和不完整性[5]。如图1所示,训练图提供了一致的已知事实。在传递式推理框架下,测试阶段的查询仍然发生在与训练阶段相同的实体集内。然而,在现实世界的知识图谱中,新的实体和关系不断被添加[6],使得传递式推理方法难以应用。现有的归纳推理框架[7]假设训练图和测试图之间的实体集是不相交的,要求模型将训练图中学到的结构转移到测试图中以预测新实体的缺失三元组。
主流的知识图谱推理方法可以大致分为基于三元组的方法[8]、[9]、[10]、基于路径的方法[11]、[12]以及基于图神经网络(GNN)的方法[13]、[14]、[15]。其中,基于GNN的方法在统一的消息传递框架内整合了关系语义和图结构信息,从而在归纳推理领域占据了主导地位。最近关于基于GNN的归纳推理的研究可以大致分为三个阶段:局部子图编码方法,如GraIL[16]、TACT[17]、SNRI[18]、CRTL[19]和S2DN[20];增量查询感知传播方法,如RED-GNN[21]、AdaProp[22]、MStar[23]和Context Pooling[24];以及最近的可转移或关系泛化方法,如TARGI[25]、GraphOracle[26]、ULTRA[27]和TRIX[28]。这些研究方向在平衡局部结构编码、查询条件下的证据扩展以及跨图可转移性方面有所不同。然而,大多数方法未能完全捕捉查询关系和候选实体之间的复杂交互。解码阶段通常使用对称或简化的评分函数,难以有效捕捉强方向性或复杂的关系模式。为了解决这些挑战,我们提出了一种称为Query-Aware Propagation and Decoding (QAPD)的模型,这是一种用于条件查询下的渐进式查询感知实体归纳推理框架。
最近以迁移为导向和基于大型语言模型(LLM)的方法扩展了归纳推理,超越了传统的渐进式GNN设置。在这项工作中,我们专注于标准的实体归纳尾部预测,其中图结构本身是主要的证据来源。因此,QAPD应被视为一种渐进式查询感知传播模型。相对于之前的传播方法,其主要技术贡献包括QCA中的目标特定边竞争、ARMF中的自适应跨层融合以及PDD中的关系模式感知解码。
贡献总结如下:
•我们提出了QCA,它在当前查询下对传入的证据边进行目标特定的竞争,而不是独立地分配边的重要性。
•我们提出了ARMF,用于将新聚合的证据与历史节点表示自适应地融合,从而提高多跳查询感知传播的稳定性。
•我们开发了PDD,用于共同建模对称和反对称的关系模式,通过关系感知解码补充了传播方面的改进。
部分摘录
基于三元组的方法
知识图谱中的三元组由头部实体、关系和尾部实体组成。基于三元组的推理方法依赖于单个三元组的模式和属性来进行推理。它们将实体和关系嵌入到低维向量空间中,并通过评分函数来衡量候选三元组的可能性。这些方法可以进一步分为几种类型:翻译距离模型,如TransE[8]、TransH[29]、TransR[30]和RotatE[31]等。
归纳式知识图谱
知识图谱可以表示为一个有向的多关系图
其中
是实体集
是关系集
是事实三元组集[5]。每个事实由一个有序三元组表示
,其中头部实体
通过关系
与尾部实体
相连
。为了便于建模关系方向性和消息传递,通常会从原始关系集中显式构建逆关系集
,并引入自环关系
方法
本节介绍了所提出的QAPD自适应归纳知识图谱推理模型的整体框架,如图2所示。给定一个归纳测试图
和一个查询
,模型首先对整个图进行轻量级的预编码。通过快速选择模块,它自动选择与头部实体
在查询条件下相关的一小部分起始实体,构建查询的初始子图表示。
数据集和评估指标
遵循GraIL[16]提出的方法论,我们使用了三个归纳式知识图谱推理基准数据集:FB15k-237[34]、[46]、WN18RR[34]和NELL-995[36]。我们遵循归纳划分方案,即训练图和测试图在实体层上是相互独立的,但共享相同的关系集。每个数据集包含四个版本——v1、v2、v3和v4——以反映不同的结构复杂性和分布差异。表2详细列出了实体数量
结论
本文旨在改进实体归纳知识图谱推理中查询条件和结构化证据的建模。为此,我们提出了QAPD,这是一种查询感知的图神经框架,它结合了渐进式多起点传播、查询条件下的证据过滤和模式感知解码。实验结果表明,QAPD在大多数评估的分割上优于直接可比的传统基线和密切相关的渐进式传播基线
CRediT作者贡献声明
卢彦军:写作 – 审稿与编辑、监督、资源管理、项目管理、调查、资金获取。
杜芳芳:写作 – 审稿与编辑、初稿撰写、可视化、验证、监督、项目管理、方法论、调查、形式分析、数据管理、概念化。
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。
杜芳芳
于2024年获得中国北京联合大学的信息安全学士学位。她目前在中国重庆工业大学的计算机科学与工程学院攻读硕士学位。她的研究兴趣包括知识图谱推理和图神经网络。