NSAP：用于知识图谱补全的神经符号自适应传播方法

《Information Fusion》：NSAP: Neuro-Symbolic Adaptive Propagation for Knowledge Graph Completion

　　

• NSAP实现了知识图谱补全（KGC）中的神经符号自适应传播。• RGMP缓解了多跳传播中的语义漂移问题。• RANS通过抑制不相关扩展来缓解实体爆炸问题。引言知识图谱（KG）通过将异构事实表示为结构化的关系形式，支持多种现实世界的应用，包括推荐系统、问答系统、信息抽取和网络搜索[1]。然而，通过人工整理或自动抽取构建的知识图谱通常是不完整的[2]。这一局限性促使了知识图谱补全（KGC）的研究，其目标是从观察到的三元组中推断缺失的事实。现有的KGC方法可大致分为基于嵌入的方法、基于规则的方法、基于大语言模型（LLM）的方法和基于图神经网络（GNN）的方法[3]。其中，基于GNN的方法因能够显式聚合来自局部图邻域的结构信息而备受关注。特别是，渐进式传播GNN在源自查询实体的动态扩展子图上执行查询条件化的逐层消息传递。通过限制传播至选定的邻域，这些方法可以减少不必要的计算，缓解无差别深度传播的不利影响，并保留显式的传播轨迹以促进路径级分析。渐进式传播GNN面临的一个关键挑战在于如何保持关系组合的顺序。在多跳推理中，一条路径不仅仅是一组关系的集合，而是一个有序的关系序列，改变关系的顺序可能会从根本上改变归纳出的关系模式的语义。如图1所示，由brother_of后接father_of组成的路径与由father_of后接brother_of组成的路径包含相同的关系，但支持不同的逻辑推论。因此，在传播过程中应对它们进行区分。然而，某些渐进式传播GNN使用交换律操作（如关系嵌入上的向量加法或逐元素乘法）来编码多跳关系组合。由于这些操作没有显式保留路径中每个关系的位置信息，相同关系的不同顺序可能会被分配相似的关系表示或传播分数。这使得模型难以一致地偏好语义上合适的推理轨迹。该问题还会因渐进式消息传递而进一步加剧，在此过程中，节点表示会在多个层中被反复聚合。一旦关系顺序信息从中间表示中丢失，后续层无法仅凭聚合状态可靠地重建它。因此，在传播过程中可能会混合来自逻辑不兼容关系模式的证据，增加语义漂移并损害多跳推理的可靠性。此外，基于渐进式传播GNN的方法容易出现实体爆炸问题。随着传播深度的增加，探索的邻域规模可能呈组合式增长，因为每个新到达的实体都会引入其自身的出边邻居[4]。图2通过一个推荐式示例说明了这一现象。当预测用户John可能购买的物品时，第一步传播必然会考虑与John直接相连的实体，例如图1所示，这些实体包括他交互过的物品、关注的品牌和浏览过的类别。在第二步及后续步骤中，消息传递扩展到这些中间实体的邻居，引入了额外的用户、产品、属性和辅助概念。由于现实世界的知识图谱通常表现出高度异构的连接性，这种扩展可能会迅速扩散到图的很大一部分。这种快速增长存在两个问题。首先，大多数新引入的实体与查询仅弱相关。回答查询(h, r, ?)所需的证据应该是查询依赖的，意味着模型应优先选择与特定关系r及其所表达的语义相关的实体和路径。然而，朴素的 Multi-hop 扩展无法区分与关系相关和不相关的分支，因此大量扩展的节点会贡献噪声或误导性消息。这些不相关实体会因数量庞大而在聚合中占主导地位，稀释关系信号，并随着深度增加而不稳定推理过程。其次，实体爆炸会显著增加计算和内存成本。需要处理的节点和边数量在每一跳中快速增长，增加了消息传递、注意力计算和中间激活存储的成本。因此，基于渐进式传播GNN的方法面临着一个实践中的权衡：既要探索足够长的路径以支持推理，又要保持传播子图足够小以确保效率和鲁棒性。逻辑规则为解决上述局限性提供了一种自然的归纳偏置。与对顺序不敏感的关系聚合不同，Horn规则将查询相关的关系模式编码为谓词的有序序列，从而保留了多跳推理所需的顺序结构。此外，由于每条规则都与特定的头谓词相关联，它提供了查询条件化的指导，指示哪些关系转换和中间实体更可能有助于预测目标关系。这些特性使Horn规则非常适合渐进式传播：它们提供了区分语义上有效的关系顺序的显式线索，并在子图扩展过程中优先选择相关的分支。然而，纯粹基于规则的推理在实践中可能是脆弱的，因为其有效性取决于提取规则的覆盖率和精确度。规则提取、置信度估计或中间匹配中的错误也可能通过推理过程传播并影响最终预测。因此，我们不将Horn规则视为独立的符号预测器。相反，NSAP将它们用作结构化先验来指导神经传播，使基于GNN的消息传递能够保留其数据驱动的灵活性，同时利用符号规则提供的顺序敏感性和查询特定约束。受这种互补关系的启发，我们提出了神经符号自适应传播（NSAP）框架，该框架将一阶Horn规则集成到渐进式传播GNN中，作为结构化推理先验而非事后解释。如图3所示，给定查询关系rq，NSAP首先检索一组头谓词与rq匹配的高置信度规则。在查询特定子图的逐层传播过程中，一个规则进度跟踪器维护这些规则在探索的推理轨迹上的匹配状态，识别哪些体谓词已被满足以及下一个期望的关系是什么。基于这些匹配状态，NSAP推导出两个互补的神经符号信号：(i) 边级规则一致性分数，用于衡量候选边与已激活规则的下一个未匹配谓词之间的兼容性；以及(ii) 节点级规则先验，用于聚合实体从部分匹配规则中获得的支撑。边级分数被纳入注意力机制中，以将消息传递偏向规则一致且顺序敏感的关系组合。同时，节点级规则先验与结构重要性分数相结合，以指导自适应节点采样，在每一跳传播中根据联合分数保留前K个实体。通过将规则引导的消息传递与自适应子图构建相结合，NSAP将传播引导至语义连贯的推理轨迹，同时限制不相关的邻域扩展，从而提高推理准确性并促进路径级解释。总体而言，本文的贡献有三个：• 我们提出了一种规则引导的消息传递机制，根据每个边的关系与当前规则要求的匹配程度为其分配一致性分数。通过将这些分数注入消息传递的注意力权重中，模型强化了规则一致的关系组合，并显式编码了多跳关系组合的顺序敏感性。• 我们引入了一种规则感知的自适应节点采样策略，以缓解多跳传播中的实体爆炸问题。NSAP从部分满足的规则中推导出节点级规则先验，并将其与结构重要性分数相结合以修剪噪声实体，将传播集中在规则相关的区域，同时保持探索的子图紧凑。• 我们在四个基准数据集（FB15k-237、WN18RR、NELL-995和YAGO3-10）上进行了大量实验。实验结果表明，NSAP在传递式和归纳式KGC设置下均取得了强大且具有竞争力的性能，证实了其有效性和泛化能力。进一步的消融研究验证了规则引导的消息传递和规则感知的自适应节点采样的贡献。本文其余部分组织如下：第2节回顾了知识图谱补全的相关工作，涵盖基于嵌入、基于规则、基于GNN和基于LLM的方法，特别关注神经符号和查询依赖的多跳推理。第3节介绍了所提出的神经符号自适应传播框架，包括问题定义、渐进式传播架构、规则进度跟踪、规则引导的消息传递、规则感知的自适应节点采样以及学习目标。第4节介绍了实验设置并报告了主要结果、消融研究以及在基准数据集上的进一步分析。最后，第5节总结了全文并概述了未来研究方向。相关工作为了在详细讨论之前提供代表性KGC范式的简洁概述，表1总结了它们的方法论特征，遵循先前工作[5]采用的做法。具体来说，该表比较了基于嵌入、基于规则、基于GNN和基于LLM的主要优势和局限性。算法在本节中，我们首先形式化知识图谱补全问题并介绍基本的传播设置。然后，我们提出了所提出的神经符号自适应传播框架并描述了其主要组件。为提高可读性并便于后续分析，本文经常使用的符号总结在表2中，遵循在紧凑表格中呈现关键符号的做法[22]。实验设置数据集我们在四个公共基准数据集（包括WN18RR [8]、FB15k-237 [23]、NELL-995 [24]和YAGO3-10 [25]）上进行了对比实验，以评估我们在KGC任务上的方法有效性。按照常见做法，我们使用WN18RR、FB15k-237、NELL-995和YAGO3-10进行传递式推理，并额外报告了WN18RR、FB15k-237和NELL-995的归纳式推理（由于缺乏广泛采用的归纳式划分而省略了YAGO3-10）。表3总结了结论总结。我们提出了神经符号自适应传播（NSAP），一种用于知识图谱补全的框架，该框架整合了神经和符号推理以实现高效推理和更透明的多跳推理。具体来说，NSAP利用Horn规则先验来指导PGNN风格的传播，通过鼓励沿规则一致的关系轨迹进行消息传递并优先选择更可能激活查询相关规则的实体。通过边级规则一致性...未引用的引用缺失引用表6。CRediT作者贡献声明Xinde Yu：撰写 - 审阅与编辑，撰写 - 原稿，方法论，形式化分析。Hui Zhang：验证，数据管理。Bo Zhang：撰写 - 审阅与编辑。Kun Gao：撰写 - 审阅与编辑，验证。Zhao Jin：资金获取，形式化分析。Mingliang Xu：方法论，资金获取。利益冲突声明作者声明他们没有已知的竞争财务利益或个人关系，这些利益或关系可能已经影响到本文所报告的工作。Xinde Yu|Hui Zhang|Bo Zhang|Kun Gao|Zhao Jin|Mingliang Xu