通过逻辑信息传播中的关键特征融合来提升知识图谱推理能力
《Neurocomputing》:Advancing knowledge graph reasoning through key feature fusion in logical message propagation
【字体:
大
中
小
】
时间:2026年05月09日
来源:Neurocomputing 6.5
编辑推荐:
曾雅健|侯小荣|王新瑞|李军英|杨静静|梁淑敏
中国电子科技大学自动化工程学院,成都,611731
**摘要**
在知识图谱推理领域,基于图神经网络(GNN)的方法因能够捕捉复杂的结构信息而表现出色。然而,传统的GNN技术主要关注全局信息传播以提取特征,常常忽略了明
曾雅健|侯小荣|王新瑞|李军英|杨静静|梁淑敏
中国电子科技大学自动化工程学院,成都,611731
**摘要**
在知识图谱推理领域,基于图神经网络(GNN)的方法因能够捕捉复杂的结构信息而表现出色。然而,传统的GNN技术主要关注全局信息传播以提取特征,常常忽略了明确逻辑规则结构及其相互联系的关键作用,而这些对于精确高效的推理至关重要。为了解决这一局限,我们提出了一种新颖的逻辑消息注意力图神经网络(LMAGNN),旨在强调和利用关键的逻辑规则结构及其语义关系。我们的方法引入了一种专门的逻辑消息传播机制,用于揭示在复杂网络中常常被掩盖的重要规则模式。该机制增强了模型优先处理和聚合关键逻辑规则为有效特征的能力,从而优化了推理过程。此外,为了克服传统概率路径剪枝的局限性(后者通常依赖于随机选择),我们提出了一种动态顶端采样方法。该方法根据传播机制的指导,根据局部查询上下文和关键逻辑规则特征自适应地选择传播路径。在基准数据集上的实证研究验证了LMAGNN在识别和关注逻辑规则结构方面的优势,显著提高了推理的质量和鲁棒性。我们的结果展示了该模型的有效性,体现了其在该领域推动重大进展的潜力。
**引言**
知识图谱(KG)是表示现实世界实体及其在语义和逻辑框架内复杂相互关系的复杂数据结构[2]。尽管它们非常有用,但实际的KG往往具有固有的稀疏性和显著的完整性缺失[22]。因此,推理推理已成为推断缺失信息和增强计算智能的关键需求。这样的推理能力对于下游应用至关重要,包括问答[12]、信息检索[27]和语义推理[17]。本文特别关注于改进链接预测任务的推理机制,这些问题被表述为完成查询的形式,目标是推断缺失的尾部实体。
在过去十年中,知识图谱推理发展出了三个主要范式:
- **知识图谱嵌入(KGE)方法**(例如,TransE[1]及其变体[13]、[21]、[38]),将实体和关系映射到连续向量空间中;
- **基于规则的推理**(例如,RNNLogic[25]),专注于学习符号逻辑规则;
- **基于结构的推理**,利用图神经网络(GNN)来捕捉拓扑特征。其中,基于GNN的方法通过聚合邻近信息显示出了优越的性能。现有的GNN方法可以根据其传播策略进一步分类:
- **全传播**(例如,R-GCN[29]),更新所有节点,但计算开销高且过度平滑;
- **受限传播**(例如,GraIL[34]),将搜索空间限制在局部子图;
- **渐进式传播**(例如,NBFNet[45]和Adaprop[42]),通过邻近节点迭代更新节点特征。最近的进展通过引入动态子图注意力[37]、解耦的语义-结构建模[18]和分层推理[39]进一步细化了这些技术。
例如,DSA[37]引入了一种动态子图注意力机制,可以自适应地识别和关注最具信息量的局部结构,有效减少传播过程中的噪声。为了进一步精细化表示学习,DSGNet[18]提出了一种解耦的语义-结构建模方法,分别编码关系语义和拓扑结构,以防止特征纠缠。此外,还探索了分层推理框架[39]来捕捉图中的多级依赖关系。
尽管有这些进步,现有的基于GNN的推理模型仍存在两个根本性问题。首先,大多数框架以统一或纯粹概率的方式传播信息,实际上将图视为统计流形,而忽略了控制多跳推理的明确逻辑规则。随着传播深度的增加,任务相关的信号不可避免地被无关的结构噪声淹没,导致严重的信号衰减[44]。其次,当前模型在传播过程中通常无法保留查询依赖的逻辑路径结构。没有这种结构化的指导,它们难以捕捉复杂多跳推理所需的组合语义[43]。
如图1所示,像“Tom的母亲是谁?”这样的查询需要优先处理特定的逻辑序列(例如,brother/mother),同时抑制无关的关系。优先处理这些逻辑上一致的 message 结构使模型能够过滤掉结构上接近但语义上无关的噪声,而后者往往依赖于学习的效用分数或结构接近性,无法被准确区分。
**动机**
受到这些观察的启发,我们提出了逻辑消息注意力图神经网络(LMAGNN),这是一种新型架构,明确优先处理逻辑规则结构以提高推理精度。我们的贡献有两个方面:
1. **逻辑消息注意力机制**:我们引入了一个系统化编码多步逻辑依赖关系的框架,识别在复杂知识图的密集和噪声环境中常常被掩盖的关键关系模式。
2. **逻辑引导的动态采样**:我们提出了一种基于逻辑规则效用的动态顶层采样策略。与依赖结构接近性或学习启发式的传统剪枝方法不同,我们的策略通过将局部查询上下文与全局逻辑知识对齐,确保了计算效率和推理的完整性。
为了促进未来的研究,源代码和详细文件可在以下链接公开获取:
http://github.com/lengyeautumn-web/lmagnn/
本文的其余部分安排如下:
第2节系统地概述了相关工作,将现有的知识图谱推理方法分为基于嵌入的、基于规则的和基于结构的范式。
第3节详细阐述了所提出的LMAGNN的架构设计,包括逻辑消息注意力机制、渐进式传播策略和逻辑驱动的采样方案。
第4节在三个基准数据集上进行了严格的实证评估,分析了LMAGNN与基线的性能,并讨论了消融研究的结果。最后,第5节总结了我们的贡献并展望了未来的研究方向。
**相关工作**
构建知识图谱推理模型的核心目标是捕捉图的结构和语义复杂性,从而实现对查询元组的准确推理。在所需三元组不存在于图中的情况下,先进的推理技术对于推断缺失的链接至关重要。在过去十年中,知识图谱推理取得了显著进展,方法不断进化以更好地处理知识图的固有复杂性和多样性。
**动机和逻辑必要性**
如第2节所讨论的,现有的基于GNN的推理方法引入了有效的策略来处理知识图谱(KG)的完整性和计算复杂性问题。然而,还存在一个关键缺口:这些模型主要依赖于拓扑接近性或概率启发式来进行信息传播和路径剪枝。虽然这些统计方法提高了效率,但它们往往是“逻辑不可知的”——它们无法明确区分结构上频繁出现的路径和……
**数据集**
本研究使用了三个广泛认可的数据集来评估所提出的图神经网络模型的性能,这些数据集来源于WordNet、Freebase和YAGO,涵盖了各种实体和关系,为我们的实验提供了全面的基础:
- **WN18RR**:该数据集来自WordNet,包含40,943个实体和93,003个关系三元组,涵盖了11种不同类型的关系。
**结论和未来工作**
本研究提出了逻辑消息注意力图神经网络(LMAGNN),这是一种通过逻辑驱动的视角重新概念化多跳知识图谱推理的复杂架构。通过将渐进式传播策略与新颖的逻辑消息注意力机制相结合,LMAGNN能够选择性地聚合语义相关的信息,同时抑制结构噪声。与主要依赖传统图神经网络(GNN)不同,LMAGNN……
**作者贡献声明**
曾雅健:撰写——原始草稿、软件、方法论、概念化。
侯小荣:撰写——审阅与编辑、监督、形式分析。
王新瑞:验证、软件。
李军英:撰写——审阅与编辑、形式分析。
杨静静:撰写——审阅与编辑、形式分析。
梁淑敏:撰写——审阅与编辑、形式分析。
**利益冲突声明**
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文所述的工作。
**致谢**
本项目部分得到了中国国家自然科学基金(项目编号12171073)的支持。
**作者简介**
曾雅健出生于中国广东,是中国电子科技大学的博士生,主修控制科学与工程。他的主要研究方向是知识图的自动推理和模式识别。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号