TA-KGE:利用DV-MPNNs(一种具备实体类型感知能力的消息传递框架)提升知识图谱嵌入效果
《Data & Knowledge Engineering》:TA-KGE: Enhancing knowledge graph embedding with DV-MPNNs, an entity-type-aware message-passing framework
【字体:
大
中
小
】
时间:2026年05月02日
来源:Data & Knowledge Engineering 2.6
编辑推荐:
李志明|刘福德|张光康|郭伟健|游电龙
中国河北省秦皇岛市燕山大学人工智能学院(软件学院),邮编066004
**摘要**
由于MPNNs中的消息传递机制存在局限性,基于GNNs的现有知识图谱嵌入模型在生成实体嵌入时往往过度依赖局部邻域信息,导致实体间缺乏全局语义一
李志明|刘福德|张光康|郭伟健|游电龙
中国河北省秦皇岛市燕山大学人工智能学院(软件学院),邮编066004
**摘要**
由于MPNNs中的消息传递机制存在局限性,基于GNNs的现有知识图谱嵌入模型在生成实体嵌入时往往过度依赖局部邻域信息,导致实体间缺乏全局语义一致性。为了解决这个问题,我们提出了DV-MPNNs消息传递框架。该框架利用辅助信息重建实体之间的关系和图结构,将来自语义视角的语义特征与来自辅助视角的全局关系特征相结合。这一基础增强了实体特征信息的全局传递,并丰富了实体表示中嵌入的语义内容。在DV-MPNNs的指导下,我们引入了TA-KGE,这是一种基于GNNs的实体类型感知知识图谱嵌入方法。TA-KGE方法利用基于邻域的实体类型生成方法生成的实体类型信息,在模型训练过程中提取和融合语义特征和实体类型特征,从而得到最终的实体嵌入。基于邻域的实体类型生成方法利用了实体邻域关系的方向性、分类性、量化和结构性属性,实现了自动实体类型分类,并显著提高了TA-KGE的泛化能力。实验结果验证了TA-KGE和基于邻域的实体类型生成方法的有效性。
**引言**
知识图谱嵌入是一种表示学习技术,它将知识图谱中的实体和关系编码为低维的密集实值向量[1],目的是降低语义相似性度量的复杂性。这项技术在支持知识获取任务(如链接预测、三元组分类和关系提取[2])中发挥着关键作用,从而推动了信息检索[3]、智能问答[4]和推荐系统[5]等领域的高质量发展。
迄今为止,大多数先进的知识图谱嵌入模型都是从TransE[6]、RESCAL[7]、DisMult[8]、ConvE[9]和ConvKB[10]等方法派生出来的。在这些模型中,实体和关系的嵌入表示受到初始化函数的重大影响,而这些初始化函数通常是随机且不可控的。此外,这些模型仅依赖三元组信息来嵌入实体和关系,这限制了它们在训练过程中细化实体和关系嵌入的能力,并阻碍了高度区分性嵌入空间的形成[11]。有效且全面地利用实体丰富的邻域结构信息以及潜在的类型信息[12]对于提高嵌入空间的区分性至关重要。
图神经网络(GNNs)由于其独特的信息聚合机制而特别适合知识图谱嵌入,这些机制允许有效利用实体节点的邻域结构信息。这使得能够更准确地建模知识图中实体和关系之间的复杂关系。因此,GNNs已被广泛应用于知识图谱嵌入任务[13]。大多数最先进的基于GNN的知识图谱嵌入模型采用编码器-解码器架构。在这种框架中,编码器使用MPNNs的消息传递机制来聚合邻域结构信息,生成实体和关系的嵌入。这些邻域结构信息通常包括一跳邻居、N跳邻居和关系类型。解码器随后使用自定义评分函数对编码器生成的嵌入进行微调,以确保生成高质量的实体和关系嵌入[14]。然而,这类模型的编码器经常面临以下挑战:
(1) 过度依赖局部特征
当前生成实体特征的方法受到GNNs消息传递机制的限制[15],严重依赖于邻近实体的特征以及目标实体与其邻居之间的关系。然而,这种方法缺乏确保实体间全局语义一致性的机制。此外,由于知识图谱固有的不完整性,实体邻域的稀疏性加剧了在嵌入生成过程中过度依赖局部特征的问题。
(2) 不足的实体邻域关系信息综合利用方法
在GNN框架内,现有使用局部特征生成实体嵌入的研究主要集中在两种主要方法上:一种仅聚合生成目标实体嵌入时的邻近实体特征[17],另一种同时结合邻近实体的特征以及目标实体与其邻居之间的关系特征[18]。显然,当前的方法尚未开发出有效策略来全面利用实体关系的类型、数量和结构等信息。
为了解决这些挑战,本文提出以下方法:从知识图谱的全局视角出发,我们旨在利用包括实体邻域关系的多样性、数量和结构在内的综合信息来推断实体类型。该方法旨在建立实体之间的全局关联。在MPNNs的消息传递机制的基础上,我们引入了一种新的消息传递框架,以促进辅助信息(如实体类型)的全局传播。该框架增强了实体间全局语义一致性约束,并减轻了在嵌入生成过程中对局部特征的依赖。这一过程面临几个挑战:
(1) 如何以适合无监督学习的方式有效表示实体邻域关系的特征(包括关系方向、类型、数量和结构等方面),以推断实体类型并建立实体间的全局关联;
(2) 如何利用能够建立实体间全局关系的辅助信息来提取实体的全局关联特征。
**本文的主要贡献如下:**
- 提出了一种基于邻域关系生成实体类型信息的方法:该方法充分利用了嵌入在知识图谱中的实体邻域关系信息,使用基于向量的表示生成邻域关系的全面特征(如方向、类型、数量和结构)。然后通过无监督学习方法从这些构建的邻域关系向量中推断出实体类型。该方法不依赖于知识图谱中的外部辅助信息,确保了高度的适应性。此外,生成的实体类型信息具有高度的可验证性和可解释性。
- 开发了基于图神经网络的双视图消息传递神经网络(DV-MPNNs)框架:该框架首先使用辅助信息识别具有全局关联的实体,并逻辑上重建实体关系和图结构。然后应用MPNN消息传递机制聚合邻域特征,并从原始图视图生成实体嵌入特征。从重建的图视图中提取实体的全局关联特征。这两种特征集被整合起来,以在嵌入生成过程中增强全局一致性约束,从而提高嵌入质量。
- 提出了基于图神经网络的实体类型感知知识图谱嵌入学习方法(TA-KGE):该方法利用基于邻域关系方法生成的实体类型信息作为补充信息。在DV-MPNNs框架的指导下,它构建了一个实体类型特征提取和融合模块,在嵌入过程中提取相同类型实体的全局关联特征。这些特征随后与实体的局部邻域特征融合。通过结合实体类型信息,该方法在嵌入生成过程中加强了全局语义一致性约束,有效减轻了对邻域和关系特征信息的依赖。
- 将TA-KGE方法应用于基于GNN的知识图谱嵌入模型:TA-KGE方法被应用于五种先进和经典的基于GNN的知识图谱嵌入模型,开发出了多个改进的TA-KGE模型。通过五个数据集上的链接预测任务验证了该方法的有效性。
**实验部分**
我们使用五个标准基准数据集评估了TA-KGE在五种图神经网络模型(SACN、CompGCN、RGCN、HRAN和SE-GNN)上的性能提升,并与现有的主流模型进行了比较分析。通过这些实验,我们验证了TA-KGE在不同数据集上的泛化能力和性能提升。
**附录**
- MPNNs:图神经网络(MPNNs)的消息传递框架
MPNNs中的消息传递过程包括两个关键步骤:消息传递和节点更新[15]。为了更详细地解释这一过程,我们定义了一个图,其中V表示节点集,E表示边集。消息传递过程包含多次迭代,每个节点的消息传递由方程式(1)和方程式(2)描述。
- 方法论
第3.1节介绍了DV-MPNNs框架,概述了如何利用辅助信息来识别和整合全局关联的实体。第3.2节提出了一种基于邻域的实体分类方法,用于对相同类型的实体进行分组。这种方法不需要知识图谱中的显式实体类型信息,且生成的实体类型具有高度的可验证性。第3.3节提供了详细的描述。
**实验**
我们使用五个标准基准数据集评估了TA-KGE在五种图神经网络模型(SACN、CompGCN、RGCN、HRAN和SE-GNN)上的性能提升,并与现有的主流模型进行了比较分析。通过这些实验,我们验证了TA-KGE在不同数据集上的泛化能力和性能提升。
**结论**
为了增强基于图神经网络的知识图谱嵌入模型中实体嵌入生成过程的全局一致性约束,设计了DV-MPNNs消息传递框架。在DV-MPNNs框架的指导下,提出了一种实体类型感知的知识图谱嵌入方法(TA-KGE)。TA-KGE方法利用通过基于邻域的实体类型生成方法获得的实体类型信息作为中介,逻辑上重建新的关系。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号