TRTMPM:用于多模态知识图谱补全的紧耦合推理任务消息传递模型
《Neurocomputing》:TRTMPM: Tight-coupling reasoning task message passing model for multi-modal knowledge graph completion
【字体:
大
中
小
】
时间:2026年04月21日
来源:Neurocomputing 6.7
编辑推荐:
李波|宋斌
中国西安西电大学集成服务网络国家重点实验室,邮编710071
摘要
多模态知识图谱补全旨在通过有效建模实体?多模态信息与图的结构信息,来解决多模态知识图谱固有的不完整性问题,这对于多模态信息检索和问答等应用至关重要。本文提出了一种用于多模态知识图谱补全的
李波|宋斌
中国西安西电大学集成服务网络国家重点实验室,邮编710071
摘要
多模态知识图谱补全旨在通过有效建模实体?多模态信息与图的结构信息,来解决多模态知识图谱固有的不完整性问题,这对于多模态信息检索和问答等应用至关重要。本文提出了一种用于多模态知识图谱补全的新的紧密耦合推理任务消息传递模型(TRTMPM)。在TRTMPM中,首先设计了一个紧密耦合推理任务跨模态注意力网络,通过充分建模推理任务的上下文信息以及不同模态间的交互特征,提取出针对推理任务且具有模态特异性的实体多模态特征表示。此外,为了解决在捕获图的结构信息时难以在复杂度与推理性能之间取得平衡的问题,设计了双轨消息传递网络,将图的结构信息有效地嵌入到实体的多模态特征表示中。同时,该网络还引入了基于输入的邻域注意力机制和语义感知的逐层采样机制,以在控制计算复杂度的同时提升推理性能。在多个基准多模态知识图谱补全数据集上的实验结果表明,所提出的TRTMPM优于现有的最先进方法。本文的源代码可在https://github.com/xdlb-git/TRTMPM获取。
引言
随着多模态数据的爆炸性增长,利用这类数据的研究与应用[1]、[2]、[3]受到了广泛关注。通过整合来自不同模态的丰富信息的多模态知识图谱[4]、[5],我们可以更高效地利用多模态数据来完成信息检索[6]和问答[7]等下游任务。然而,知识的多样性和复杂性导致了多模态知识图谱存在固有不完整性,例如图1中就遗漏了某个三元组。为了解决多模态知识图谱的不完整性问题,人们提出了多模态知识图谱补全技术,旨在利用知识图谱中已有的信息来推断那些缺失但实际存在的真实三元组。与传统仅包含关系三元组形式的结构化数据的知识图谱不同,多模态知识图谱还为实体引入了多模态辅助数据(如图像、文本等)。因此,如何有效结合图的结构信息与实体的多模态辅助信息,成为多模态知识图谱补全研究的热点。如图1所示,对于由红色虚线标出的三元组查询任务(“”,,?),尾实体是通过综合考虑结构信息与多模态辅助信息来预测的。
迄今为止,用于多模态知识图谱补全的多模态知识图谱推理方法[8]、[9]、[10]、[11]、[12]、[13]、[14]、[15]可大致分为单跳推理方法和多跳推理方法。单跳推理方法包括基于三元组的模型[8]、[9]、[10]以及神经网络模型[11]、[12],它们通过单跳邻域的三元组信息,获取包含结构信息和多模态辅助信息的实体及关系特征表示。不过,单跳推理方法缺乏推理结果的可解释性,也无法捕捉查询事实三元组周围局部结构中蕴含的潜在推理知识。而用于多模态知识图谱补全的多跳推理方法则包括基于路径的模型[13]和消息传递模型[14]、[15]、[16],这类方法首先从实体的多模态辅助数据中提取多模态特征表示,然后通过迭代决策生成与推理任务高度相关的关系路径,并捕获实体间的多跳邻域信息。尽管这些方法提升了推理的可解释性,但往往是以牺牲推理精度为代价的。相比之下,消息传递模型[14]、[15]、[16]利用图卷积操作递归地聚合局部邻域的结构信息,使得实体和关系的表示能够携带多模态辅助信息与图的结构信息,从而实现最佳的推理性能。基于现有研究,我们的工作重点在于利用消息传递模型设计出具有更好推理性能和可解释性的多模态知识图谱推理模型。
尽管基于消息传递模型的多跳推理方法在多模态知识图谱补全任务中取得了优异的性能,但它们仍面临以下两个挑战。挑战一在于,现有的多跳推理方法难以提取出针对推理任务且具有模态特异性的精细多模态特征表示。具体而言,一个实体的不同模态可能包含与该实体本身无关的信息,不同的推理任务也可能关注同一模态特征的不同方面。然而,现有的推理方法忽视了推理任务对实体多模态特征提取的影响,同时也不足以很好地建模不同模态之间的交互作用。这就导致在提取出的实体多模态特征表示中存在与推理任务无关的噪声特征,从而影响了实体表示的质量。此外,现有的多模态知识图谱推理方法通常通过将不同模态映射到统一的低维嵌入空间或使用相同的关系来引导跨模态的特征提取,这种方式可能导致不同模态中丢失具有模态特异性的特征信息,也难以准确捕捉模态间的互补语义信息。挑战二在于,多跳推理方法在让实体的多模态特征表示承载多模态知识图谱的结构信息时,难以在复杂度与推理性能之间取得平衡。现有的消息传递模型[14]、[15]、[16]利用图神经网络在所有实体的全局邻域中进行消息传递,这不可避免地引发了与推理任务无关的消息传递过程,涉及了大量不必要的实体,从而导致计算成本和推理复杂度显著上升。另外,虽然有一些方法[14]、[15]试图区分实体不同邻域的结构角色,但它们仍然无法解释邻域对推理结果的影响。
为了解决上述挑战,我们提出了一种遵循编码器-解码器框架的端到端模型——紧密耦合推理任务消息传递模型(TRTMPM)。在TRTMPM中,编码器引入了紧密耦合推理任务跨模态注意力网络和双轨消息传递网络这两个创新组件,分别用于捕获实体的多模态信息与图的结构信息。据此,编码器能够生成实体和关系的精细嵌入表示,而解码器则利用这些表示来为查询任务推断目标实体。具体而言,为了解决挑战一,设计了紧密耦合推理任务跨模态注意力网络,用于提取实体的精细多模态特征表示。与现有推理方法中的多模态特征提取策略不同,我们的网络将跨模态注意力权重的计算过程与不同模态下推理任务的上下文信息以及实体不同模态间的交互特征明确地结合起来。因此,这些融入了不同模态下推理任务上下文信息的注意力权重,能够引导网络提取出具有模态特异性且与推理任务紧密相关的特征信息。此外,通过模态间的交互特征增强跨模态注意力权重,还可以提取出具有足够模态间交互性且与各模态下实体特征相关的特征表示。同时,还使用了门控多模态单元来融合不同模态的特征表示,从而生成具有多模态互补性的特征表示。
进一步为了解决挑战二,设计了双轨消息传递网络,通过两个独立的图神经网络将图的结构信息嵌入到实体的多模态特征表示中。具体而言,其中一个图神经网络用于通过捕获查询实体的局部邻域结构信息来更新查询实体表示,另一个图神经网络则用于根据推理任务动态构建的子图来捕获拓扑结构信息,进而获得候选实体表示。值得注意的是,在动态子图的消息传递过程中,设计了基于输入的邻域注意力机制,通过利用查询关系为子图中的边分配不同的权重,从而提升推理过程的可解释性。此外,在扩展动态子图的过程中,还设计了语义感知的逐层采样机制,用于过滤出与查询关系在语义上相关的实体,从而减少无关实体带来的推理复杂度。最后,采用Conv-TransE解码器,基于实体和关系的嵌入表示来计算候选实体的可信度,从而确定最相关的实体以实现多模态知识图谱补全。总体而言,TRTMPM通过紧密耦合推理任务跨模态注意力网络和双轨消息传递网络这两个创新模块,分别解决了现有多跳推理方法在提取实体多模态特征信息与图的结构信息方面所面临的难题,因此能够实现更高的推理性能和更低的复杂度。
总结来说,本文的主要贡献如下:
• 提出了一种用于多模态知识图谱补全的新模型TRTMPM,它是一种遵循编码器-解码器框架的端到端模型。TRTMPM的编码器用于提取实体的精细多模态特征表示,随后捕获图的结构信息并将其嵌入到实体的多模态表示中。解码器则利用实体和关系的特征表示来识别不完整事实三元组中最相关的实体,从而实现多模态知识图谱补全。
• 设计了紧密耦合推理任务跨模态注意力网络,用于提取具有模态特异性的实体多模态特征表示,同时减少与推理任务及实体特征无关的噪声特征。此外,还设计了双轨消息传递网络,该网络创新性地将双轨图神经网络和动态子图引入多模态知识图谱补全领域。这种网络机制有效地解决了在将多模态知识图谱的结构信息嵌入到实体表示时难以在复杂度与推理性能之间取得平衡的问题。
• 在两个广泛使用的基准数据集上进行了大量实验。实验结果表明,TRTMPM的推理性能优于现有的最先进基线模型,证明了该模型的有效性。
相关研究
近年来,人们提出了知识图谱推理方法,通过推断知识图谱中缺失的知识来实现知识图谱补全。根据这些推理方法用于知识推理的信息量,可将它们分为两类:单跳推理(仅利用实体间的单跳信息)和多跳推理(利用关系路径中的多跳信息或子图中的多跳邻域信息)。接下来,我们将介绍这两类研究领域的相关工作。
初步定义与问题阐述
严格来说,多模态知识图谱被定义为一种有向图,其中和分别表示实体集合和关系集合。表示多模态知识图谱中已知的事实三元组,和分别是该三元组的主实体和尾实体,表示它们之间的关系。在多模态知识图谱中,每个实体都关联着结构数据(即知识图谱中的事实三元组信息)和多模态辅助数据(如图像和文本)。相应地,每个实体包含三种类型的……
实验设置
数据集:我们在两个广泛使用的基准数据集[68]和WN9[9]上评估TRTMPM的性能。FB15K-237是一个仅包含结构模态的单模态数据集,而WN9则是包含结构模态和视觉模态的多模态数据集。在这里,Freebase和WordNet中提取的关系三元组被用作FB15K-237和WN9的结构模态信息;ImageNet[69]中提取的图像则被用作WN9的视觉模态信息。我们的做法与之前的研究[8]一致。
结论与未来工作
在本文中,我们提出了一种用于多模态知识图谱补全的紧密耦合推理任务消息传递模型(TRTMPM),它是一种遵循编码器-解码器框架的端到端模型。TRTMPM的编码器由紧密耦合推理任务跨模态注意力网络和双轨消息传递网络组成。前者用于生成与推理任务紧密相关且与实体特征相符的精细多模态互补特征表示。
CRediT作者贡献说明
李波:写作——审稿与编辑,写作——初稿撰写,验证,软件,方法论,数据整理,概念设计。宋斌:写作——审稿与编辑,指导,方法论,概念设计。
利益冲突声明
作者声明没有已知的、可能影响本文所述工作的财务利益或个人关系。
致谢
本研究得到了中国国家自然科学基金(编号62372357、62201419)的支持。李波目前在中国西安西电大学电信工程学院攻读信息与通信工程博士学位,他的研究兴趣包括多模态知识图谱、知识图谱推理、图神经网络以及大型语言模型。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号