RMKGC:基于推理依据引导的大语言模型多模态知识图谱补全

《Knowledge-Based Systems》:RMKGC: Rationale-Guided Reasoning with LLM for Multimodal Knowledge Graph Completion

【字体: 大 中 小 】 时间:2026年09月23日 来源:Knowledge-Based Systems 8.0

编辑推荐:

   本文提出了一种新颖的RMKGC框架用于多模态知识图谱补全(MMKGC)。本文利用大语言模型(LLM)生成推理依据,无需额外训练。推理依据指导多模态交互与解耦推理。该方法能更有效地保留模态特有特征。RMKGC在三个基准数据集上取得了最先进的性能。 **引言** 知识图谱(K

  

本文提出了一种新颖的RMKGC框架用于多模态知识图谱补全(MMKGC)。本文利用大语言模型(LLM)生成推理依据,无需额外训练。推理依据指导多模态交互与解耦推理。该方法能更有效地保留模态特有特征。RMKGC在三个基准数据集上取得了最先进的性能。

**引言**

知识图谱(KGs)是表示结构化知识的强大工具,已广泛应用于推荐系统[1]、问答系统[2]和故障诊断[3]等领域。单模态知识图谱通常依赖单一数据源来构建实体和关系表示,从而有效地捕获领域特定知识。然而,单一模态的数据往往存在固有局限性,无法全面表示实体的复杂特征和多维属性。因此,近年来研究重点转向多模态知识图谱(MMKGs),通过整合多种模态来增强实体表示和关系理解,从而提升知识图谱在更复杂应用中的性能[4]。尽管取得了进展,构建的知识图谱往往包含缺失或不准确的信息,降低了其在实际应用中的有效性。因此,知识图谱补全(KGC)成为关键研究方向,旨在补充缺失信息,提高知识图谱的完整性和准确性。

在单模态KGC领域,已有多种方法用于解决知识图谱中的缺失信息问题,大致可分为两类:嵌入模型[5]、[6]、[7]和神经网络模型[8]、[9]、[10]。嵌入模型将实体和关系映射到低维空间,利用数学模型构建实体与关系之间的链接属性,从而预测缺失的关系和实体。典型方法包括TransE[5]、DistMult[11]和HousE[12],其特征是参数较少、计算效率较高,能够在大规模知识图谱上快速训练和推理。然而,这些方法往往难以建模复杂关系或捕获高阶语义信息。例如,ConvE[8]基于卷积神经网络(CNN),R-GCN[9]基于图神经网络(GNN),kgTransformer[13]采用自注意力机制。这些方法在捕获知识图谱中的非线性关系和建模多跳推理方面表现更好,具有更强的表达能力。然而,它们通常涉及更多参数和更高的计算开销,因此在大规模知识图谱上的训练和推理需要更多计算资源。

与主要关注三元组建模的单模态KGC不同,MMKGC强调不同模态信息的融合,通过整合文本、图像和视频等多源数据来增强知识表示质量和推理能力。基于融合策略,MMKGC方法大致可分为两类:多模态实体融合(MEF)[14]、[15]和多模态关系共享(MRS)[16]、[17]。MEF主要关注如何从不同模态中提取有助于实体建模的特征,并将这些特征整合为统一的实体表示,如图1(a)所示。由于不同模态的数据可能提供互补信息,融合这些特征可以增强实体的语义表达能力,从而提高KGC的准确性。在实践中,不同方法采用各种融合策略。例如,TransAE[18]使用线性层对来自不同模态的特征进行映射和融合,生成统一的实体嵌入,而OTKGE[15]利用最优传输理论来对齐不同模态的特征,确保有效的多模态融合。这些方法的优势在于能够充分利用多模态信息,提升实体表示质量。然而,如何在融合过程中保持各模态的有效性,同时避免冗余和噪声干扰,仍是一个挑战。与MEF相反,MRS主要关注跨不同模态的关系表示建模,如图1(b)所示。这些方法通常采用共享关系建模的方法,即实体表示可以是模态特定的,但关系表示在所有模态间共享。换言之,该方法在不同模态的三元组中分别建模实体,但使用统一的表示进行关系建模。典型模型包括DKRL[19]和IKRL[20],它们为不同模态中的实体学习独立的嵌入表示,同时共享相同的关系表示。该方法的优势在于在一定程度上保留了不同模态的实体特征,并通过共享关系建模增强了模型的泛化能力。然而,跨模态的关系共享可能导致各模态信息的丢失、模态间关系表示的不合理以及模态间交互不足。此外,当前的多模态知识补全模型主要局限于特定数据集内的研究,尚未充分发挥大语言模型(LLMs)在推理和知识迁移方面的优势。

近年来,一些研究[21]、[22]、[23]开始利用LLMs进行知识图谱推理,借助其强大的文本理解、生成和推理能力,为KGC提供了新的视角和方法。根据功能角色,这些方法主要可分为两类:编码器[24]、[25]和推理器[26]、[27]、[28]。当LLMs用作编码器时,LLMs利用其强大的文本理解能力将知识图谱中的实体、关系及其语义信息转换为高维向量表示,旨在增强知识的表示和建模,使其更适合下游推理任务。与传统嵌入方法相比,LLMs能更好地捕获实体和关系的语义信息,并在多模态场景中整合来自不同数据源的信息。当LLMs用作推理器时,LLMs主要依赖其生成能力,基于输入的三元组或查询进行推理,生成预测结果。这些方法侧重于知识推断和补全,利用LLMs的知识迁移能力从现有知识中发现潜在关系,甚至在信息稀疏的情况下提供合理的补全。然而,一个局限在于,当LLMs用作编码器时,未能充分利用其推理能力;而当用作推理器时,往往需要额外训练以适应特定任务。

尽管存在这些局限,MMKGC与LLMs之间的差距主要在于当前整合方式的局限性。现有的MMKGC方法大多依赖隐式特征融合,缺乏显式的推理信号来指导跨模态交互。同时,基于LLMs的KGC方法通常将LLMs作为编码器或推理器使用,无法同时保留多模态知识图谱表示并充分利用LLMs的推理能力。为了弥合MMKGC与LLMs之间的差距,本文引入了一种新颖的框架——基于LLMs的推理依据引导推理用于多模态知识图谱补全(Rationale-Guided Reasoning with LLM for Multimodal Knowledge Graph Completion,RMKGC),如图1(c)所示。RMKGC在整个补全流程中利用LLMs生成的推理依据作为显式引导信号。具体而言,推理依据引导多模态实体与关系表示之间的交互,促使模型交换与查询三元组语义相关的信息。它们进一步指导三元组建模和后续推理,实现更有效的跨模态融合和更可靠的跨模态推断。为了直观理解推理依据如何有益于MMKGC,我们在图2中展示了两个代表性案例。如图2(a)所示,在预测三元组(?,has_part,stabilizer bar)的头实体时,提供的推理依据明确指出stabilizer bar是车辆悬挂系统的一个部件,通常出现在汽车或卡车上。这一语义线索引导模型聚焦于车辆类实体,并正确推断出"truck"。若没有推理依据,模型缺乏这种类型约束,反而产生了错误且过于泛化的答案"artifact"。在图2(b)中,对于三元组(Kasper Schmeichel, sports/team_roster/team, ?)的尾实体预测,推理依据阐明了该关系将专业运动员与"team"实体关联,而"team"是"sports/pro_athlete/teams"的子类型。这将模型的搜索范围限定在Kasper Schmeichel相关的足球俱乐部中,从而得出正确答案"Notts County F.C"。相比之下,若没有推理依据,模型未能应用必要的类型和上下文约束,导致错误预测"Jim Thorpe"。

本文提出的框架包含两个核心模块:MMKG与基于LLMs的推理依据编码模块,以及推理依据引导的交互与推理模块。首先,MMKG与基于LLMs的推理依据编码模块根据知识图谱和多模态数据从各种模态中提取实体和关系特征。为进一步辅助推理,设计了一种推理依据生成方法。该方法不需要对LLMs进行额外训练,能够构建高质量的推理依据。随后,推理依据引导的交互与推理模块采用Transformer结构。该设计使耦合的多模态特征与推理依据特征之间实现更深入的交互,增强了不同模态间的信息传递和协同建模。该模块进一步解耦交互后的多模态特征,并分别使用多模态信息和推理依据特征进行解码。此外,它还根据推理依据生成自适应模态权重,以衡量各模态对推理结果的影响。

本文的贡献总结如下:
- 我们提出了RMKGC,一种推理依据引导的框架,弥合了MMKGC与LLMs推理能力之间的差距。
- 我们设计了MMKG与基于LLMs的推理依据编码模块,提取多模态实体和关系特征,并在无需额外训练的情况下编码由LLMs生成的推理依据,提供高质量推理线索。
- 我们开发了统一的推理依据引导的交互与推理模块,其中推理依据引导跨模态特征融合并动态调节模态贡献,从而保留模态特有特征并提高推理效果。
- 在三个不同规模的基准数据集上进行的广泛实验表明,RMKGC取得了最先进的性能,持续优于单模态、多模态和基于LLMs的基线方法。

**多模态知识图谱补全**

现有的MMKGC研究主要关注多模态特征的融合。基于融合策略,这些方法可分为MEF和MRS两类。

**MEF** 这些模型从不同模态的实体中提取公共特征并整合为统一的实体表示。该表示整合了来自多个数据源的信息,从而增强三元组中实体的语义表达能力,提高模型预测的准确性。

**方法论**

我们首先介绍MMKGC任务的相关定义和基本概念。随后,展示RMKGC的整体框架,包括两个关键模块:MMKG与基于LLMs的推理依据编码模块,以及推理依据引导的交互与推理模块。然后讨论训练策略以优化模型性能并提升补全效果。

**实验**

为评估所提出RMKGC的有效性,我们在三个广泛认可的数据集上进行MMKGC实验,并将其性能与基线方法进行对比。详细的实验结果和分析如下所示。

**结论与未来工作**

本工作提出了RMKGC,一种将LLMs推理整合到MMKGC中的推理依据引导框架。与依赖数据集特定知识和统一融合策略的先前方法不同,RMKGC强调了推理依据在编码和推理中的核心作用。具体而言,所提框架建立了一种MMKG与基于LLMs的推理依据编码机制,该机制可在无需对LLMs进行额外训练的情况下生成和编码推理依据。该框架进一步开发了统一的推理依据引导的……

**CRediT作者贡献声明**

Lijia Hao(郝林佳):撰写——审阅与编辑、撰写——原始稿件、可视化、验证、软件、方法论、调查、形式化分析、数据整理、概念构思。Yongli Hu(胡永利):撰写——审阅与编辑、监督、项目管理、方法论、获取资金、概念构思。Zhongfan Sun(孙忠帆):撰写——审阅与编辑、概念构思。Huajie Jiang(蒋华杰):撰写——审阅与编辑、概念构思。Kan Guo(郭侃):撰写——审阅与编辑、概念构思。Tengfei Liu(刘腾飞):撰写——审阅与编辑。

**利益冲突声明**

作者声明,他们没有已知的竞争性财务利益或个人关系可能影响本文所报告的工作。

**致谢**

本研究得到中国国家重点研发计划(资助号:2021ZD0111902)、国家自然科学基金(资助号:U21B2038、62441232、62172022、62572017、62476179)和北京市教委科技计划项目(资助号:KZ202210005008)的支持。

Lijia Hao | Yongli Hu | Zhongfan Sun | Huajie Jiang | Kan Guo | Tengfei Liu | Junbin Gao | Yanfeng Sun | Baocai Yin
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号