基于嵌入引导指令微调的预训练大语言模型知识图谱补全方法——EGIT框架

《Information》：Mitigating Hallucinations in Knowledge Graph Completion via Embedding-Guided Instruction Tuning Pengfei Zhang, Xing Xu, Junying Wu, Xin Lu, Jiahao Shi, Xiaodong Zhang, Dezhi Cui, Xiuxian Peng, Sihao He and Yifan Zhu + 4 authors

　　

摘要：知识图谱补全(Knowledge Graph Completion, KGC)旨在推断知识图谱(Knowledge Graph, KG)中缺失的三元组，传统知识图谱嵌入(Knowledge Graph Embedding, KGE)方法仅依赖结构信息而忽略语义，大语言模型(Large Language Model, LLM)进行开放式生成时易产生幻觉且缺乏结构约束。本文提出嵌入引导指令微调(Embedding-Guided Instruction Tuning, EGIT)，通过KGE模型捕获全局结构模式并检索候选实体生成含结构感知候选列表的指令数据集，在此基础上对LLM进行指令微调(Instruction Tuning)使其适应KGC闭域约束，推理时采用"检索—重排序(Retrieve-then-Rerank)"联合策略——KGE作为高召回检索器缩小搜索空间，微调后LLM作为高精度重排器进行选择。该方法将KGC从开放式生成转化为结构约束判别任务，实验表明EGIT优于基线方法，有效缓解LLM幻觉并提升KGC性能。

论文解读：Embedding-Guided Instruction Tuning (EGIT) —— 基于KGE引导指令微调的大语言模型知识图谱补全研究

一、研究背景与动机

知识图谱补全(Knowledge Graph Completion, KGC)的目标是预测知识图谱(Knowledge Graph, KG)三元组(h, r, t)中缺失的头实体、尾实体或关系。传统知识图谱嵌入(Knowledge Graph Embedding, KGE)方法（如TransE）将实体和关系投影至连续向量空间并通过评分函数衡量三元组合理性，虽善于捕捉全局结构拓扑但忽略文本语义信息。近年大语言模型(Large Language Model, LLM)被用于KGC任务，可通过自然语言理解语义并进行推理，但直接让LLM做开放域生成面临两大问题：(1) LLM易产生事实幻觉(Hallucination)，生成KG中不存在或错误的实体；(2) 标准指令微调未考虑KGC的闭世界假设(Closed-World Assumption)，LLM难以受限于原有实体集进行判别。为融合KGE的结构可靠性与LLM的语义推理能力，本文开展嵌入引导指令微调(Embedding-Guided Instruction Tuning, EGIT)研究，发表于《Information》期刊。

二、关键技术方法概述

研究人员以FB15k-237和WN18RR等基准KG数据集为样本队列来源，首先训练轻量级KGE模型（TransE或SimKGC）学习实体与关系的向量表示，利用KGE评分函数对所有实体计算似然得分并按相似度排序，取Top-K候选填入设计好的指令模板（含Query、候选实体列表Entities、辅助文本Info、正确答案Answer及特殊标记如[QUERY][ENTITY]）自动合成无标注指令数据集；其次采用QLoRA（Quantized Low-Rank Adaptation，低秩自适应量化微调，即冻结预训练LLM参数仅训练低秩矩阵ΔW=BA，B∈?^d×r，A∈?^r×k，r?min(d,k)）对LLM进行结构感知指令微调，损失函数为负对数似然?_FT=-∑_(q,a)∈DFTlog P(a|q;Θ_FT)；推理阶段实施两阶段联合推断——KGE模型做高召回候选检索（Top-K），微调后LLM对候选集重排序输出最终预测，即Retrieve-then-Rerank机制。

三、研究结果

3.1. Overview（总体框架）

EGIT分三阶段流水线：阶段1嵌入引导数据合成——训练KGE模型获取结构先验，基于相似度检索排名生成含硬负例与正例的候选列表填入指令模板自动构建指令数据集；阶段2结构感知指令微调——用合成数据以QLoRA方式微调LLM，使其学会从给定候选列表中选正确实体以对齐KG结构逻辑；阶段3联合推断——KGE先过滤噪声缩至Top-K候选，LLM再重排选出最优补全。该框架将KGC由开放生成转为结构约束判别任务。

4.2.1. Instruction Template Design（指令模板设计）

每条指令含四部分：(1) Query——自然语言描述任务类型及不完整三元组(h,r,?)；(2) Entities——KGE按相似度排名检索的候选实体列表作为选项；(3) Info——基于TF-IDF与查询相似的实体文本描述过滤无关噪声；(4) Answer——监督信号即正确实体。引入特殊标记令牌辅助LLM解析结构。

4.2.2. Automated Data Synthesis（自动化数据合成）

先在标准训练集T_train上最小化间隔排序损失或交叉熵损失训练KGE获实体关系向量；再对每个不完整三元组用KGE计算全实体集得分并归一化为概率分布P(t_c|h,r;Θ_EMB)=exp(f(h,r,t_c)/τ)/∑_t'∈Eexp(f(h,r,t')/τ)（τ为温度系数），按得分降序取候选填入模板，同时保证正例在列且混入难分负例。

四、讨论与结论

研究表明，EGIT有效桥接了KGE的结构先验与LLM的语义推理：KGE引导合成的指令数据使LLM适配闭域KGC约束，避免了纯生成式LLM的幻觉问题；Retrieve-then-Rerank联合推断兼顾KGE的高召回实体匹配能力与LLM的高精度语义判别能力。作者在FB15k-237和WN18RR上的实验验证EGIT在MRR(Mean Reciprocal Rank)、Hits@1、Hits@3、Hits@10等指标上超越传统KGE基线及LLM-based KGC基线方法。结论为：通过知识图谱嵌入引导的自动化指令数据生成结合参数高效微调与两阶段联合推理，可显著提升大语言模型在知识图谱补全任务上的准确性与可靠性，为结构—语义融合的KGC提供了新的可行范式。