KD-GAG: 通过偏好感知子图剪枝的知识蒸馏图增强生成

《Neural Networks》：KD-GAG: Knowledge-Distilled Graph-Augmented Generation via Preference-Aware Subgraph Pruning

　　

•提出KD-GAG，用于高效构建知识图谱并实现精准检索。•通过与生成器的数据偏好对齐来优化检索。•在效率上优于基线模型，同时保持准确性。引言检索增强生成（RAG）近年来备受关注，因为它通过整合外部知识源来增强大语言模型（LLMs）的生成质量。如图1所示，RAG通过从大规模文档集合中检索相关信息，有效缓解了LLMs的知识局限性及幻觉问题。然而，当前的RAG系统仍面临若干关键挑战。首先，这些模型可能难以完全理解上下文语义，导致检索结果不精确。其次，检索到的上下文通常包含大量噪声，干扰了模型的推理与生成过程。最后，在处理海量数据集时，传统检索方法效率低下，难以满足实时和大规模应用的需求。这些问题制约了RAG模型在实际场景中的性能表现。受图结构潜在优势的启发，当前研究聚焦于基于图的RAG方法，这些方法通过将知识存储于图结构中来提升检索效率和知识表示能力。然而，现有的GraphRAG方法仍存在显著不足。首先，在知识图谱构建方面，许多方法依赖于已有的知识图谱，缺乏针对特定领域文档集合的定制化能力。即使一些方法尝试从文档中构建知识图谱，其关注点往往集中在优化检索模块，导致知识图谱构建过程过于简化，无法准确提取完整知识。此外，现有的无监督知识图谱构建方法通常需要多次调用LLM，导致效率低下，妨碍其在大规模数据集上的应用。再者，现有方法虽然优化了检索器，但忽略了检索器与生成器之间数据偏好的对齐，限制了生成器充分利用检索知识的能力，从而未能最大化其价值。为解决上述挑战，我们提出了一种新颖的框架——KD-GAG，旨在全面增强GraphRAG模型的知识提取与检索能力。具体而言，为平衡知识图谱构建的效率与质量，我们引入了一种基于知识蒸馏的方法。使用大规模教师LLM执行多步知识提取与融合过程，生成高质量知识图谱作为训练数据，随后用于微调较小的学生LLM，从而实现高效端到端的知识图谱提取。此外，为对齐生成器与检索器的数据偏好，我们基于生成器的最终响应计算奖励，对检索器进行偏好优化训练，确保两者之间的更好协同。KD-GAG的一个关键设计问题是如何在去除无关三元组的同时保留有用的图证据。与传统的段落检索不同，子图修剪操作的是通过实体和关系连接的、结构化的三元组，其中每个三元组的效用不仅取决于其与问题的局部相关性，还取决于其在所选择子图所捕获的推理结构中的作用。此外，大多数问答数据集仅提供答案级别的监督信号，而非明确标注哪些三元组应被保留的显式标签。因此，在此设置下直接将三元组视为独立的偏好单元是不够的。KD-GAG转而针对候选子图构建偏好，并通过其下游推理效用进行评估。在优化之前，筛选掉效用差异较小的偏好对，以减少模糊的偏好监督。通过这种方式，修剪检索器从下游推理效果中学习结构化的证据选择，而无需三元组级别的标注。我们的主要贡献如下：1. 我们开发了一种面向高效开放模式知识图谱构建的知识蒸馏方案，利用质量过滤的图监督，将教师LLM的多阶段提取、关系定义和规范化流程压缩至端到端的学生LLM中。该设计减少了重复的LLM调用，同时为下游GraphRAG保留了结构化知识。2. 我们引入了一种面向GraphRAG结构化子图修剪的偏好感知图检索器优化方法。该方法不再将三元组视为独立的关联单元，而是构建候选子图，通过答案级别的反馈评估其下游推理效用，并利用间隔过滤的偏好对优化检索器。该设计将偏好优化适配到图结构证据选择中，且无需三元组级别的监督。3. 在包括多跳问答、开放域问答和生物医学推理在内的四个问答基准数据集上的大量实验表明，KD-GAG具有有效性和适应性。即使在仅使用学生LLM构建知识图谱的情况下，仍能取得有竞争力的结果。章节片段相关工作KG+RAG。RAG通过从外部知识库中检索相关知识来增强LLM的生成能力，缓解知识稀缺和幻觉问题。例如，IR-CoT和KGP-T5等方法优化了检索模块，并将前k个检索到的文本块纳入提示中，以生成更准确的响应。然而，以文档作为知识库的RAG系统可能会引入大量来自过多上下文的噪声，这可能会……初步基础令D={D1,...,D|D|}表示一个文档集合，其中每个文档Di由多个段落组成：Di={d1,...,d|Di|}。通过对D中所有段落应用知识三元组提取，我们获得一个结构化的三元组集合：T={t1,...,t|T|}，其中tj=(headj, relj, tailj)，headj、relj和tailj分别表示第j个三元组的主实体、关系和尾实体。给定输入查询q，第一步是通过检索器从知识图谱中检索相关的三元组g={t1,...,t|g|}，其中tk∈T。概述如图2和图3所示，KD-GAG包含三个关键模块。首先，为减少LLM调用次数并建立端到端的知识图谱构建流程，我们采用教师LLM生成高质量数据，用于微调较小的学生LLM，从而在显著减少计算资源的同时，高效地迁移知识提取能力。然后，为准确检索与给定查询相关的三元组，我们从查询中提取主题实体……实验我们在基准数据集上开展实验，通过回答以下研究问题来验证方法的有效性：•RQ1：我们所提出的方法是否在基准数据集上优于现有方法？•RQ2：所提出的知识蒸馏方法和检索器优化方法能否提升模型性能？•RQ3：蒸馏后的学生LLM能否作为教师LLM的高效可行替代方案，用于大规模知识图谱构建……局限性偏好感知对齐在修剪检索器中引入了一定程度的生成器依赖性。我们的跨生成器结果表明，优化后的检索器可以迁移到密切相关的生成器，而对于差异较大的生成器家族，这种可迁移性可能会降低。重要的是，更换生成器无需重新构建知识图谱或重新训练学生LLM。现有的检索器可以先复用并与新生成器进行验证。当……结论本文提出了一种新颖的框架KD-GAG，以解决现有GraphRAG方法的局限性。通过利用知识蒸馏，KD-GAG高效构建了高质量的知识图谱，同时降低了计算成本。此外，基于强化学习的方法优化了子图修剪，使检索器的选择与生成器的偏好对齐，并最大限度地减少无关信息。在多种基准上的大量实验结果表明，包括……作者贡献声明Long Zhao：方法论。Yin Xu：撰写—原始稿，验证，概念化。Yanyan Wang：撰写—审阅与编辑，监督，项目管理。Fei Li：监督，软件，资金支持。利益冲突声明作者声明不存在任何已知的竞争性财务利益或个人关系可能影响本研究中报道的工作。致谢本研究由安徽博士后科研计划基金资助（编号2024A768）。Long Zhao|Yin Xu|Yanyan Wang|Fei Li