通过双路径知识整合提升大型语言模型在知识密集型问题解答方面的性能

《Neurocomputing》：Enhancing large language models for knowledge-intensive question answering with dual-path knowledge integration

　　王吉奎|郭凯轩|张永刚
中国吉林省长春市前进街2699号，吉林大学计算机科学与技术学院，邮编130012

**摘要**
大型语言模型在各种自然语言处理任务中表现优异，但由于缺乏明确的知识依据，往往难以应对需要复杂推理的知识密集型场景。结构化知识图谱为外部知识来源提供了有力支持，但现有的整合方法往往受到噪声子图以及符号结构与语言表达之间语义不对齐的制约。我们提出了一种协调的双路径知识整合框架，该框架结合输入层增强与参数层知识注入，解决了单路径方法在筛选相关知识及将其有效整合到模型表示中的局限性。具体而言，该方法通过加权子图选择机制动态过滤噪声三元组，利用基于注意力的细粒度匹配实现文本与图形语义的对齐，并将知识图谱表示注入大语言模型的参数空间，为推理过程提供结构指导。与此同时，由子图衍生的软提示可增强输入嵌入，优化表示空间，进而提升后续知识注入的效果。在多个公开基准测试上的实验表明，该方法在推理准确性方面具有持续的提升效果，证明了所提出的双路径整合策略的有效性。

**引言**
大型语言模型在文本生成、问答及推理等众多自然语言处理任务中展现了出色的性能。通过对多样化语料库的大规模预训练，这些模型获得了丰富的隐性世界知识，具备较强的泛化能力。然而，尽管取得了这些进展，大型语言模型在那些需要精确事实依据和多跳关系推理的知识密集型推理场景中仍表现不佳。在这种场景下，模型不仅需要回忆相关事实，还需对结构化关系进行组织和推理，而缺乏明确的结构化知识往往会导致不可靠的预测和推理错误。

知识图谱为实体和关系提供了结构化的表示形式，是一种明确且易于理解的事实知识来源。因此，将知识图谱与大型语言模型相结合，已成为提升知识密集型问答任务推理准确性的有效策略。常见的方法是从大规模知识图谱中检索与问题相关的子图，然后通过丰富输入上下文或向模型内部参数注入结构化表示的方式，将这些知识融入大型语言模型中。

尽管已取得一定进展，现有的基于知识图谱的大型语言模型方法仍存在若干根本性局限。首先，子图检索过程中常常会引入无关或噪声三元组，这些元素会掩盖有用的关系信号，从而降低后续推理性能，因为大多数方法缺乏区分有效三元组与噪声的机制。其次，离散的图形结构与连续的语言表示之间存在较大的语义差距，这使得大型语言模型在没有明确对齐的情况下难以充分利用结构化知识。此外，大多数现有方法要么仅采用输入层提示，要么仅采用参数层知识注入，二者相互独立。输入层方法主要影响注意力机制和信息选择，但无法确保结构化知识被真正内化；而参数层方法虽然直接修改模型表示，但却无法确定哪些知识最为重要。因此，这些方法可能无法同时满足知识密集型推理的两个核心要求：准确的信息选择和有效的知识吸收。

在本研究中，我们聚焦于知识密集型及多项选择题问答任务，通过引入外部知识图谱来增强大型语言模型的能力，为其提供事实依据和关系推理支持。为解决上述问题，我们提出了一种统一的双路径知识整合框架，该框架以协调的方式同时处理信息选择和知识吸收问题。具体而言，该框架首先检索与问题相关的子图，然后应用语义过滤机制，根据三元组在上下文中的相关性对其权重进行动态调整，从而减少噪声或无关知识的影响。为弥合图形结构与语言表示之间的语义差距，该框架还设计了跨模态对齐模块，将图形嵌入和文本嵌入融合在一起，并将其投影到大语言模型的嵌入空间中，形成具有结构意识的软提示。此外，为克服单路径整合的局限性，经过过滤的子图会通过两条互补的路径进行处理。在输入层面，软提示引导模型关注与知识相关的信息，从而实现准确的信息选择；在参数层面，通过LoRA技术将图形编码器各层的表示注入到大语言模型的对应层中，使模型能够通过表示更新更好地吸收结构化知识。至关重要的是，这两条路径并非相互独立：软提示通过重塑表示空间并引导注意力朝向相关知识，提升了参数层知识注入的效果。这种相互作用使得模型能够更有效地利用结构化知识，而不仅仅是简单地进行信息检索。通过联合训练这两条路径，模型学会了以协调的方式同时利用显式的关系线索和隐式的结构指导。

我们在三个广泛使用的知识密集型及常识问答基准数据集上进行了大量实验。我们的方法在与知识图谱增强的大型语言模型相比时，始终表现出良好的竞争力，证明了所提出的双路径设计在多种推理场景下的有效性。我们的贡献总结如下：
· 我们提出了一种统一的双路径知识整合框架，通过输入层软提示和参数层知识注入同时处理信息选择和知识吸收问题，且两条路径之间存在互补作用。
· 我们设计了动态知识过滤和跨模态对齐机制，以提高子图质量并缩小图形表示与文本表示之间的语义差距。
· 我们在多个知识密集型及常识问答基准数据集上进行了广泛实验，我们的方法始终优于强大的知识图谱增强基线模型。进一步的分析研究了图形编码器深度及知识注入策略对推理性能的影响。

**相关工作**
利用知识图谱增强大型语言模型，已成为提升事实推理能力和处理复杂问答任务的焦点。早期的研究主要采用检索增强策略，即将相关的知识图谱三元组或子图纳入模型输入，以丰富上下文理解。例如，KAPING[11]采用检索增强生成方式，直接从知识图谱中检索与任务相关的三元组并将其注入提示词中[18]。StructGPT[13]则引入了结构化初步知识图谱的概念。

**初步知识图谱定义**：将知识图谱定义为G=(E,R,T)，其中E是实体集合，R是关系集合，T是知识图谱中的三元组集合，记为T={(s,r,o)}∈E×R×E。此处，s和o分别表示三元组的头实体和尾实体，r则表示头实体与尾实体之间的关系。

**知识图谱增强型语言模型问答**：给定一个问题Q、一组候选答案A={a1,a2,…,an}以及一个知识图谱G，任务是从该知识图谱中检索出相关的子图Gsub。

**方法论**
本节我们将介绍所提方法的整体框架，如图1所示。给定一个问题及候选答案后，我们首先从知识图谱中检索与问题相关的子图，然后应用语义过滤机制，根据三元组的相关性对其权重进行重新分配，从而减少噪声并提升子图质量（见4.1节）。之后，对该过滤后的子图通过两条互补的整合路径进行处理。在输入层面，结合图形信息和文本信息……

**数据集**
我们在三个多项选择题形式的常识问答数据集上进行了实验：OBQA[28]，该数据集涉及基础科学知识，训练集、验证集和测试集分别包含4957/500/500个样本，每道题目有4个候选答案；ARC（挑战子集）[29]，来自美国八年级科学考试的更高级别基准数据集，训练集、验证集和测试集分别包含1119/299/1172个样本，题目为需要多跳推理的四项选择题；Riddle[30]则是难度最高的数据集……

**结论**
在本文中，我们提出了一种协调的双路径知识整合框架，旨在利用结构化图谱知识和多跳推理能力，提升大型语言模型在知识密集型问答任务中的性能。该框架在输入层面结合了具有结构意识的软提示，在多个Transformer层中注入了基于图形信息的表示，从而以互补的方式整合语义信号和结构信号，贯穿于整个模型处理流程之中。

**CRediT作者贡献说明**
王吉奎：写作——审阅与编辑，写作——初稿撰写，可视化，验证，软件，方法论，研究，形式分析，数据整理，概念构建。郭凯轩：写作——审阅与编辑，数据整理。张永刚：写作——审阅与编辑，监督，资源协调，项目管理，资金获取。

**关于写作过程中生成式AI及AI辅助技术的声明**
在准备本文档的过程中，作者使用了ChatGPT和Gemini来协助语言润色和提升手稿的清晰度。在使用这些工具/服务后，作者对内容进行了必要的审阅和编辑，并对最终发表文章的内容承担全部责任。

**利益冲突声明**
作者声明不存在任何可能影响本文所述工作的已知财务利益或个人关系。

王吉奎毕业于中国吉林大学，获得计算机科学与技术学士学位。他目前是吉林大学计算机科学与技术学院的研究生，主要研究方向为人工智能。