KAVER：一种基于知识增强的可验证思维链提示方法，用于对话答案生成

《Expert Systems with Applications》：KAVER: Knowledge-Augmented Verifiable Chain-of-Thought Prompting for Dialogue Answer Generation

多轮对话中知识增强的可验证推理框架KAVER通过分阶段架构解决事实一致性难题，包括动态子图构建、多路径符号推理和结构化响应生成，采用LoRA适配器实现参数高效训练，在CamRest、SMD和MultiWOZ 2.1上显著提升实体识别和综合得分。

　　

李昂昂（Shuqing Lianga）| 彭一飞（Yifei Penga）| 刘先帅（Xianshuai Lia）| 张健（Jian Zhanga）| 赵荣昌（Rongchang Zhaoa）

中南大学计算机科学与工程学院，中国湖南省长沙市庐山路932号，410083

摘要

基于知识的对话系统在多轮对话中难以保持事实一致性，经常产生与外部知识源不一致或矛盾的回应。这些失败通常源于缺乏明确的结构化推理机制来验证对外部知识的主张。现有方法要么隐式注入知识，从而失去可解释性，要么依赖端到端的微调，这不仅计算成本高，而且容易出现不一致性。我们提出了KAVER（Knowledge-Augmented Verifiable Reasoning）框架，通过分离符号推理和神经生成的解耦架构来解决这些限制。KAVER由三个紧密耦合的组件组成：通过k-hop扩展和相关性过滤进行上下文自适应子图构建；通过双向图遍历进行多路径符号推理，生成结构化的推理轨迹；以及基于知识图谱证据的实体级自一致性聚合的结构感知响应合成。KAVER仅训练轻量级的LoRA适配器（参数占比不到1%），同时保持主干大语言模型（LLM）不变，从而实现参数高效部署。在三个基准测试上的实验表明，KAVER在CamRest上获得了最高的实体F1分数（77.2%）和MoverScore（75.7），在MultiWOZ 2.1上获得了最高的BLEU分数（19.7）和综合得分（104.2）。虽然以检索为中心的方法在更大规模的数据集上实现了更高的实体覆盖率，但KAVER提供了从生成响应到知识图谱证据的明确推理链。

引言

以任务为导向的对话系统现已在关键应用中大规模部署，包括客户服务、医疗辅助和智能导航系统。这些应用需要流畅、事实准确且可追溯到可靠知识源的响应。大型语言模型（LLM）在自然语言理解和生成方面表现出强大性能（Chowdhery等人，2023年；Touvron等人，2023年）。然而，在多轮对话中提供可信的响应需要精确跟踪用户意图、对话上下文和相关外部知识（Guo等人，2024年；Liu, Keat, Fu, & Lim，2024a）。LLM在单轮问答中表现优异，但这一优势并未直接转移到扩展对话场景中（Laban, Hayashi, Zhou, & Neville，2025年）。多轮交互通常涉及上下文漂移和累积错误。随着对话的进行，推理稳定性下降，早期的不准确性越来越影响后续响应。使用DiaHalu基准测试（Chen, Chen, Zhou, Yishen, & He，2024a）的最新分析显示，大约43%的多轮对话中出现了幻觉现象，在基于知识的对话中这一比例高达46.36%，在推理任务中为50.19%。此外，幻觉具有滚雪球效应，即早期的错误会增加后续幻觉的可能性（Chen等人，2024a）。尽管LLM编码了与事实可靠性相关的内部信号（Li, Dayanik, Tyagi, & Pierleoni，2024a），但在多轮对话中的失败主要源于难以保持上下文忠实性和识别生成过程中的幻觉内容。

为了实现可信的、基于知识的推理，近期研究探索了将知识图谱（KG）作为结构化外部记忆的使用（Chen, Chen, Singh, & Sra，2024d；Park, Joo, Kim, & Kim，2024）。然而，大多数方法依赖于静态注入策略，将三元组附加到提示中（Li等人，2024b；Zhang等人，2024），将KG视为固定的知识库，而不是必须随对话上下文演变的动态推理结构。如图1所示，我们通过一个两轮导航场景发现了三个挑战：用户首先询问加油站的地址（第1轮），然后询问该路线的交通状况（第2轮）。尽管KG编码了这两种类型的关系，但现有的检索机制仍然固定在第1轮的实体上，从未根据新的信息需求扩展其范围（Yasunaga, Ren, & Leskovec，2022）。同样问题重重的是提示方面，模板在轮次之间被逐字重复使用，没有任何机制来反映第2轮引入的上下文变化（Rony, Usbeck, & Lehmann，2022）。现有设计对生成透明度的处理不足，因为响应是在不暴露任何中间推理步骤的情况下产生的，无法可靠地确定给定输出是基于检索到的KG证据还是仅仅反映了模型的参数偏见（Zhao, Zhao, Wang, Wang, & Xu，2024）。

Chain-of-Thought（CoT）提示（Zhou等人，2024）的出现引入了符号推理步骤。然而，当与KG推理结合时，仍然存在一个关键的验证缺口。生成的推理步骤可能引用不存在的KG连接，而自一致性解码（Wang等人，2023b）虽然聚合了多个生成结果，但通过多数投票选择答案，而没有验证推理路径是否在KG中具有结构基础。LLM在生成过程中也可能选择性地忽略提供的KG事实。这些限制表明需要一个明确的推理机制来处理结构化知识（Cheng等人，2024；Park等人，2024；Tan等人，2025）。

这些挑战促使我们重新考虑如何有效地将结构化知识整合到对话推理中。在KG上进行有效的基于知识的推理需要有目的的图结构遍历，其中推理结果取决于相关关系链的选择，而不仅仅是事实检索。与静态数据库不同，KG根据查询上下文支持多种推理，使得推理成为一个受路径约束的过程。系统必须识别反映对话轮次中不断变化的信息需求的路径，在探索多个候选链和结构有效性之间取得平衡，而不仅仅是表面上的合理性。我们通过一个两阶段架构来解决这一限制，该架构将符号路径发现与语言生成分开，结构化的Chain-of-Thought提示作为两个阶段之间的接口。具体来说，模型首先构建特定于上下文的子图，通过符号操作推导出多跳推理路径，然后将这些路径编码为结构化提示以指导生成。

为了解决结构感知和可验证推理的挑战，我们提出了KAVER（Knowledge-Augmented Verifiable Reasoning），这是一个将结构化知识图谱推理与大型语言模型结合的模块化框架，用于生成基于知识的对话。KAVER协调了三个阶段：首先，上下文自适应子图构建动态构建随对话上下文演变的特定于对话的子图，使用多通道编码来捕获符号拓扑和上下文语义；其次，多路径符号推理采用稀疏转换矩阵和轻量级GNN架构进行显式路径遍历，通过双向探索生成多个结构有效的推理链；第三，结构感知响应生成将路径转化为Chain-of-Thought提示，引导具有固定主干参数的Qwen7B解码器。多条路径产生多样化的候选答案，最终通过结构感知自一致性进行选择，评估实体对齐和关系连贯性，而不是表面投票。为了提高模型的提示遵循能力，我们对不到1%的参数应用了轻量级的LoRA适配，同时保持其余主干模型不变。这种设计将符号推理与语言建模分离，同时保持语义一致性，使得跨轮次生成具有可解释性和适应性。

我们在CamRest、SMD和MultiWOZ 2.1上评估了KAVER。该模型在保持语义一致性的同时提高了任务性能。在需要基于结构化知识的多跳推理的任务上，改进最为显著。我们的贡献总结如下：

• •
  我们提出了KAVER框架，它将图推理与响应生成分开，并在两个阶段进行优化。这两个模块通过结构化的Chain-of-Thought提示进行通信，而主干LLM保持不变。
• •
  我们设计了一个具有双向KG遍历的多路径符号推理模块，生成五个候选推理链。结构验证步骤根据提取的子图过滤每个候选链，确保每个跳都对应于真实的边，而不是幻觉连接。
• •
  我们构建了一个用于推理的上下文感知子图。从当前查询和最近的对话轮次中提取锚定实体。随着对话的进展，图扩展到k跳，以纳入相关知识。
• •
  我们在CamRest、SMD和MultiWOZ 2.1上评估了KAVER。KAVER在CamRest上获得了77.2%的实体F1分数，在MultiWOZ 2.1上获得了104.2的综合得分。消融实验表明，移除任何符号组件会导致实体F1分数下降6-7分，而BLEU分数仅下降1-2分，这暴露了表面流畅性指标在评估事实基础方面的不足。

相关工作

相关研究

基于知识的对话已经从结构化知识整合、图上的显式推理、检索增强生成和混合符号-神经建模的角度进行了研究。我们回顾了这些方向上的代表性方法，并讨论了它们在可控多轮对话设置中的局限性。

方法

本节介绍了KAVER框架，并概述了其架构设计和执行过程。我们首先描述了系统的整体结构，然后详细介绍了其主要组件，包括子图构建、多路径符号推理、响应合成和参数高效模型适配。

数据集和评估协议

我们在三个复杂性逐渐增加的基于知识的任务导向对话基准测试上评估了KAVER：CamRest（Wen, Liu, Che, Qin, & Liu，2018），一个旨在评估受控环境中实体基础的单领域餐厅推荐语料库；SMD（InCar）（Eric, Krishnan, Charette, & Manning，2017），一个涵盖导航、天气和日历领域的多意图测试平台；以及MultiWOZ 2.1（Budzianowski等人，2018），一个包含火车、酒店等大型多领域的语料库。

结论

我们提出了KAVER，一个用于任务导向对话的解耦符号-神经框架。它通过结合上下文自适应子图构建、多路径符号推理和结构感知Chain-of-Thought提示，生成基于知识图谱结构的可追溯推理路径的响应。KAVER保持主干LLM不变，仅训练轻量级的LoRA适配器。这种方法允许灵活部署，同时保持高事实准确性。我们在CamRest上评估了KAVER。

资助

这项工作得到了中国国家自然科学基金（项目编号62472446、62272485）和湖南省自然科学基金（项目编号2024JJ5445）的支持。

CRediT作者贡献声明

李昂昂（Shuqing Lianga）：概念化、方法论、软件开发、验证、形式分析、数据管理、初稿撰写、审稿与编辑、可视化。彭一飞（Yifei Penga）：审稿与编辑、项目管理。刘先帅（Xianshuai Lia）：审稿与编辑、项目管理。张健（Jian Zhanga）：资源管理、审稿与编辑、监督、项目管理、资金获取。赵荣昌（Rongchang Zhaoa）：资源管理、项目管理。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。