TreeQA：基于逻辑树推理增强LLM-RAG系统，实现可靠可解释的多跳问答

本文提出TreeQA框架，通过逻辑树分解多跳问题、融合结构化（KG）与非结构化知识源，并引入迭代自校正机制，显著提升大语言模型（LLM）在复杂问答任务中的可靠性（减少幻觉）和可解释性，在多个基准数据集上实现4%-12%的性能提升。

　　

Highlight

多跳问答（MHQA）作为复杂信息检索的核心任务，对当前大语言模型（LLM）和检索增强生成（RAG）系统仍具挑战性，因其存在幻觉、依赖静态知识及推理过程不透明等问题。现有RAG方法虽有一定效果，但在多步推理和可验证准确性方面仍存在不足。本研究提出TreeQA，一种新颖框架，通过将复杂多跳问题分解为层次化逻辑树（包含更简单、可验证的子问题），整合结构化知识库（如Wikidata）和非结构化文本（如Wikipedia）的证据，并在每一步推理中采用基于证据的迭代验证与自校正机制，动态修正错误并防止误差累积，显著提升了LLM-RAG系统在MHQA任务中的可靠性和可解释性。在四个基准数据集（WebQSP、QALD-en、AdvHotpotQA和2WikiMultiHopQA）上的大量实验表明，TreeQA的Hit@1分数分别达到87%、57%、53%和59%，较当前最优LLM-RAG方法提升4%-12%。这些发现突显了结构化、可验证推理路径在构建更稳健、精确和可解释的知识密集型AI系统方面的重要价值，从而增强LLM在复杂推理场景中的实际效用。

Introduction

多跳问答（MHQA）涉及通过多步推理过程提取和整合不同信息片段，近十年来受到广泛研究关注，被视为现代自然语言处理（NLP）系统的关键组成部分。近年来，随着大语言模型（LLM）在文本生成、理解和推理方面展现出强大能力，已有若干研究将LLM应用于MHQA任务，尤其是在开放域设置中。然而，MHQA对LLM仍构成重大挑战，因其使用可能严重受限于幻觉、依赖静态知识及推理过程不透明等问题。

检索增强生成（RAG）旨在通过整合外部知识提高LLM的可靠性，并被引入以提升LLM在MHQA任务中的表现。但标准RAG方法在复杂多步推理过程中常常失效。基于向量的检索方法主要依赖文本相似性，无法有效捕捉信息间的逻辑关系。基于图的检索可促进结构化推理，但现有基于图的RAG方法受限于知识图谱（KG）的完整性。信息缺失会破坏整个推理链的可信度。

混合RAG方法整合文本检索和KG检索，代表了有前景的方向，可发挥两种模式的优势。在混合RAG中，KG检索提供结构化精度，文本检索提供广泛上下文。然而，当前混合方法往往缺乏有效机制以证据验证推理并动态修正错误。这些方法仍依赖预定义搜索策略或需要额外模型训练，难以确保在不同多跳问题中可靠且可解释地找到并遵循正确推理路径。

为弥补这一差距，我们引入TreeQA，一个为可靠且可解释的多跳问答设计的框架。具体而言，TreeQA系统地将多跳问题分解为一系列更简单、相互关联的子问题，组织成逻辑树结构。树中每个节点包含一个子问题及由预训练LLM生成的相应假设。关键的是，混合知识源被咨询——从结构化KG（如Wikidata）提取事实，从非结构化文本（如Wikipedia页面）获取上下文——以迭代验证这些假设。通过基于最新外部证据的接地，幻觉被显著减少。当证据与假设矛盾时，LLM识别不一致性，修正假设，并调整逻辑树以细化后续推理。此迭代验证与校正机制是减轻级联错误、增强推理可靠性和可解释性的关键。

总之，本文的主要贡献如下：

• 我们引入逻辑树结构将多跳问题分解为更简单子问题，解决基于文本的检索方法在处理多跳问题时的局限性。

• 我们实现迭代自校正机制以动态细化推理路径，克服基于图的检索方法无法优化推理轨迹的问题，从而减少误差传播和模型幻觉以增强可靠性。

• 我们通过实验表明，所提出的TreeQA框架在基准数据集上较现有混合和代理RAG基线实现4%-12%的性能提升。

Methodology

基于对现有LLM-RAG方法及其在推理结构、证据整合和动态错误校正方面的挑战分析，本节详细介绍TreeQA框架。TreeQA通过三个核心阶段系统回答多跳问题。首先，逻辑树生成模块将输入问题分解为更简单子问题及其对应假设的层次结构。其次，知识检索模块从结构化KG和非结构化文本中收集相关证据。

Experimental Setup

本节提供对TreeQA在处理复杂知识库问答（KBQA）任务方面的全面评估，特别是那些需要多跳推理和整合多样知识源的任务。

数据集和评估指标。为评估TreeQA在KBQA任务上的性能，我们使用以下四个数据集：WebQSP、QALD10-en、AdvHotpotQA和2WikiMultiHopQA。这些数据集的统计信息见表1。

Conclusion

在本文中，我们提出了TreeQA，一个新颖框架，旨在解决LLM在多跳问答中可靠性和可解释性的挑战。通过将多跳问题分解为层次逻辑树，利用来自结构化和非结构化源的混合知识检索，并实施验证和自校正机制，TreeQA在多样QA数据集上展现出较现有LLM-RAG方法推理准确性的显著提升。