面向方向感知的图遍历技术，用于高效的多跳检索增强生成

《Engineering Applications of Artificial Intelligence》：Direction-aware graph traversal for efficient multi-hop retrieval-augmented generation

　　张秀欣|林杰伟台湾台中市逢甲大学学院摘要Tracert-RAG是一种用于文档级多跳推理的检索增强生成框架，它用以目标为导向的嵌入空间遍历取代了固定的top-k检索方式。对于给定的查询，Tracert-RAG会预测一个语义目标向量，筛选出在以查询到目标距离为边界的余弦距离走廊内的候选片段，并在一种自适应的方向偏置下贪婪地遍历该走廊，这种偏置会随着路径接近目标而增强。该框架的遍历路径长度会根据每个查询进行调整，从而无需再调整k值。在QuALITY长文档基准测试上，Tracert-RAG在k=10时与KNN表现相近，但在最强回答模型上，即使k=15也未能超越经过优化的KNN。当使用GPT-5.2作为回答模型时，它在100个问题的子集上能达到83%的准确率，在完整的2523个问题训练集上（使用默认的GPT-4o-mini目标向量预测器）能达到66%的准确率，而经过优化的KNN则分别能达到86%和71%。因此，其主要贡献并非最高的准确率，而是无需调优的自适应检索方式，这种方式具有两个优势：首先，在使用较弱的回答模型处理100个问题子集时，相比Graph RAG Basic Search能有5.9分的优势，而在Tracert-P消融实验中这一优势提升到了13.7分；其次，其索引成本比Graph RAG低两个数量级，同时在更强回答模型上的端到端准确率可与Graph RAG Local Search相媲美。目标向量消融实验表明，其性能提升源于遍历机制本身，而非单纯的查询重构。引言检索增强生成（RAG）通过在生成之前从语料库中检索相关段落，使语言模型能够借助外部知识。目前最常用的检索策略——嵌入空间中的top-k最近邻搜索——基于这样一个基本假设：与查询在语义上相近的内容就与答案相关。对于单跳事实性问题，这一假设成立，但对于多跳推理来说则不再适用。多跳问题要求模型遍历一系列证据：从初始前提出发，经过中间关联，最终得到可能与原始查询在语义上有较大差距的结论。top-k检索无法捕捉这种结构，它只会返回与查询最为相似的k个片段，而不考虑这些片段是否能构成连贯的推理路径。这样一来，上下文窗口中就会充斥着在语义上相似但逻辑上互不相关的片段。Graph RAG通过在整个语料库上构建符号化知识图谱，实现了结构化的多分辨率检索，从而解决了这一问题。然而，这种方法需要大量的LLM驱动的预处理工作——包括实体提取、关系分类、社区检测以及摘要生成——在回答一个查询之前就需要处理数千万个标记以及数千次API调用。此外，所生成知识图谱的质量也与构建模型密切相关：较弱的模型会生成质量较低的图谱，进而影响后续的检索效果。Tracert-RAG采取了不同的方法。它没有构建明确的知识结构，而是将检索视为在嵌入空间中朝着目标概念方向的前进过程。该框架通过用由目标向量驱动的单一自适应遍历取代top-K选择和深度限制，消除了固定的检索参数，同时还有一个退火参数α不断引导路径从广泛探索转向有方向的收敛。我们在QuALITY长文档基准测试上，使用两种不同容量的回答模型，分别在100个问题的分层子集和完整的2523个问题训练集上对Tracert-RAG进行了评估。我们的贡献如下：（i）无需调优的自适应检索——路径长度会根据每个查询自动调整，从而无需再设置因回答模型不同而最优值各异的k参数。在完整数据集上，使用GPT-5.2的KNN准确率在k=5时为66.31%，在k=15时为71.35%，选择错误的k值会导致5分的损失；而在Gemini上，KNN在k∈{5,10,15}时的表现大致稳定（误差在0.7分以内），因此当回答模型更倾向于使用更长的上下文时，无需调优的优势最为明显。（ii）在较弱回答模型的情况下，针对复杂的多跳问题，Tracert-RAG具有条件性的准确率优势，例如在默认的Tracert-Q配置下，其在Gemini上的难题上相比Graph RAG Basic Search有5.9分的优势，在Tracert-P消融实验中这一优势更是提升到了13.7分。（iii）在显著降低索引成本的同时仍能保持具备竞争力的端到端准确率——Tracert-RAG和KNN都只使用基于嵌入的索引，这比Graph RAG依赖LLM构建的知识图谱便宜两个数量级。需要明确的是，Tracert-RAG并未达到最高的准确率：在完整的2523个问题数据集上，使用优化后的k=15的KNN在GPT-5.2上的准确率比Tracert-RAG高约4分；在100个问题的子集上，KNN的k=15在Gemini上的准确率总体比Tracert-RAG高10分，而Graph RAG Local Search在Gemini上的准确率则比Tracert-RAG高15分。目标向量消融实验进一步证实，Tracert-RAG所带来的改进源自遍历机制，而非查询重构：直接使用重构后的查询进行KNN检索，在大多数k值下的表现都要差于原始查询。RAG（Lewis等人，2020年；Karpukhin等人，2020年）通过从语料库中检索语义上最相似的top-k片段，并将其传递给语言模型以生成响应，从而将密集检索与神经网络生成相结合。这种架构通常依赖于向量相似性（如余弦距离），并使用向量数据库来存储和查询嵌入式的文本片段（Yang等人，2024年；Yu等人，2024年；Zhang等人，2024年；Zhao等人，2023年）。尽管简单高效，但传统的RAG系统在处理多跳推理任务时往往表现不佳，因为这类任务需要结合来源文本中非相邻部分的证据才能给出答案。top-k检索常常会选出冗余或主题范围过窄的内容，从而限制了模型综合全局信息的能力（Jiang等人，2025年；Lin等人，2025年）。最近的研究还表明，检索效果会受到分块策略的影响。Bhat等人（2025年）在多个数据集和嵌入模型上系统地研究了固定大小的分块方式，发现最佳分块大小在很大程度上取决于答案的局部性和文档结构——较小的片段（64–128个标记）更适合基于事实的检索，而较大的片段（512–1024个标记）则适用于需要较长上下文背景的推理。这些研究结果凸显了静态分块的一个根本局限性：不存在一种普遍适用的理想分块大小。Tracert-RAG通过依靠方向性遍历动态选择不同长度的片段路径，避免了这种权衡，无需依赖固定的k值或分块大小。Graph RAG则在RAG框架的基础上，通过对输入语料库构建符号化知识图谱来对其进行扩展。它利用大型语言模型或外部工具提取实体和关系，然后将它们聚类为带有相关摘要的社区。检索操作是在这个知识图谱上分层进行的，这样可以实现更好的全局语义覆盖，并让答案更有依据地建立在结构化的证据之上（Edge等人，2024年；Han等人，2025年）。与传统RAG相比，Graph RAG能够提供更加易于理解且连贯的响应（Xiang等人，2025年），尤其是在处理复杂或多方面的查询时。不过，这种方法需要较高的预处理和推理成本，而且严重依赖外部的符号化基础设施（如实体链接器、摘要生成工具）。像Query2Box（Ren等人，2020年；Zhapa-Camacho和Hoehndorf，2025年）以及BetaE（Ren和Leskovec，2020年；Kim等人，2024年；Fei等人，2025年）这样的几何查询模型，将知识图谱上的逻辑查询（Jiang等人，2023年）表示为嵌入空间中的有限区域（如矩形框或分布区域）。虽然这些模型对于基于符号的多跳推理非常有效，但它们是为结构化的三元组知识图谱设计的，不适用于自由形式的自然语言语料库或检索增强生成场景。Tracert-RAG流程概述Tracert-RAG通过用动态的目标导向遍历取代静态的top-k最近邻检索，从而提升了传统RAG的性能。这种遍历是在嵌入空间中经过过滤后的文档片段集合上进行的。整个流程主要包括两个阶段：索引阶段以及查询时的检索和生成阶段。需要提前说明的是，标题中所提到的“图遍历”实际上是指在经过半径过滤后的候选集Vr上的一种遍历方式——每个节点都可以过渡到任何一个未被访问过的其他节点。实验设置我们在QuALITY基准测试（Pang等人，2022年）上对Tracert-RAG进行了评估，这是一个旨在测试长文档理解能力的多项选择式阅读理解数据集。我们选择QuALITY基准测试有三个原因。首先，QuALITY提供了可客观验证的评估方式。每个问题都有四个选项中的一个正确答案，这就避免了基于LLM的评分方式可能存在的主观性和重复性问题。这与那些需要人工判断答案质量的开放式生成基准测试截然不同。结论我们提出了Tracert-RAG，这是一种检索增强生成框架，它通过用由目标向量驱动的单一自适应遍历取代top-K选择和深度限制，从而消除了固定的检索参数。该系统会根据用户查询预测出一个语义目标向量，筛选出在余弦距离走廊内的候选片段，然后应用带有自适应机制的贪婪遍历算法。CRediT作者贡献声明张秀欣：软件、方法论、研究、形式分析、数据整理、概念设计。林杰伟：写作——审阅与编辑、写作——初稿撰写、软件、方法论、研究、形式分析、数据整理、概念设计。利益冲突声明作者声明自己不存在任何可能影响本文研究结果的已知财务利益或个人关系。致谢本研究得到了台湾地区国家科学及技术委员会的支持，项目编号为114-2221-E-035-038-。