Tree-GRPO：一种基于组相对策略优化的树结构 RAG 推理框架

《Neurocomputing》：Tree-GRPO: A tree-structured RAG reasoning framework via group relative policy optimization

　　

摘要

大语言模型（LLMs）在知识密集型任务中展现了显著潜力，但其实际部署受到参数化知识中时间陈旧性和事实不准确所导致的幻觉问题的严重制约。虽然检索增强生成（RAG）通过外部知识集成缓解了这一瓶颈，但现有的迭代范式在处理需要分解的复杂查询时缺乏稳健的多步推理能力。为解决这一局限，我们提出了Tree-GRPO，一个将高效路径搜索能力直接内化到模型中的框架。该方法的核心是一种具有历史感知的解耦提取机制，将多模态信息处理卸载到外部模块，使纯文本主干能够专注于推理逻辑。结合策略引导的蒙特卡洛树搜索（MCTS）推理引擎，该框架利用历史推理路径实现高效的搜索空间剪枝，从而建立起紧密耦合的训练-推理循环。实验结果表明，仅使用4B参数纯文本主干的Tree-GRPO，在纯文本和视觉丰富的文档问答任务上均优于同等规模的基线模型，并超过了某些更大的多模态模型。这验证了"解耦探索 + 强推理"范式作为复杂RAG推理的抗噪声且可泛化的解决方案的有效性，为可扩展的知识密集型应用提供了高效路径。

引言

LLMs在广泛的知识密集型任务中展现了强大的推理能力 [2]。然而，由于其知识在预训练后固定不变，它们在回答涉及近期、领域特定或长尾知识的问题时往往力不从心，导致事实性幻觉限制了其实际部署 [3]、[4]。检索增强生成（RAG）通过将外部知识纳入推理过程缓解了这一局限 [5]。尽管如此，许多现实中的知识密集型问题需要多轮检索和推理，使得传统的单遍RAG流水线无法满足复杂推理场景的需求。因此，有效地将多步推理与检索相结合仍然是RAG系统面临的基本挑战 [6]。

现有的将推理与RAG相结合的方法仍存在若干局限性。首先，大多数迭代检索方法仅优化单一推理轨迹。尽管对于相对简单的查询有效，但这种顺序推理过程在探索替代检索路径时灵活性有限。检索过程中引入的错误可能在多个推理步骤中累积，导致冗余检索或次优的推理结果 [7]。其次，一些研究引入蒙特卡洛树搜索（MCTS）来改善探索。然而，由于底层语言模型并未针对树搜索进行显式优化，这些方法通常依赖于预定义的动作空间以及在推理阶段的大量探索，导致计算成本增加 [8]、[9]。第三，端到端的多模态RAG框架将检索到的图像直接纳入多模态大语言模型（MLLMs）中。虽然这种设计能够实现统一的多模态推理，但不相关的视觉内容可能引入额外噪声，使模型更难识别与当前推理上下文最相关的证据 [10]。

为解决这些局限，我们提出了Tree-GRPO，一个面向复杂RAG的强化学习框架。如图1所示，Tree-GRPO将推理过程建模为一棵树，其中节点对应检索和答案生成状态。该框架不依赖推理阶段手动设计的搜索策略，而是通过树结构策略优化直接学习检索策略。通过在同一个探索树中联合优化多个推理分支，策略学会了何时需要额外检索，以及何时现有证据已足以生成答案。对于多模态检索，Tree-GRPO进一步采用了解耦架构，其中视觉感知由外部VLM处理，而推理策略完全在文本空间中优化。

具体而言，Tree-GRPO由两个组件组成。（1）树结构GRPO训练。与传统的GRPO不同，后者仅优化单个推理轨迹，Tree-GRPO构建了多路径探索树，并通过节点价值反向传播在多个推理分支上进行策略优化。此外，我们引入了历史感知提取机制，根据当前推理历史处理检索到的文档。策略模型保持纯文本特性，而视觉感知则委托给外部提取模块。因此，策略学习完全在文本空间中进行，使模型能够专注于检索决策和信息充分性判断，同时减少不相关视觉内容的影响。（2）策略引导的MCTS推理。在推理阶段，学到的策略被复用来引导树扩展。结合所提出的基于置信度的UCT公式，搜索被引导至更有希望的推理路径，从而减少推理过程中不必要的探索。

总之，本文的主要贡献如下：

• •
  树结构GRPO。所提出的Tree-GRPO将GRPO从单链轨迹扩展到树结构检索-生成优化，实现了从多条推理路径的联合学习。
• •
  策略引导的树搜索。开发了一种策略引导的树搜索策略，用于探索有希望的检索-生成路径并通过基于置信度的投票聚合候选答案。
• •
  历史感知的跨模态证据提取。检索到的视觉证据根据检索历史被转换为文本观测，使基于文本的策略能够针对多模态检索结果进行推理。

本文其余部分组织如下。第2节回顾相关工作。第3节介绍所提出的Tree-GRPO框架。第4节展示实验设置和结果，第5节进行进一步分析。最后，第6节总结全文。

章节摘要

相关工作

自适应检索与迭代推理。现有的RAG方法通常可归类为自适应检索和迭代检索方法 [5]、[11]。自适应检索方法根据当前查询确定是否应调用外部检索，通常基于模型置信度或不确定性估计。例如，Adaptive-RAG [12]训练一个分类器来预测何时需要检索，而QuCo-RAG [13]和TRAG [14]通过

方法论

Tree-GRPO是一个面向检索增强推理的强化学习框架。它由两个组件组成。第一个是树结构GRPO训练范式，将GRPO从线性推理轨迹扩展到探索树，实现在多个检索和推理路径上的策略优化。第二个是策略引导的MCTS推理策略，复用学到的策略在推理阶段引导树扩展并减少不必要的探索。

实验

我们在六个涵盖纯文本和视觉丰富文档设置的知识密集型问答基准上评估Tree-GRPO。实验将Tree-GRPO与代表性基线进行比较，并分析其在不同检索条件下的性能。

推理效率分析

为了评估Tree-GRPO的推理效率，我们在WebQuestions上比较了平均检索次数和推理延迟。结果汇总于表2。

可以得出以下几点观察。首先，基于规则的迭代方法，如IterDRAG和Search-o1，所需检索次数较少但推理性能有限。其次，MCTS-RAG通过大量树搜索提高了准确率，但这以大幅提高检索频率和

结论

我们提出了Tree-GRPO，一个将树结构GRPO训练与策略引导的MCTS推理相结合，用于多步知识密集型问答的检索增强推理框架。通过将策略优化从线性轨迹扩展到探索树，Tree-GRPO通过多条推理路径的全局比较学习检索策略。此外，所提出的历史感知解耦提取机制将检索到的视觉证据转换为文本

局限性

Tree-GRPO存在若干局限性。首先，当前框架专为事实性问答设计，其终端奖励可以使用客观评估指标（如精确匹配）来定义。将树搜索和策略优化框架扩展到开放式生成任务（包括代码生成或长文本推理）需要更合适的奖励形式，这留待未来工作完成。

其次，Tree-GRPO依赖外部感知模块将检索到的视觉

CRediT作者贡献声明

尹裕行：撰写 – 初稿，软件，方法论。王宏嵩：监督指导。李欣怡：撰写 – 审阅与编辑，可视化。

利益冲突声明

作者声明不存在可能影响本文所报告工作的已知竞争性经济利益或个人关系。

尹裕行目前正在中国佛山华南师范大学人工智能学院攻读硕士学位。他的研究方向包括检索增强生成、大语言模型的强化学习以及多模态问答。

尹裕行|王宏嵩|李欣怡

华南师范大学人工智能学院，中国广东佛山，邮编：528225