基于过程监督的 LLM 搜索代理优化：RAG-Gym 框架与 Re2Search++

《Nature Communications》：Supervising the search process produces reliable and generalizable information-seeking agents

　　

摘要

大型语言模型（LLMs）通过从文档排名转向生成答案，正在改变网页搜索的方式，并逐渐被部署为能够与外部知识源进行迭代交互的自主搜索系统。尽管取得了这些进展，构建有效的搜索代理仍然具有挑战性，因为难以生成高质量的中间搜索步骤。以往的方法主要依赖于结果监督，只对生成正确最终答案的代理进行奖励。这往往会导致奖励被滥用，并过度依赖参数化记忆，从而限制了模型在领域外任务中的泛化能力。为了解决这些问题，我们提出了RAG-Gym框架，它将监督重点从最终答案转移到了搜索过程本身。通过RAG-Gym，我们系统地研究了架构设计、参数优化和行为评估，发现推理反思是搜索代理的一项关键能力。基于这一发现，我们提出了Re²Search++，这是一种基于过程监督的代理，在多跳信息搜索基准测试中取得了显著改进，尤其是在领域外环境中。性能提升主要得益于更高质量的搜索查询，而不仅仅是答案本身的优化；此外，所学到的搜索评估机制可以在不同模型之间移植，包括专有的LLMs。这些结果表明，对搜索过程进行监督能够产生更可靠且更具泛化能力的信息搜索代理。