基于大语言模型的结构化目标引导强化学习

《Neural Networks》：Structured Goal-Guided Reinforcement Learning with Large Language Models

　　

• 介绍了 SGRL，一种新颖的 LLM 增强型 RL 框架，用于长程探索。
• 使用优先级权重对候选目标进行排名，以优先考虑长远目标。
• 使用基于 LLM 的动态动作掩码将策略与目标对齐。
• 提高探索效率，同时减少 LLM 令牌使用量。

引言
强化学习（RL）在不同领域的挑战性决策问题上取得了显著成功，例如 Atari 游戏（Hessel, Modayil, Van Hasselt, Schaul, Ostrovski, Dabney, Horgan, Piot, Azar, Silver, 2018, Schrittwieser, Antonoglou, Hubert, Simonyan, Sifre, Schmitt, Guez, Lockhart, Hassabis, Graepel, et al., 2020, Vinyals, Babuschkin, Czarnecki, Mathieu, Dudzik, Chung, Choi, Powell, Ewalds, Georgiev, et al., 2019）、机器人（Brunke, Greeff, Hall, Yuan, Zhou, Panerati, Schoellig, 2022, Haarnoja, Moran, Lever, Huang, Tirumala, Humplik, Wulfmeier, Tunyasuvunakool, Siegel, Hafner, et al., 2024）和自然语言处理（Ouyang, Wu, Jiang, Almeida, Wainwright, Mishkin, Zhang, Agarwal, Slama, Gray, et al., 2022, Padmakumar, Mooney, 2021）。然而，这些显著的成功主要发生在具有封闭、预定义任务、清晰目标和即时反馈的环境中，这无法捕捉真实世界的复杂性和动态性（Cai, Wang, Ma, Liu, Liang, 2023, O. E. L. Team, Stooke, Mahajan, Barros, Deck, Bauer, Sygnowski, Trebacz, Jaderberg, Mathieu, et al.）。近年来，越来越多的关注点集中在开放世界环境中的决策问题上，例如 Minecraft（Fan, Wang, Jiang, Mandlekar, Yang, Zhu, Tang, Huang, Zhu, Anandkumar, 2022, Lin, Li, Shi, Ye, Fu, Yang, 2022）和 Crafter（Hafner, 2022, Moon, Yeom, Park, Song, 2023），这些环境在深度探索、长程规划和推理方面提出了巨大挑战。因此，开放世界环境中的决策被广泛认为是紧迫且重要的挑战。

最近，LLM 增强的 RL 作为一种有前景的范式出现，用于解决开放世界环境中的决策问题，这得益于 LLM 在复杂决策和推理任务中的卓越能力（He, Chen, Zhang, Yang, 2024, Liu, Jiang, Zhang, Liu, Zhang, Biswas, & Stone, Schoepp, Jafaripour, Cao, Yang, Abdollahi, Golestan, Sufiyan, Zaiane, & Taylor, Zhou, Zhao, Liu, Dong, Luo, Tao, Chang, Luo, 2024a）。各种方法，例如将 LLM 用作决策者（Carta, Romac, Wolf, Lamprier, Sigaud, Oudeyer, 2023, Gaven, Romac, Carta, Lamprier, Sigaud, & Oudeyer, Shinn, Cassano, Gopinath, Narasimhan, Yao, 2023）或技能规划器（Ichter, Brohan, Chebotar, Finn, Hausman, Herzog, Ho, Ibarz, Irpan, Jang, Julian, Kalashnikov, Levine, Lu, Parada, Rao, Sermanet, Toshev, Vanhoucke, Xia, Xiao, Xu, Yan, Brown, Ahn, Cortes, Sievers, Tan, Xu, Reyes, Rettinghouse, Quiambao, Pastor, Luu, Lee, Kuang, Jesmonth, Joshi, Jeffrey, Ruano, Hsu, Gopalakrishnan, David, Zeng, Fu, 2022, Lin, Agia, Migimatsu, Pavone, Bohg, 2023, Yang, Kang, Lee, Lee, Yun, & Lee, Zhang, Zhang, Pertsch, Liu, Ren, Chang, Sun, Lim, 2023），显著提高了样本效率和泛化能力，从而提升了性能。然而，这些方法仍然难以充分利用 LLM 的规划能力，因为它们要么强迫模型进行细粒度规划（这不是它们特别擅长的领域），要么未能有效协调 LLM 和 RL 代理之间的关系。最近的研究探索了一种直接有效的方法，即使用 LLM 生成高级目标来指导 RL 代理的探索（Du, Watkins, Wang, Colas, Darrell, Abbeel, Gupta, Andreas, 2023, Shukla, Gao, Sarathy, Velasquez, Wright, Sinapov, 2024, Zhang, Lu, 2024, Zheng, Henaff, Zhang, Grover, & Amos）。例如，ELL M（Du et al., 2023）使用 LLM 建议的目标作为内在目标，以将预训练偏向于对人类有意义的行为，而 AdaRefiner（Zhang and Lu, 2024）利用 RL 代理提供的频繁反馈来完善 LLM 的任务理解，并为探索提供更有效的目标。然而，这些方法受到生成目标与实际状态之间不一致的阻碍，并且由于过多的 LLM 查询而效率低下。

受研究启发，这些研究中使用 LLM 生成奖励整形代码，为 RL 代理提供密集反馈，并在几个基准上取得了卓越性能（Ma, Liang, Wang, Huang, Bastani, Jayaraman, Zhu, Fan, Anandkumar, 2024, Xie, Zhao, Wu, Liu, Luo, Zhong, Yang, Yu, 2024），我们假设结构化、指定目标的代码也可以作为 LLM 和 RL 代理之间的稳定且可执行的接口，从而实现有效的长程探索。为了验证这一假设，我们首先进行了初步实验，使用 LLM 生成的代码来指导探索，我们称之为 CodeGoal。图 1 展示了 CodeGoal 与 ELL M（Du et al., 2023）、AdaRefiner（Zhang and Lu, 2024）以及 PPO 在 Craftax-Classic（Matthews et al., 2024）上的成功率。由于篇幅限制，我们在附录 A 中提供了详细的实验结果。结果表明，CodeGoal 在几个成就类别上达到了相当的成功率，表明使用代码生成的目标来指导 RL 代理是一种可行的方法。

值得注意的是，图 1 还揭示了 CodeGoal 的两个关键局限性：(1) 它在收集钻石（Collect Diamond）等成就上学习速度仍然缓慢，这些成就需要在稀疏奖励下从像素观察进行长程探索；(2) 在前 200 万步中，它相对于 PPO 带来的收益有限，表明目标指导并不能立即转化为有效的策略改进。受这些观察的启发，我们提出了一种新颖的 LLM 增强型 RL 框架来指导长程探索。主要贡献总结如下：
• 我们提出了结构化目标引导强化学习（SGRL），一种新颖的 LLLM 增强型 RL 框架，该框架构建了一个可重用的目标生成功能，并动态调整目标优先级权重和基于目标的动作约束，从而在低 LLM 令牌消耗的情况下实现高效且稳定的长程探索。
• 我们引入了一种结构化目标规划器，通过合成可重用的目标生成功能来减少频繁调用 LLM 的需求。基于目标的动作修剪器进一步将生成的目标落实为动态放松的动作约束，以使策略与目标对齐。
• 在两个开放世界 RL 基准（Crafter 和 Craftax-Classic）以及 Craftax-Classic 的两个奖励修改变体上的大量实验结果表明，SGRL 与强大的基线方法相比，始终取得优越或具有竞争力的性能。此外，我们提供了消融研究以及对 LLM 骨干网络和退火参数的敏感性分析，进一步验证了每个组件的贡献。

章节片段
开放世界环境
开放世界环境（Cai, Wang, Ma, Liu, Liang, 2023, O. E. L. Team, Stooke, Mahajan, Barros, Deck, Bauer, Sygnowski, Trebacz, Jaderberg, Mathieu, et al.）由于其对长程探索、规划和推理的要求而 inherently 具有挑战性（Hafner, 2022, Wang, Cai, Chen, Liu, Ma, Liang, 2023）。在 RL 领域，开放世界环境主要有三种方法。一种方法是分层强化学习（Hutsebaut-Buysse et al., 2022），它简化了...

基于目标的强化学习
基于目标的强化学习（GCRL）（Liu et al., 2022）可以表述为增强目标的 MDP，表示为元组 (??,??,??,????,??,??,??,??0,??)，其中 ??、?? 和 ?? 分别表示状态空间、动作空间和目标空间；pg 和 ρ0 分别表示期望目标分布和初始状态分布；??:??→?? 是一个映射函数，将状态映射到特定目标；??:??×??→?? 表示状态转移函数；??:??×??×??→? 是奖励函数；γ 是...

方法
本节开发了一种新颖的 LLM 增强型 RL 框架，称为 SGRL。图 2(c) 显示了 SGRL 框架的概述，它由三个组件组成：(1) 结构化目标规划器，将文本观察映射为带有优先级权重的目标；(2) 基于目标的动作修剪器，将结构化目标规划器生成的目标转换为基于目标的动作掩码，以约束动作选择；以及 (3) RL 代理，根据策略执行动作。

实验
在本节中，我们在两个开放世界 RL 基准（Crafter（Hafner, 2022）和 Craftax-Classic（Matthews et al., 2024））以及 Craftax-Classic 的两个奖励修改变体上进行了实验。实验旨在回答以下问题：(1) SGRL 的探索效率与强大的基线方法相比如何？(2) 每个组件如何影响 SGRL 的性能？

结论
在本文中，我们介绍了 SGRL，一种新颖的 LLM 增强型 RL 框架，该框架使用 LLM 合成的可重用目标生成功能为长程探索提供加权目标。通过进一步将这些目标转化为基于目标的动作约束，SGRL 提高了目标指导与策略学习之间的耦合，同时保持了低 LLM 令牌消耗。在 Crafter、Craftax-Classic 以及 Craftax-Classic 的两个奖励修改变体上的实验表明，SGRL 改进了...

大语言模型的使用
在本文中，除了将 LLM 用作语言润色、语法纠正和手稿微小风格调整的工具外，我们还利用 LLM 生成可重用的结构化目标生成功能，调整目标优先级权重，并建立基于目标的政策约束。这些操作在 LLM 增强型 RL 研究中既是必要的也是常见的。值得注意的是，LLM 未参与研究构思、实验设计、实现或数据...

未引用参考文献
缺失引用 Team (2026), Yang et al. (2024), OpenAI (2026), Naveed et al. (2023), Liu et al. (2024), Kobayashi and Kishi (2024), Luketina et al. (2019), Hu et al. (2019), Guo et al. (2025), Colas et al. (2023), Anthropic (2026), Cao et al. (2026)。

CRediT 作者贡献声明
Yajie Qi：写作 – 审阅与编辑，写作 – 初稿，可视化，方法论，调查，概念化。Wei Wei：写作 – 审阅与编辑，监督，资源，资金获取。Lin Li：写作 – 审阅与编辑，可视化，资金获取。Lijun Zhang：写作 – 审阅与编辑，可视化，验证，方法论。Zhidong Gao：写作 – 审阅与编辑，监督。Da Wang：写作 – 审阅与编辑，监督，概念化。Huizhong Song：

利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系，这些关系可能被认为影响了本文中报告的工作。

致谢
本文得到部分支持来自国家自然科学基金（编号：62276160），部分支持来自山西省基础研究计划（编号：202203021211294），以及山西省出国留学基金项目（编号：20240002）。

Yajie Qi|Wei Wei|Lin Li|Lijun Zhang|Zhidong Gao|Da Wang|Huizhong Song