多步动态模型通过分层展开提升离线强化学习的未来预测能力

《Neural Networks》：Any-step Dynamics Model Improves Future Predictions for Offline Reinforcement Learning via Hierarchical Roll-out

　　林浩欣|孙一豪|李一辰|张志龙|贾成兴|余阳•提出了用于灵活状态预测的任意步动态模型。•引入分层展开方法以减少累积误差。•通过ADM多样性实现无需集成方法的不确定性估计。ADMPO-HiRo的性能优于现有的离线强化学习算法。

引言
强化学习在处理模拟环境中的序列决策任务方面取得了显著成功，如Sutton和Barto（2018）、Liu等人（2022）、Mnih等人（2015）以及Silver等人（2017）的研究所示。然而，试错式方法限制了强化学习在现实世界场景中的应用，因为在许多复杂任务中，如机器人控制（Nguyen和La，2019；Zhang等人，2024b）以及自动驾驶（Kiran等人，2022；Wu等人，2024），在线数据收集既昂贵又危险。近期关于离线强化学习的研究表明，它有潜力克服采样瓶颈。离线设置限制了策略只能使用预先收集的数据进行优化，避免了策略在在线环境中的不可预测探索，从而有效降低了训练成本，使强化学习在现实世界中的应用成为可能。此外，离线强化学习还为利用大规模历史数据集提供了理论框架，而这些数据集在许多领域都很容易获取。这使其成为连接理论强化学习进展与安全关键应用实际部署之间的重要桥梁。由于数据集是固定且不可扩展的，因此高效利用数据对于离线强化学习中的策略优化至关重要。基于模型的强化学习方法为提高数据效率提供了有效途径，如Chen等人（2023a）、Kidambi等人（2020）、Lin等人（2025）、Sun等人（2023）以及Yu等人（2020）的研究所示。基于模型框架的离线策略优化可以利用模型增强后的数据来完成，而无需依赖原始数据集。人们已经提出了多种有效的动态模型，如对抗模型（Bhardwaj等人，2023；Chen等人，2023b）、因果模型（Zhu等人，2022）以及常用的集成动态模型（Chua等人，2018；Janner等人，2019；Lai等人，2020；Lin等人，2023；Yu等人，2020）。然而，对于这些动态模型而言，在长周期模型展开过程中保持高保真度的样本生成仍然具有挑战性。单步动态模型以时间步t的状态-动作对（st, at）作为输入来预测下一个状态st+1，因此不可避免地需要通过自我预测将每一步的状态都与上一步的状态预测相关联。随着展开过程的进行，由于状态在想象中的逐步转换，生成的状态偏差会逐渐增大（Janner等人，2019；Yu等人，2020）。结果，那些具有较大累积误差的展开样本可能会对策略产生不可逆转的误导影响（Lin等人，2023）。累积误差的存在限制了离线基于模型的强化学习中动态模型的应用，阻碍了策略性能的提升。缓解累积误差的一种潜在方法是将其扩展为多步形式，如Asadi、Cater、Misra和Littman，Asadi、Misra、Kim和Littman；Che等人（2018）；Machado等人（2023）的研究所示。类似的理念也出现在控制系统中的马尔可夫跳跃神经网络设计中，如Chandrasekar等人（2025）；Tamil Thendral等人（2026）的研究所示。对于任意大于1的正整数k，k步动态模型可以回溯到k步之前的状态st?k+1以及随后的动作序列（at?k+1,at?k+2,?,at），并将它们共同作为输入来预测下一个状态st+1，从而消除了从st?k+1到st+1之间的多次自我预测步骤。这一改进有效地将整个展开过程中的自我预测转化为直接预测，从而减少了误差的累积。不幸的是，现有的固定范围多步动态模型在应用于离线策略优化时存在局限性。首先，固定范围的直接预测意味着策略无法从单个状态开始展开，因为它不能同时产生多个动作。其次，为了估计模型不确定性，动态模型通常需要一个集成系统，如Kidambi等人（2020）、Sun等人（2023）、Yu等人（2020）的研究所示，这在多步设置中带来了不必要的计算负担。为了提升多步直接预测的能力，我们认为动态模型应该能够预测任意时间范围内的未来状态。这不仅保留了单步动态模型的灵活性，还有助于为不确定性估计提供多样化的预测结果。基于上述核心理念，我们在之前的会议论文中提出了特殊的任意步动态模型（ADM）（Lin等人，2025）。ADM可以将变长的计划作为输入，即给定范围内任意整数k对应的状态st?k+1以及动作序列（at?k+1,at?k+2,…,at），以此来预测st+1。因此，ADM天生具备通过不同长度的回溯来生成多样化预测的能力。当智能体面临轨迹分布的变化时，来自不同回溯长度的状态预测将会出现显著差异。这一特性使得ADM无需集成系统即可自然地估计模型不确定性。ADM可以通过分层展开方法提升离线强化学习的未来预测能力。具体而言，我们将未来的离散时间步骤划分为多个等长的窗口，每个窗口的第一个状态被称为锚定状态。在展开过程中，每个窗口内的状态预测是通过将该窗口的锚定状态以及后续的动作序列输入到ADM中来获得的。这样一来，自我预测仅发生在窗口切换时，而在每个窗口内部则采用直接预测。展开轨迹中的窗口数量相当于自我预测的次数。直观地说，HiRo减少误差累积的程度取决于窗口大小。在本文中，我们从理论和实验两个方面展示了HiRo在离线强化学习中的优势。总体而言，我们的贡献可总结如下：•我们提出了ADM模型，通过GRU单元来模拟执行任意步动作所带来的状态转换（Cho等人，2014）。•我们基于ADM提出了HiRo方法，并得出了与展开长度相关的累积预测误差的上限。理论和实验结果表明，与以往基于常用集成动态模型的纯自我预测展开方法相比，HiRo能够提升未来预测的准确性。•我们设计了一种新的模型不确定性量化方法，该方法无需集成系统，而是利用ADM生成多样化预测的固有能力。后续实验表明，基于ADM的不确定性估计与模型误差的一致性优于以往的集成动态模型。•我们将HiRo和ADM不确定性估计应用于离线策略优化场景，并提出了一种新的离线基于模型的强化学习算法——ADMPO-HiRo，它是我们之前工作的延伸，即ADMPO（用于策略优化的ADM）（Lin等人，2025）。在D4RL（Fu等人，2020）和NeoRL（Qin等人，2022）基准测试上的实验表明，ADMPO-HiRo的性能优于以往的离线强化学习算法。•我们对ADM的最大回溯长度进行了消融研究，进一步证明了减少自我预测对累积误差及策略性能的影响。其中，第1点和第3点源自我们之前的会议版本（Lin等人，2025），而第2点、第4点和第5点则是当前期刊版本新增的内容。在之前的会议版本中，ADMPO已在D4RL和NeoRL基准测试中实现了最先进的性能，而ADMPO-HiRo则在当前期刊版本中进一步提升了性能。

章节节选
马尔可夫决策过程与强化学习
我们考虑一个标准的马尔可夫决策过程（MDP），如Sutton和Barto（2018）所定义，它由元组M=(S,A,T,ρ0,γ)表示，其中S是状态空间，A是动作空间，T(st+1,rt+1|st,at)是动态函数，用于计算在给定(st, at)条件下下一个状态st+1∈S和奖励rt+1∈R的条件分布，ρ0是初始状态分布，γ是折扣因子。我们用ρπ来表示由动态函数T和策略π所诱导的状态上的在策略分布。

方法
在本节中，我们提出了一种特殊的任意步动态模型（ADM），用以替代主流的集成动态模型。ADM可以通过分层展开方法将自我预测转化为直接预测。将ADM和HiRo应用于离线场景后，我们引入了一种新的基于模型的强化学习算法，即ADMPO-HiRo。

实验
在本节中，我们进行了多项实验来回答以下问题：（1）与集成动态模型相比，ADM生成的样本的累积误差是否更小？（2）ADMPO-HiRo在离线场景中的表现如何？（3）最大回溯长度m如何影响离线强化学习的性能？（4）与集成动态模型相比，ADM在量化模型不确定性方面的表现是否更好？

相关工作
本工作与离线强化学习以及动态风格的基于模型的强化学习有关，可追溯至Sutton（1990）的研究。

结论
在这项工作中，我们提出了一种新的环境模型学习与利用方法，即任意步动态模型（ADM）。ADM适用于离线基于模型的强化学习框架，并通过分层展开方法提升未来预测的准确性，从而形成了一种新的离线基于模型的算法——ADMPO-HiRo。多项分析和实验表明，ADM的性能优于以往基于模型的强化学习方法中广泛使用的集成动态模型。具体来说，多步展开过程中的累积误差……