APO：利用连续空间中的未采样动作进行基于锚点的策略优化

《Neural Networks》：APO: Anchored Policy Optimization by Leveraging Unsampled Actions in Continuous Spaces

　　摘要：策略梯度方法，如近端策略优化（PPO），仅对采样过的动作进行策略更新，而未采样的动作空间则完全不受约束——我们将这一问题称为“锚定盲区”。这一限制会导致策略分布在未采样区域出现不可控的偏移，从而影响训练稳定性，尤其在连续动作空间中往往会导致性能不佳。为解决这一问题，我们提出了锚定策略优化（APO），这是一种配备了未采样动作比率正则化（UARR）的PPO变体。UARR能够明确约束未采样动作区域内新旧策略之间的概率比率，防止其过度偏离1.0。在连续控制任务上的实验结果表明，APO能够有效约束更广泛的动作分布，显著提升优化稳定性，避免收敛到次优解。相关代码可在https://github.com/wjl-bupt/APO获取。

引言：强化学习使得智能体能够通过与环境交互来学习决策策略，通过优化动作以最大化累积奖励。深度神经网络与强化学习的结合推动了深度强化学习（DRL）的发展，其在棋类游戏（Silver等人，2016；Silver、Hubert、Schrittwieser、Antonoglou、Lai、Guez、Lanctot、Sifre、Kumaran、Graepel等人）、视频游戏（OpenAI等人，2019；Vinyals等人，2019）以及机器人运动控制（Han等人，2023；Makoviychuk等人，2021）等复杂领域取得了突破。在各类强化学习算法中，策略梯度方法（Lehmann，2024；Sutton等人，1998；Williams，1992）因其出色的策略优化能力而被广泛采用。然而，这些方法对超参数极为敏感，且无法始终保证训练稳定性。为应对这些挑战，信任区域策略优化（TRPO，Schulman等人，2015）将信任区域约束引入策略优化，成为DRL领域的主流方法。在TRPO的基础上，近端策略优化（PPO，Schulman等人，2017）简化了信任区域方法，同时保持了相近的性能并提升了计算效率。PPO主要有两种变体：PPO-Penalty通过添加库尔贝克-莱布勒散度惩罚来约束策略更新；PPO-Clip则通过截断的替代目标函数直接限制更新幅度，无需依赖二阶方法。由于其稳健性和简单性，PPO已被成功应用于多种连续控制任务，在MuJoCo Brockman（2016）等基准测试中表现出优异性能。尽管PPO在动作构成无限维流形的连续动作空间中取得了显著成功，但它仍受限于对采样动作的依赖。例如，PPO-Clip仅通过截断采样动作的概率比率π?(at|st)π(at|st)来约束策略更新；同样，PPO-Penalty也仅对采样动作处估算的库尔贝克-莱布勒散度进行惩罚。因此，未采样的动作空间完全不受约束，策略可能在未被采样动作覆盖的区域发生剧烈变化——我们将这种现象称为“锚定盲区”。为形式化上述现象，考虑由策略π生成的轨迹τ={s0,a0,s1,a1,…}。我们将步骤t时从π(?·?|st)中选出的用于与环境交互的动作定义为采样动作at，而同一状态st下但在步骤t未被选中的其他动作则称为未采样动作at*。在每次迭代中，仅使用采样动作at来更新当前样本的梯度，而忽略未采样动作at*的梯度信息。这种对采样动作和未采样动作的差异对待揭示了PPO的一个关键缺陷：尽管PPO旨在约束新旧策略之间的整体变化，但实际上用于优化的梯度信号仅来自局部采样的动作。这种局部更新机制会给人一种“虚假的安全感”——虽然策略看似仍牢牢锚定在原始策略上，但实际上它依赖于有限采样视角下的梯度。这意味着更新过程对未采样区域视而不见，使其在没有任何引导的情况下发展。如图1左侧所示，灰色点代表PPO中的未采样动作，由于这些区域缺乏约束，其概率比率会向任意方向偏移。因此，在未采样区域，策略分布可能会发生不可控的偏移（例如，未采样动作的概率比率π?(a*|s)π(a*|s)可能波动很大）。我们将这种现象称为“锚定盲区”，并认为它暴露了PPO的本质缺陷，即每次迭代仅关注采样动作的梯度。为弥补这一不足，我们提出了锚定策略优化（APO）——这是一种相较于PPO-Clip更为简单有效的改进方案，它引入了基于未采样动作比率的正则化（UARR）。具体而言，与仅基于采样动作更新策略的传统方法不同，APO通过分离约束域来缓解“锚定盲区”问题。在采样域中，APO保留了PPO-Clip的截断机制以约束采样区域；而对于未采样域，则通过UARR对未采样动作的概率偏差进行正则化，有效防止其概率比率大幅偏离1。这种正则化有助于抑制未观测区域中策略的不可控偏移，同时消除那些偏向局部采样行为的算法所固有的“虚假安全感”。我们的贡献如下：1. 我们指出了PPO中的“锚定盲区”问题，并对其根本原因和后果进行了深入分析；2. 从正则化角度深入分析了PPO-Clip和PPO-Penalty的缺陷，揭示了它们为何无法解决未采样动作区域的采样偏差问题；3. 我们引入了一种新的PPO变体APO，该算法利用未采样动作的梯度信息来指导策略更新，显著提升了稳定性；4. 我们在MuJoCo Brockman（2016）基准测试上进行了大量实验，量化了APO在未采样区域的控制能力，并通过实验证明了其优势。本文的其余部分结构如下：第2节回顾相关研究；第3节介绍基础理论并奠定必要背景；第4节详细阐述所提出的方法；第5节报告在连续控制基准测试上的实验结果与分析；最后第6节给出结论。

相关研究：自近端策略优化（PPO，Schulman等人，2017）被提出以来，学术界对其进行了迅速而深入的研究。在理论层面，Huang等人（2024）和Liu等人（2019）在通用参数化框架下严格证明了PPO-Clip的全局收敛性，而Cheng等人（2021）则证明了其截断阈值与TRPO（Schulman等人，2015）的信任域具有等价性。Song等人（2019）和Tomczak等人（2019）则成功解决了相关问题。

马尔可夫决策过程：在强化学习中，序列决策问题通常被建模为马尔可夫决策过程（MDP），它通过六元组〈S,A,P,R,γ,ρ0〉描述智能体与环境之间的交互。其中，S是有限状态空间，A是有限动作空间，P:S×A×S→R是状态转移概率，R:S×A→R是奖励函数，表示在状态s下采取动作a所能获得的预期即时奖励，γ∈[0, 1]是折扣因子，用于确定未来奖励的当前价值。

方法论：在本节中，我们阐述了从未采样动作中得出的理论依据与保障，同时正式介绍了我们的方法。所有理论结果均在附录中得到严格证明。

实验设置：我们在具有连续动作空间的真实物理仿真环境——MuJoCo Brockman（2016）基准测试上评估APO的性能。PPO被作为基线算法，除非另有说明，所有算法均使用相同的通用超参数。我们的网络架构和实现细节参考了Huang、Dossa、Raffin、Kanervisto、Wang，2022a；Huang、Dossa、Ye、Braga、Chakraborty、Mehta、Araújo，2022b；Moalla等人（2024）的研究成果。APO还引入了一项额外的正则化机制。

结论：在本研究中，我们系统地研究了PPO中的“锚定盲区”问题——这一缺陷源于其对采样动作梯度的过度依赖。为克服这一问题，我们提出了APO，这是一种全新的框架，它明确纳入了未采样动作的梯度信息，用于正则化其概率比率。这种全局正则化不仅能够稳定未采样区域中的策略更新，还能进一步提升PPO在采样动作上的Clip机制的效果。

作者贡献声明：Weijun Luo：写作——审稿与编辑，写作——初稿撰写，可视化，验证，软件开发，项目管理，形式化分析，数据整理，概念设计。Yingzhuo Liu：写作——审稿与编辑，写作——初稿撰写，可视化，项目管理，方法论，研究设计，形式化分析，数据整理，概念设计。Hongsong Tang：形式化分析，数据整理，概念设计。Bo Chen：形式化分析，数据整理，概念设计。Liuyu Xiang：形式化分析，数据整理，概念设计。

利益冲突声明：作者声明不存在任何可能影响本文工作的已知财务利益或个人关系。

致谢：本研究得到了国家自然科学基金（62176025、62301066、U21B2045、62206012）以及中央高校基本科研业务费（2023RC72）的支持。

Weijun Luo | Yingzhuo Liu | Hongsong Tang | Bo Chen | Liuyu Xiang | Zhaofeng He