基于强化学习的机器人控制优势估计自适应调节方法

《Machines》：Adaptive Adjustment of Advantage Estimation for Robot Control Using Reinforcement Learning

　　

在机器人控制实验中，探索（exploration）与利用（exploitation）之间的平衡，以及优势函数（advantage function）估计的准确性，是影响策略优化方法有效性的关键因素。为克服这些挑战，论文提出一种基于策略损失（policy loss）与策略熵（policy entropy）的优势估计自适应调节算法（A3E-PLE），该方法能够提升近端策略优化（Proximal Policy Optimization, PPO）算法的探索能力。具体而言，一方面，利用高斯分布（Gaussian distribution）策略熵对策略损失进行调节，以缓解随机性影响，并将策略改进与随机噪声分离，从而提高探索效率。另一方面，为灵活适应多种训练场景并进一步提升优势函数估计精度，将策略损失引入优势函数估计过程，使算法能够依据策略变化进行自适应调节。最后，研究人员通过机器人控制仿真与复杂决策环境对所提出的强化学习（Reinforcement Learning, RL）框架进行了验证。结果表明，与传统广义优势估计（Generalized Advantage Estimation, GAE）相比，A3E-PLE实现了更高的学习效率和更大的回报。

该论文发表于《Machines》，聚焦于强化学习机器人控制中优势估计精度不足与探索能力受限这两个核心问题。机器人控制是人工智能、自动控制、传感与计算机科学交叉融合的重要研究方向，其目标是在复杂环境下实现感知、决策与动作执行的自主闭环。随着机器人应用从路径规划逐步扩展至智能避障、自主导航和人机交互，传统依赖固定模型与参数的比例–积分–微分控制（Proportional–Integral–Derivative, PID）、滑模控制（sliding mode control）和模糊控制（fuzzy control）已难以适应动态变化且不确定性强的任务场景。深度强化学习（Deep Reinforcement Learning, DRL）则凭借数据驱动和策略自优化能力，为复杂环境中的机器人运动控制提供了更具适应性与鲁棒性的解决方案。

在强化学习中，基于策略的优化方法，尤其是近端策略优化（PPO），因其更新稳定、适用于连续控制任务而被广泛采用。然而，策略梯度（policy gradient）方法普遍存在高方差问题，易导致训练不稳定甚至过拟合。为降低方差，研究者通常引入优势函数（advantage function）衡量特定状态下某动作相对于平均策略表现的相对收益，并据此指导策略更新。因此，优势估计的准确性直接影响策略学习质量与样本效率。广义优势估计（GAE）通过时间差分（Temporal Difference, TD）残差与参数 λ 的组合，在偏差与方差之间实现折中，已成为PPO中的经典组件。但现有方法中的折扣因子 γ 通常取固定值或简单线性变化，难以根据策略学习状态动态调整回报视野；同时，策略探索过程容易受随机噪声干扰，导致探索与利用之间难以取得有效平衡。基于此，开展一种能够同时兼顾策略探索稳定性与优势估计自适应性的改进方法具有重要意义。

围绕上述问题，研究人员提出A3E-PLE算法，其核心思想包括两部分：其一，将基于高斯分布（Gaussian distribution）的策略熵（policy entropy）引入策略损失函数，通过熵正则化（entropy regularization）促进充分探索，并削弱随机噪声对策略改进方向的干扰；其二，以策略裁剪损失（clipped surrogate loss）作为反馈信号，动态更新优势估计中的折扣因子 γ，从而使优势函数的有效信用分配时域能够随策略优化状态自适应变化。该设计突破了传统GAE依赖固定 γ 的局限，使算法在训练初期更关注短期反馈以加快有效策略形成，在训练后期更强调长期回报以提升最终性能。论文的主要结论是：A3E-PLE在多个连续控制和复杂多智能体任务中，相比固定 γ 的GAE基线及其变体，表现出更高的累计回报、更好的样本效率和更强的训练稳定性，尤其在复杂竞争环境中优势更为显著。该研究的重要意义在于，为PPO框架下的优势估计提供了一种轻量、兼容性高且易部署的自适应改进方案，对机器人运动控制策略学习具有现实应用价值。

方法概括而言，研究人员基于PPO与GAE框架构建A3E-PLE，在策略网络更新中加入高斯策略熵正则项，形成熵增强策略损失；随后利用当前批次的PPO裁剪代理损失（clipped surrogate loss）动态修正折扣因子 γ，并在每个内层训练轮次重新计算优势估计与目标价值。理论部分从有界动态 γ 下的优化稳定性、非平稳目标下梯度近似无偏性及 γ 取值区间合理性三方面进行了论证，并给出一阶近似截断误差界。实验采用OpenAI Gym MuJoCo的Hopper-v2、Walker2d-v2、HalfCheetah-v2，以及Unity ML-Agents的Food Collector和Soccer Twos环境；其中MuJoCo任务属于单智能体连续控制，ML-Agents任务属于多智能体复杂决策场景。

在研究结果部分，论文首先在“4.1. Environments”与“4.2. Network Architectures”中说明了实验平台与网络设置。MuJoCo环境采用全连接网络（Fully Connected Network, FCN），ML-Agents环境采用卷积神经网络（Convolutional Neural Network, CNN），并统一设置随机种子以控制不同方法间的初始化差异。这一实验设计为后续比较A3E-PLE与其他消融变体的性能提供了可重复基础。

在“4.3. Simulation Results and Analysis”部分，研究人员比较了四种算法变体：GAE基线、加入熵正则的GAE-entropy、仅含自适应优势估计的A3E-PL，以及完整方法A3E-PLE。结果表明，在五个环境中，A3E-PLE整体表现最优或具有最强竞争力。在Walker2d-v2与HalfCheetah-v2中，A3E-PLE获得最高累计回报，分别约为6188和9418，显著优于其余三种方法，说明联合使用熵调节与动态折扣因子能够有效提升连续控制学习效果。

关于“Hopper”环境的结果，研究显示A3E-PLE在前70万步内累计回报并非最高，但其学习曲线波动明显小于GAE-entropy与A3E-PL。后两者虽在某些阶段达到较高回报，却伴随显著不稳定性；A3E-PLE则长期稳定保持在较高奖励区间，并在后期逐步超越其他方法。这说明该方法在训练稳定性方面具有显著优势，特别适合对策略迭代鲁棒性要求较高的机器人控制任务。

在“Food Collector”环境中，几种方法最终累计奖励差距有限，但A3E-PLE能够更快稳定于较高性能水平。论文指出，该环境动作空间的离散性限制了策略精细调节能力，尤其在应对激光对抗行为时可能压缩算法间的性能差异。即便如此，A3E-PLE仍展现出更快收敛和更稳定训练过程，说明所提方法在复杂多智能体情境下依然具备适应性。

在“Soccer Twos”环境中，研究采用ELO评分系统（ELO rating system）衡量竞争表现。结果显示，A3E-PLE最终ELO评分约为GAE基线的2倍，表明该方法在对抗性任务中能够显著增强策略学习能力。由于这类任务需要在长期回报、协作对抗与局部决策之间实现更复杂平衡，因此该结果尤其支持动态折扣因子调节机制在长时域信用分配中的价值。

关于样本效率分析，论文通过达到预定义目标分数所需步数进行比较。结果表明，在全部10个目标分数中，A3E-PLE有6次排名第一，即所需训练步数最少。尽管在某些中期目标上未必始终领先，但在最终目标达成速度上具有显著优势，说明该方法更善于依据策略优化状态快速调整学习方向，从而提高总体训练效率。

在归一化最大累计奖励的消融分析中，A3E-PLE在所有环境中均超过GAE基线，其相对提升分别为Hopper 42.34%、Walker2d 32.44%、HalfCheetah 24.51%、Food Collector 6.35%、Soccer Twos 103.93%。这一结果验证了方法的有效性与跨环境泛化能力，也说明策略熵调节与基于策略损失的自适应优势估计并非简单叠加，而是存在互补增益。

随后，论文进一步比较了A3E-PLE与固定折扣因子 γ=0.98、0.99、1.00 的策略。在所有设置均加入策略熵的条件下，A3E-PLE相较固定 γ=0.99 的基线，在Hopper、Walker2d、HalfCheetah、Food Collector和Soccer Twos中的最大平均回报分别提升2.84%、29.16%、9.58%、4.69%和33.06%。这表明动态调整 γ 确实优于经验性固定设定，且随着目标难度增加，A3E-PLE的优势更加明显，验证了其自适应回报时域调节机制能够有效应对不同任务复杂度。

论文讨论部分强调，A3E-PLE的有效性来源于两个机制的协同：熵正则项通过维持策略随机性增强探索，避免过早陷入次优确定性策略；动态折扣因子则根据策略损失变化调整信用分配范围，使优势估计更贴近当前策略学习需求。理论分析进一步表明，在γ被严格限制于可行区间且步长足够小的前提下，该机制仅对原PPO/GAE优化过程引入轻微扰动，不会破坏其稳定性基础。论文同时指出，该方法与标准PPO实现具有很高兼容性，计算开销极低，适合部署于实际机器人系统。未来工作将围绕更具理论依据的γ自适应更新策略，以及向足式机器人和工业机械臂等真实物理平台迁移展开。

研究结论部分可译为：本文提出了A3E-PLE，一种面向基于强化学习的机器人运动控制的自适应优势估计算法。为解决标准PPO结合GAE时固定折扣因子与探索不足的局限，所提方法集成了两个核心组成：由策略损失驱动的动态折扣因子机制，以及面向高斯分布策略的熵正则化。理论分析表明，对γ的自适应调制能够依据策略优化状态变化调整有效信用分配范围，而熵正则项则促进充分探索并维持稳定的策略更新。研究人员在五个基准环境中开展了广泛实验，包括3个MuJoCo连续运动任务和2个Unity ML-Agents多智能体场景。结果表明，A3E-PLE在渐近性能与样本效率方面均持续优于固定γ的GAE基线；尤其在复杂多智能体环境中，该方法展现出更好的学习稳定性与更强的性能增益，验证了其在单智能体连续控制与多智能体竞争任务中的良好泛化能力。从实现角度看，A3E-PLE与标准PPO实现高度兼容，仅引入可忽略的计算开销，便于在机器人系统中实际部署。总体而言，A3E-PLE为自适应优势估计提供了一种简洁而有效的机制，为提升基于PPO的机器人运动控制强化学习性能提供了轻量且易于部署的解决方案。