智能自主地面机器人步态合成：一种强化学习方法

《Drones》：Intelligent Gait Synthesis for Autonomous Ground Robots: A Reinforcement Learning Approach Ligan Jia, Minchi Kuang, Jingyu Zhu, Heng Shi, Jihong Zhu and Mengwei Zhang

　　

研究人员提出了一种名为强化学习对比优化（RLCO）的新型四足机器人运动控制框架，该框架将对比学习与强化学习协同整合。该框架解决了现有强化学习方法在四足运动控制中的两个关键局限性：样本效率低和动作序列稳定性不足。为满足复杂环境中运动策略的时间连贯性要求，研究人员通过对比学习开发了一种历史-预测动作对齐机制。该方法通过减少过去动作与预测动作之间的差异，确保动作序列在时间上具有一致性。该方法显著增强了运动控制的稳定性和可靠性。所提出的协同优化机制在保留强化学习对复杂任务探索能力的同时，提升了动作序列的物理合理性和可预测性。实验结果表明，该方法在非结构化地形中的运动控制精度和环境适应性方面取得了显著改进。通过对不同训练策略的比较分析，研究人员系统验证了RLCO框架的有效性。在包含楼梯、斜坡和草地地形的室外环境中的现场测试证实了机器人的能力，四足机器人能够快速适应多样化的地面条件。

**论文解读：基于强化学习对比优化的四足机器人运动控制研究**

**研究背景与问题**

四足机器人因其仿生特性，在非结构化地形中具有显著的机动优势，能够应对楼梯、崎岖路面等复杂环境。然而，传统控制方法（如基于模型的优化）算法复杂、计算资源需求高且环境适应性差，限制了任务多样性和部署效果。近年来，深度强化学习（DRL）在机器人运动控制中取得突破，使四足机器人能够通过与环境的交互主动适应新条件，但其仍面临收敛速度慢、学习效率低、真实环境部署困难等挑战，尤其是在平衡复杂环境探索与身体稳定性方面。此外，现有方法依赖外部传感器（如相机、雷达）进行环境感知，但这些传感器在恶劣条件下可靠性有限。本体感知方法虽可通过自身传感器估计地形和姿态，但基于强化学习的控制仍需解决动作序列的时间连续性和稳定性问题。传统DRL缺乏对动作序列内在时间连续性的显式约束，导致机器人在突发变化或复杂动态环境中产生不连贯或高频动作。为此，研究人员提出了强化学习对比优化（RLCO）框架，旨在提升训练效率、动作稳定性和零样本迁移能力。

**研究内容与结论**

研究人员设计并验证了RLCO框架，该框架将对比学习集成到基于近端策略优化（PPO）的演员-评论家架构中。通过对比学习损失函数，缩小历史动作窗口与预测动作窗口之间的差异，增强策略的时间一致性，从而提高控制稳定性。同时，引入双优势函数（奖励优势与成本优势）以平衡任务目标与安全约束，并采用非对称训练架构（教师-学生蒸馏）实现从仿真到真实环境的零样本迁移。实验在Isaac Gym环境中进行，采用4096个智能体并行训练6000次迭代，并在Unitree Go2机器人平台上进行真实世界测试。结果表明：RLCO在平均奖励和平均回合长度上均优于基线模型（标准PPO）、CostNet（仅加入成本约束）、ContrasNet（仅加入对比学习）和AsymmetricNet（仅采用非对称架构），最终收敛到平均奖励约14，回合长度稳定在1000步。时间窗口敏感性分析显示，窗口[t-6, t]和[t-5, t+1]为最优配置，过短窗口无法提供足够时序上下文，过长窗口则引入无关噪声。在真实场景中，机器人成功完成楼梯上下、斜坡穿越和软草地行走，实现了零样本迁移，验证了框架的有效性。该研究发表在《Drones》期刊上。

**关键技术与方法**

研究人员采用以下主要技术方法：（1）非对称训练框架：教师（评论家）网络在训练时访问特权信息（线速度、足地接触力、物理随机化参数等），学生（演员）网络仅接收本体感知数据（IMU角速度、重力向量、关节角度/速度、历史动作等），通过特权信息损失函数蒸馏，实现零样本迁移。（2）对比学习损失：在演员-评论家架构中计算历史动作窗口与预测动作窗口的潜在表示，通过协方差矩阵正则化（对角线元素趋近1，非对角线趋近0）降低特征冗余，并最小化两者距离，增强动作序列时间连贯性。（3）双优势函数优化：分别计算奖励优势函数（GAE）和成本优势函数，动态调整权重因子k以平衡奖励最大化与成本约束，解决约束马尔可夫决策过程（CMDP）问题。（4）课程学习：双课程框架（地形课程与指令课程）通过动态调整地形复杂度和运动参数范围，使智能体逐步从基础地形低速控制进化到复杂场景高速机动。（5）域随机化：在仿真中对质心位置、质量分布、地面摩擦、电机强度、PID参数等进行随机扰动，并添加随机外力，增强策略鲁棒性。

**研究结果**

**总体性能与训练效率分析**
通过对比RLCO与基线及消融模型（CostNet、ContrasNet、AsymmetricNet）的学习曲线，RLCO在0-2500训练步内平均奖励快速上升至10，最终收敛至约14，显著优于其他模型。其平均回合长度稳定在1000步，而基线模型在2000-3500步间出现大幅波动，表明RLCO的对比学习与成本约束模块有效提升了策略鲁棒性。

**时间窗口超参数敏感性分析**
对更短窗口（[t-3, t]和[t-2, t+1]）和更长窗口（[t-9, t]和[t-8, t+1]）进行测试。短窗口模型RLCO_t-3平均奖励仅收敛至10，回合长度约910；长窗口模型RLCO_t-9平均奖励降至8，回合长度仅900。标准窗口（[t-6, t]和[t-5, t+1]）的奖励达14，回合长度990，验证了窗口选择的有效性。

**消融研究**
通过四种配置的对比：Baseline（标准PPO）、CostNet（加入成本约束）、ContrasNet（加入对比学习）、AsymmetricNet（非对称架构）和完整RLCO。RLCO在运动参数（基座速度、关节位置/速度、接触力、力矩等）的波动范围最小，过渡稳定性最优。具体地，从楼梯爬行到平地行走的过渡中，RLCO恢复稳定的时间最短，关节力矩波动最小。

**真实环境测试**
在Unitree Go2机器人上，针对楼梯、斜坡、草地等非结构化地形进行实地测试，机器人仅依靠本体感知即实现了稳定运动，无需额外微调，成功实现了零样本迁移。

**讨论与结论**

RLCO框架通过对比学习强制策略生成时间连续的动作序列，有效抑制了高频振荡，提升了控制稳定性。双优势函数机制独立评估奖励与成本，避免了单目标优化导致的局部最优。非对称训练架构利用特权信息引导策略学习，使部署时无需外部感知。研究结论指出：RLCO框架显著增强了四足机器人在复杂动态环境中的稳定运行能力，实现了从仿真到现实的无缝迁移。未来研究方向包括：扩展至更具挑战性的动态任务（如高空跳跃、复杂操作-移动、高变形地形）；研究在线适应与持续学习方法，使机器人能够根据实时物理反馈（如负载变化、足端磨损）动态微调策略，进一步提升系统的鲁棒性和适应性。