基于最优速度跟踪的深度强化学习用于月球四足机器人的连续跳跃与敏捷转向

《Acta Astronautica》：Optimal velocity tracking-based deep reinforcement learning for continuous jumping and agile steering of lunar quadruped robots

　　

•速度跟踪DRL实现月球机器人的连续跳跃与转向。
•带有风化层的跳跃模型分析了速度损失和能量耗散机制。
•特殊奖励与速度重采样稳定姿态、节省能量并实现转向。
•月球域随机化实现四足机器人跨地形鲁棒性。
•仿真与地面实验验证了方法的可行性。

引言

随着月球资源勘探任务的加速部署，对能够在极端月球环境中进行远距离穿越和高机动性作业的自主移动机器人有着迫切需求。四足机器人凭借其卓越的地形适应性和动态运动能力，已成为地外表面探索最有前景的平台[1]、[2]、[3]。月球低重力（LLG）环境显著降低了执行器力矩需求[4]，同时放大了运动过程中碰撞引起的弹跳效应。此外，跳跃能够实现快速跨越障碍物，并最小化与松散风化层的接触时间，使其特别适合非结构化的月球地形[5]。因此，在LLG环境中实现四足机器人的跳跃运动引起了大量研究关注[6]、[7]、[8]、[9]。Rudin等人[7]在LLG环境中通过摆动机器人肢体实现了空中重定向。Sang等人[8]展示了在LLG条件下实现体长和体高5倍跳跃的能力。此外，Olsen等人[10]开发了火星勘探跳跃机器人，其物理原型在火星重力下实现了3.63米的模拟跳跃高度。这些发现表明四足机器人可用于月球勘探任务。然而，现有研究主要集中在单次跳跃性能优化上，对连续多次跳跃过程中的连贯性关注有限[11]、[12]。以恒定水平速度和灵活转向进行不间断的连续跳跃是实际月球勘探所需的关键能力，它可以减少能量消耗并增强运动灵活性[13]。这需要更精确地预测和控制机器人的运动。

然而，机器人的高维非线性动力学和频繁的状态转换带来了显著的控制挑战，尤其是在LLG条件下。传统的基于模型的控制方法，如模型预测控制（MPC）和轨迹优化，已在地面动态运动中获得成功[14]、[15]。对于跳跃任务，研究人员[16]、[17]探索了敏捷方向转换和侧向跳跃的控制架构。Fey等人[18]提出了一种基于脉冲混合整数规划的运动生成方法，实现了四足机器人在不连续地形上的动态连续跳跃。此外，Westre等人[19]采用非线性MPC驱动腿部执行器，为机器人跳跃期间的姿态控制生成适当的力矩。然而，这些方法依赖于动力学和接触模型[20]，而对于具有可变形特征和非线性能量耗散特性的松散月球风化层，难以获得这些模型。而且，此类方法对不可预测场景的适应性有限。月球环境引入了不确定性，同时延长了飞行阶段，这给传统的基于模型的控制器带来了严重挑战。

基于学习的控制范式在实现高动态机器人运动的鲁棒执行方面展现了卓越能力[21]。为了解决纯基于模型方法的局限性，结合了学习和基于模型技术的混合控制范式已被探索[22]。Bellegarda等人[23]开发了一种DRL增强的轨迹优化框架，通过增强复杂解来提高四足机器人的跳跃鲁棒性。Yang等人[24]提出了一种残差学习系统，将最优控制与人工加速度补偿相结合，以实现稳定的全向跳跃。Nguyen等人[25]结合学习和MPC来提高跳跃精度并减少连续跳跃过程中的距离误差。然而，这些混合方法仍然严重依赖于人工设计的参考轨迹和预标定的动力学模型，这限制了它们对高度不确定和非结构化月球表面环境的适应性。

通过适当的奖励结构和学习架构设计，无模型DRL可以通过持续的环境交互隐式推断系统动力学，无需显式的动力学模型或预定义的参考轨迹[26]、[27]。Guan等人[28]通过强化学习（RL）实现了四足机器人的跳跃运动，完全不依赖参考轨迹。Li等人[29]开发了一种基于DRL的双历史架构控制策略，实现了多种跳跃技能。Atanassov等人[30]提出了一种基于课程的学習框架，通过逐步增加任务难度来训练机器人的跳跃能力。Olsen等人[31]通过RL实现了机器人在火星跳跃过程中的空中姿态重定向控制。这些进展证实了DRL使机器人系统能够在没有显式模型和轨迹依赖的情况下获得高动态跳跃能力。然而，现有基于DRL的跳跃方法在LLG环境中存在局限性：未能缓解重复地面碰撞引起的速度波动，导致水平速度过度损失和不必要的能量耗散；缺乏专门的敏捷转向机制，导致连续跳跃过程中不可避免的运动中断；很少考虑可变形月球风化层和崎岖地形的独特接触特性，导致策略可靠性和地形鲁棒性较差。

为了解决这些挑战，本文提出了一种基于最优速度跟踪的DRL框架，用于月球四足机器人的连续跳跃和敏捷转向。该框架以速度为核心控制目标，以维持重复地面碰撞期间水平速度的连续性。具体而言，我们首先建立了包含可变形月球风化层的连续跳跃模型，分析了速度和能量损失机制，并推导了能量最优速度比。随后，引入最优速度指令重采样（OVCR）模块，实现多方向跳跃指令的并行学习，从而实现不间断的快速转向。设计了一种对称运动奖励与风化层（SMRR）机制，通过模仿生物对称运动模式来稳定跳跃姿态并减少风化层引起的能量耗散。此外，应用月球地形和风化层参数的域随机化来增强策略的地形鲁棒性。最后，在模拟月球地形上进行全面的仿真实验以验证策略的有效性[32]。此外，在地面重力条件下进行原型实验以验证所提方法的仿真到现实（sim2real）迁移能力。

本文其余部分组织如下：第2节分析连续跳跃的跳跃动力学、月球风化层接触特性和能量损失机制。第3节详细介绍所提方法，包括DRL公式、SMRR奖励机制、OVCR模块和月球地形域随机化策略。第4节展示全面的仿真、性能分析和地面原型实验，包括多地形连续跳跃、多角度转向和消融研究，以量化各模块的单独贡献。第5节对论文进行总结。

四足机器人跳跃动力学

图1展示了机器人在月球表面地面接触阶段的跳跃过程，其中速度和姿态变化取决于地面反作用力（GRF）。四足机器人是一个典型的多体浮动基系统，具有12个驱动关节（每条腿3个自由度：髋关节、大腿和小腿）。其配置空间可表示为：S=(p,Θ,q)?，其中p=(x,y,z)表示主體在世界坐标系中的质心（CoM）位置；Θ=(?

方法论

所提出的训练框架（图2）采用模块化架构，集成了状态构建、动作生成、高保真物理仿真和多目标奖励机制。我们使用广义优势估计（GAE(λ)）进行策略梯度计算，并使用多层感知器（MLP）结构参数化演员和评论家网络。为了满足月球勘探任务的机载计算约束，采用了异步控制协议。

实验与讨论

本节通过一系列仿真实验验证了所提训练框架和控制策略的有效性。测试在三种不同的地形设置中进行：平面刚性地形、用单向弹簧阻尼器建模的风化层地形，以及用于实验验证的模拟月球地形。首先，评估前向、侧向和对角线方向的连续跳跃性能。其次，评估跳跃期间的快速转向能力。

结论

本文通过在LLG环境中为四足机器人提出一种基于最优速度跟踪的DRL框架，解决了连续跳跃和不间断敏捷转向的控制问题。该框架无需预定义的运动轨迹，集成了仿生对称运动奖励机制和基于最优速度重采样的并行学习策略，减少了水平速度损失和能量消耗，提高了跳跃姿态稳定性。

CRediT作者贡献声明

Jun Li：撰写——初稿、方法论、调查、形式分析、数据管理、概念化。Hanying Sang：调查。Yidong Ye：调查。Yiwei Shu：调查。Yalou Tan：调查。Shuquan Wang：撰写——审阅与编辑、监督、资金获取。

利益冲突声明

作者声明不存在任何可能影响本文报告工作的已知竞争性经济利益或个人关系。

致谢

本工作得到中国科学院战略先导研究项目（项目编号XDA30010500）和空间利用重点实验室实验室资金（项目编号CXJJ-22S021）的支持。

Jun Li | Hanying Sang | Yidong Ye | Yiwei Shu | Yalou Tan | Shuquan Wang