基于模型的步态规划而非步态奖励：一种适用于在复杂地形上进行双足步行的强化学习方法

《Biomimetic Intelligence and Robotics》：Model-based gait planning rather than gait rewards: An enhanced reinforcement learning for bipedal locomotion over challenging terrains

　　李奇尧|孙世龙|李瑶|徐文福
哈尔滨工业大学机器人与先进制造学院，中国深圳518055

**摘要**
无模型强化学习（RL）通常依赖奖励函数来开发机器人行为；然而，微调奖励系数往往耗时且需要反复调整，尤其是在处理形态各异的机器人时。本研究提出了一种两阶段训练方法。在第一阶段，我们用基于模型的步态规划（MGP）替换了多个步态奖励。具体来说，使用三维线性倒立摆模型（3D-LIPM）生成行走轨迹，并应用逆运动学计算腿部关节序列作为参考运动。通过以加权方式将参考运动与RL信号结合，我们消除了手动设计多个步态奖励的必要性，从而减少了调整负担并加快了基本行走行为的学习速度。在第二阶段，为了保持策略对复杂地形的适应性，我们移除了参考运动的约束。我们训练了一个编码器网络来隐式感知地形特征。这使得机器人能够在实际应用中仅使用本体感觉数据灵活调整其运动。我们的方法通过仿真得到了充分验证，并通过广泛的对比实验展示了优越的性能。最后，该算法成功应用于实体机器人TRON1，在具有挑战性的地形上实现了稳健的行走。

**1. 引言**
人形或双足机器人具有高度的灵活性和适应性，使它们能够在危险或极端环境中替代人类执行任务，例如核辐射区、灾难救援操作和深空探索场景[1]、[2]，从而降低人类的安全风险。此外，它们在工业生产和老年护理等领域也显示出巨大的应用潜力[3]。近年来，人工智能和机器人技术的快速发展推动了人形和双足机器人研究的显著进步，引起了学术界和工业界的广泛关注。在双足机器人研究中，实现稳定高效的双足运动控制是确保其各种功能正常运行的关键。目前，双足机器人在运动控制领域取得了显著进展，实现了高效稳定的运动性能。在早期阶段，主要使用基于模型的控制方法来实现双足机器人的运动控制。经典方法包括零力矩点（ZMP）[4]、模型预测控制（MPC）[5]、混合零动力学（HZD）[6]和全身控制（WBC）[7]。这些方法需要对机器人系统进行建模，并且通常使用简化的动态模型以方便计算。尽管这些方法具有良好的可解释性和形式化保证，但简化模型与全阶动态之间的误差限制了它们在复杂动态运动中的应用。此外，这些方法在处理复杂地形和未知干扰时适应性较差。

随着人工智能的快速发展，将深度强化学习（RL）应用于腿部机器人运动控制的优点变得越来越明显[8]、[9]、[10]、[11]。RL不依赖于精确的系统建模；相反，它通过奖励信号引导学习过程，使机器人能够通过与环境的互动逐渐学习最优控制策略。通过持续学习和训练，RL方法可以用来开发适应动态变化环境和未知干扰的稳健控制策略。近年来，使用RL方法训练四足机器人已经在各种复杂地形上实现了稳定运动[12]、[13]、[14]，甚至实现了跑酷等高难度动作[15]、[16]、[17]。然而，由于结构原因，双足机器人比四足机器人更难以平衡[18]、[19]、[20]，这使得在复杂环境中为双足机器人训练稳健的控制策略变得具有挑战性。尽管RL提供了高度的灵活性和适应性，但其训练过程通常需要大量时间来调整奖励系数，而且设计实用的奖励函数极具挑战性。

在基于深度RL的控制方法中，许多研究人员在训练过程中向机器人关节引入了周期性参考运动信号[21]，并将这些信号纳入与步态相关的奖励函数中。我们提出了一种替代方法，用基于模型的步态规划替换了步态奖励设计。具体来说，我们首先使用基于3D-LIPM的步态规划器生成前进行走轨迹，然后应用逆运动学计算相应的关节角度序列作为参考运动。这些参考运动与RL生成的动作通过加权机制融合，形成最终的控制输入。在奖励设计中，机器人只需跟踪模型生成的关节角度，而无需额外的步态约束。这种设计降低了奖励参数调整的维度，降低了时间成本，并使机器人能够快速掌握基本行走技能。此外，我们的方法采用了分阶段训练策略。在第一阶段，使用参考运动约束实现稳定行走；在第二阶段，移除了这些约束，使策略在处理复杂地形时具有更大的灵活性。我们还在训练框架中加入了编码器网络，使其能够隐式推断地形特征，从而使机器人能够在实际应用中仅使用本体感觉数据调整其运动行为。

在这项研究中，我们进一步发展了这一想法，提出了一个完全替代步态奖励优化的基于模型的步态规划框架。我们采用了一种混合控制架构，将地形感知的脚步规划与基于倒立摆模型的动态稳定性约束轨迹生成器相结合。这种方法将高级规划器与低级跟踪控制分离，提高了可解释性，并消除了奖励塑形的需要。我们的主要贡献如下：
- 我们将基于模型步态规划得到的参考关节运动引入关节控制信号中，简化了步态约束奖励项，显著降低了奖励参数调整的维度并加快了基本行走技能的学习速度。
- 我们加入了一个能够隐式推断地形特征的编码器网络，使机器人能够在实际应用中仅使用本体感觉数据调整其运动行为以适应复杂地形。
- 我们进行了全面的对比实验来验证所提出方法的优越性，并最终将训练好的策略应用于实体机器人TRON1，在各种实际地形上展示了其鲁棒性和适应性。

本文的其余部分组织如下：第2节回顾了双足运动控制的相关工作；第3节详细介绍了所提出的方法；第4节报告了本研究的实验结果；第5节深入讨论了结果；第6节总结了本文并提出了未来研究的潜在方向。

**2. 相关工作**
2.1. 基于模型的双足运动步态规划
双足机器人具有较高的动态不稳定性，因此步态规划对于实现稳定行走至关重要。许多研究使用简化模型来近似腿部结构，并根据这些简化模型的动态特性模拟腿部运动[22]。线性倒立摆（LIP）模型是最基本的模型，它通过调整机器人的脚部位置来实现所需的质心（CoM）运动状态[23]、[24]。然而，LIP模型主要适用于生成简单运动，如行走，难以处理更复杂的动态行为。人类运动，如前冲和快速手臂摆动，通常依赖于角动量来保持平衡。Gong[25]成功将角动量倒立摆（ALIP）模型应用于Cassie Blue机器人，使其能够快速行走和快速转弯。Dai[26]使用ALIP模型使机器人能够在平坦地面、楼梯和随机分布的踏石上实现稳定行走。其他研究[27]使用弹簧加载倒立摆（SLIP）模型来控制高速运动，如跳跃和慢跑，因为该模型更好地模拟了质心的振荡和腿部的柔顺性。此外，现有的步态控制器通过集成MPC框架[28]、[29]进行了优化。尽管这些模型考虑了人体的一些关键动态特性，但与更复杂的全阶动态模型相比仍存在差距，这限制了开发能够有效处理人体动态变化和外部干扰的稳健控制器的发展。

2.2. 双足运动的RL
RL问题的本质是马尔可夫决策过程（MDP）。MDP通常用五元组〈S,A,P,R,γ〉表示。其中，S表示状态空间，A表示动作空间，P表示环境的状态转移矩阵，P(st+1|st,at)表示在当前状态st下采取动作后转移到下一个状态st+1的概率。R表示奖励函数，γ是折扣因子。MDP的目标是优化策略，以最大化整个学习过程中获得的累积奖励。累积奖励可以正式表示为：
(1) Gt = Rt+1 + γRt+2 + γ2Rt+3 + ? = ∑k=0∞γkRt+k+1

近年来，深度RL已广泛应用于双足机器人运动控制[30]、[31]、[32]、[33]，赋予双足机器人更灵活和智能的运动能力。这使得人形机器人能够在动态环境中展示出显著的自主性和适应性，为它们在未来各种实际应用中的发展奠定了基础。Radosavovic[34]将因果控制器与大规模无模型RL结合，训练了一种控制策略，成功应用于人形机器人Digit，并使其能够在各种室内和室外环境中移动。Kim[35]在训练框架中同时使用约束和奖励，显著减少了奖励工程的工作量，并使机器人能够在陡峭的地形上行走。Cui[36]提出了一种两阶段训练范式，使机器人能够导航复杂地形并准确跟踪广泛的速度指令。Gu[37]提出了去噪世界模型学习（DWL），使双足机器人能够在室外环境中的雪地和倾斜表面上实现稳定行走。Krishna[38]提出了一种基于单一线性策略的学习方法，以替代神经网络，从而提高了策略的简单性和可解释性。

2.3. 3D-LIP
3D-LIP由一个位于单一位置的点质量和一个无质量的腿部组成，假设质心在恒定水平面上移动。我们假设x、y和z分别代表前进、侧向和垂直方向。质心在水平方向上的运动方程如下：
(2) x? = gzc×x
(3) y? = gzc×y
其中zc表示质心的高度，g是重力加速度。

**3. 方法**
3.1. 基于3D-LIPM的步态规划
在本节中，我们介绍了基于3D-LIPM的步态规划过程，用于生成质心和脚部轨迹。3D-LIPM是最常用的双足机器人设计简化模型之一。尽管其动态方程相对简单，但已被证明能够生成稳健可靠的双足运动。基于3D-LIPM的步态规划原理是利用模型的运动特性来规划人形机器人的质心和脚部位置的轨迹。对于初始所需的脚部位置，根据预定义的步态参数（如步长、步宽和步态周期）计算相应位置。然后使用模型的运动方程计算质心的实际位置和速度。在整个过程中，构建了一个“质心误差评估函数”来量化当前脚部位置对应的质心状态与期望质心状态之间的差异。通过调整脚部位置并反复计算质心误差，可以获得最小化该误差的脚部位置。这个位置被视为最终的精确定位。换句话说，质心的最终位置和速度由脚部位置决定。通过调整脚部位置，可以使质心运动满足平衡要求。精确定位的脚部位置决定了水平平面（x和y方向）上的最终脚部位置，而脚部的垂直轨迹则通过拟合五阶多项式生成。质心状态和脚部位置的详细计算如下：

机器人的行走过程可以被视为由单支撑阶段（SSP）和双支撑阶段（DSP）组成的周期性运动。我们假设SSP表示为Ts，DSP表示为Td。对于每个SSP的终止状态，我们定义终止位置为(xˉ,yˉ)，终止速度为(vˉx,vˉy)。根据运动方程(1)、(2)，终止位置和终止速度的表达式可以如下推导：(4)xˉ=?xˉC+TcvˉxSyˉ=yˉC+Tc(?vˉy)S (5)vˉx=xˉ(C+1)/TcSvˉy=yˉ(C?1)/TcS其中Tc=zcg，C≡coshTsTc，S≡sinhTsTc。行走参数表示如下：步长为sx，步宽为sy。上标表示第n步。第n次脚步的位置(pxn,pyn)可以表示为：(6)pxnpyn=px(n?1)+sxnpy(n?1)?(?1)nsyn第n步的行走参数可以如下确定：(7)xˉnyˉn=sx(n+1)/2(?1)nsy(n+1)/2 (8)vˉxnvˉyn=(C+1)/(TcS)xˉn(C?1)/(TcS)yˉn为了生成连续的步态模式，在地面上定义了一个固定的坐标系，并且将倒立摆的运动方程表示为：(9)x?=gzc(x?px?)y?=gzc(y?py?)其中(px?,py?)表示调整后的脚位置。因为沿x轴和y轴的运动结果是相同的，所以我们只列出x方向的情况。从运动方程(9)中，我们得到：(10)xfnx?fn=CTcSS/TcCxinx?in+1?C?S/Tcpx?其中xin和x?in是第n步开始时的初始条件，xfn, x?fn是第n步的终止状态。最终状态的目标值可以表示为：(11)xdx?d=pxn+xˉnvˉxn质心的误差评估函数定义如下：(12)N≡a(xd?xfn)2+b(x?d?x?fn)2其中a和b分别是大于零的权重因子。通过找到一个最小化误差评估函数值的立足点，可以控制行走速度。通过最小化这个误差函数，可以获得调整后的立足点位置，这对应于脚在水平平面上的最终输出轨迹。脚的垂直轨迹是通过拟合五阶多项式生成的，可以表示为：(13)pz?(t)=k0+k1t+k2t2+k3t3+k4t4+k5t5其中系数k0～k5可以根据边界条件确定。这些边界条件包括摆动阶段开始时的脚位置、摆动阶段结束时的脚位置、摆动过程中的最高点位置，以及摆动阶段开始和结束时的脚速度。下载：下载高分辨率图像（185KB）下载：下载全尺寸图像图1. TRON1和Pai的腿部结构图。表1. 步态参数。参数Tron1Pai步长0.1米0.1米步宽0.2米0.16米SSP0.2秒0.4秒DSP0.05秒0.1秒基底高度0.68米0.36米最后，对于DSP，为了确保这一阶段的速度和加速度曲线平滑，我们使用四次多项式来描述质心位置，如下：(14)x(t)=a0+a1t+a2t2+a3t3+a4t4双支撑速度阶段开始时的速度和加速度决定了多项式的系数。下载：下载高分辨率图像（657KB）下载：下载全尺寸图像图2. 我们方法的概述。训练过程分为两个阶段：在第一阶段，基于3D-LIPM进行步态规划以生成前向行走轨迹，并使用逆运动学获得关节参考运动。在第二阶段，移除参考运动，并训练一个编码器网络来隐式感知地形特征。在整个训练过程中使用了Actor-Critic架构。表2. 训练超参数。超参数值学习率1×10?5裁剪参数0.2小批量数量4学习周期数量1Gamma (γ)0.994Lambda (λ)0.9如图1所示，LimX Dynamics的TRON1和High Torque的Pai分别具有三个自由度（DoF）和每个腿六个自由度（DoF）。我们为这两种机器人定义了上述过程所需的步态参数，如表1中所列。此外，在我们的步态规划器中，机器人基底和两个脚的方向被限制与世界坐标系对齐。为了生成摆动脚高度轨迹，我们使用了五阶多项式以实现平滑自然的运动。步态规划器可以扩展到其他现有的双足或人形机器人模型，并且可以通过根据特定机器人模型调整表1中提供的步态参数来生成步态轨迹。这些轨迹包括质心和两个脚的运动，然后将其传递给逆运动学（IK）求解器来计算相应的关节角度序列。IK是使用常用的数值迭代方法解决的。这些关节角度在训练过程的第一阶段作为参考动作，如图2所示。表3. 状态项。观测维度单位噪声（%）速度命令3m/s–关节位置6/12rad±5关节速度6/12rad/s±50动作6/12rad–基底角速度3rad/s±10基底欧拉角3rad±3特权信息维度单位噪声（%）关节位置偏差6/12rad–基底线速度3m/s–随机推力3N–随机推力扭矩3N m–接触力2N–摩擦系数1N/A–地形高度2m–3.2. RL问题表述在本节中，我们描述了RL的训练框架，包括整体控制框架、状态空间、动作空间和奖励函数的细节。此外，我们还进行了领域随机化和地形课程学习。3.2.1. 框架概述图2展示了所提出方法的概述。我们训练了Isaac Gym仿真引擎，该引擎支持多个机器人的并行训练。我们采用了Actor-Critic训练架构，其中Actor网络和Critic网络都由三层组成。具体来说，Actor网络的隐藏层维度为[512,256,128]，Critic网络的隐藏层维度也为[512, 256, 128]。此外，我们还训练了一个单独的网络来隐式推断地形信息，其隐藏层维度为[256, 128]。所有网络都实现了多层感知器（MLPs）。我们使用Proximal Policy Optimization（PPO）算法进行训练，详细的超参数列在表2中。编码器：编码器的输入是历史观测数据，我们使用了前20个时间步的历史本体感觉信息。编码器输出一个20维的潜在变量zt，zt代表从历史本体感觉数据中提取的紧凑潜在表示，能够表征未知的复杂地形特征。与DreamWaQ [39]中使用的编码器架构类似，我们采用了编码器-解码器结构，其中解码器生成下一个时间步ot+1est的观测估计。我们使用β-Variational Autoencoder（β-VAE）来计算解码器输出ot+1est与实际观测ot+1之间的损失。通过最小化这个损失，可以使编码器生成的估计输出ot+1est尽可能接近实际观测ot+1，从而使编码器能够训练出预测下一个时间步的状态。这样的预测本质上对应于对未知和复杂地形特征的估计，因为它是从中间潜在特征解码而来的。因此，通过这个编码器，机器人可以快速感知地形特征并将它们作为状态信息传递给Actor网络。基于这些状态信息，Actor网络生成适应复杂地形的行为。VAE损失定义为（15）LVAE=MSE(ot+1,ot+1est)+βKL(g(zt|otH)∥p(zt))其中β的值设置为1，对应于标准VAE配置，它为两个损失项分配了相等的权重，作为重建精度和表示鲁棒性之间的基本权衡。Actor网络：在第一阶段，Actor网络的输入是当前观测ot，而在第二阶段，Actor网络的输入是编码器输出的潜在变量zt。此外，在两个阶段中，Actor网络的输出是机器人的关节动作。Critic网络：Critic网络的输入包括特权观测，其输出是对Actor网络的值估计。3.2.2. 状态我们的状态分为两部分：观测和特权信息（PI）。状态的具体细节列在表3中。观测数据可以直接从物理机器人上的传感器获取，例如关节编码器和IMUs，包括关节位置和速度、基底方向和角速度。这些观测数据在真实世界部署时对Actor网络是可访问的。相比之下，特权信息仅在仿真环境中可用，在物理机器人上部署时无法被Actor网络访问。然而，在训练期间，特权信息为Critic提供了额外的环境上下文，使Critic能够更准确地评估状态并指导Actor的学习。值得注意的是，我们将地形高度信息纳入了特权信息中，这提高了在复杂地形环境中的训练效率和质量。此外，我们在某些观测数据中引入了噪声，以模拟真实世界中的传感器不确定性，如数据延迟、测量误差和噪声干扰。3.2.3. 动作网络的动作是一个向量，其维度对应于腿关节的数量，表示为aRL。其大小根据当前状态和奖励进行调整。因为我们采用了关节位置控制，所以动作表示了腿关节的目标角度。(16)aRL=[a1,a2,…,a6]在第一阶段，我们没有直接使用神经网络的动作输出作为腿关节的最终控制信号。相反，我们将其与参考关节运动信号结合，以结合来自动力学的预测信息。这两个组件被加权并结合，具体公式如下：(17)a=k?aRL+aRef其中aRef是参考动作信号，k是RL组分的权重，范围从0到1。根据[40]中的研究，为了学习更灵活的策略，我们将k的值设置为1。此外，我们在奖励中加入了一个项，以鼓励RL动作跟随参考动作aRef。在第二阶段，我们移除了参考运动，仅依赖于Actor网络的输出aRL。3.2.4. 奖励奖励函数定义了机器人必须学习的行为目标，并直接影响学习效率和策略。在第一阶段，我们设计的奖励项可以分为五类，可以使用以下公式表示：(18)r=ralive+rref+rvel+rroot+renergy其中ralive是生存奖励，rref是关节参考跟踪奖励，rvel鼓励机器人跟随期望的线性和角速度，rroot使机器人保持稳定的基底方向和固定高度，renergy惩罚导致过度能耗的过于激进的动作。在第二阶段，我们移除了用于跟踪参考运动的奖励项rref。奖励的详细信息列在表4中。表4. 奖励函数和尺度。奖励项方程尺度raliveAlive10.15rref关节参考跟踪exp?2∑i=112(qi?qref)24rvel线速度跟踪exp?10(vxy?vxydes)21Empty Cell角速度跟踪exp?10(ωz?ωzdes)20.5rroot基底姿态exp?1000?(θx+θy+θz)1Empty Cell基底高度(hroot?0.68)2或(hroot?0.36)2?10renergy关节加速度?∑jq?j22.5×10?7关节速度?∑jq?j25×10?4动作频率?∑j(ajcurrent?ajlast)20.01Empty Cell关节功率?∑jτj21×10?5在表4中，hroot表示机器人基底的高度；θx, θy, θz分别表示每个方向的基底欧拉角；vxy, ωz分别表示基底在水平面上的线速度和绕垂直轴的角速度。上标“des”表示期望的速度命令。qj, q?j, q?j, τj, ajcurrent, ajlast分别表示第j个关节的位置、速度和扭矩，以及应用于第j个关节的当前和之前的动作信号。应该注意的是，参考轨迹是基于简化的动力学模型生成的。由于简化模型和完整动力学模型之间存在差距，参考轨迹并不完全准确。然而，所提出的运动控制方法本质上是基于学习的，使用简化动力学模型进行步态规划只是为了生成基本的行走模式，不需要高精度。例如，我们不需要机器人以严格指定的抬脚高度行走；只要生成的运动表现出规律和自然的行走模式就足够了。RL组件使机器人能够在提供更灵活行为的同时保持平衡，这是我们最终想要实现的策略。表5. 领域随机化。项目范围单位操作符摩擦0.1～2.0––基底质量?1.0～2.0kg加性Kp因子0.9～1.1–缩放Kd因子0.9～1.1–缩放动作延迟0～10ms–扭矩延迟0～10ms–质心位置?0.03～0.03（x方向）加性?0.02～0.02（y方向）加性Empty Cell?0.03～0.03（z方向）加性推力4（区间）s–?0.2～0.2（推力）N–Empty Cell?0.4～0.4（推力扭矩）N m–下载：下载高分辨率图像（506KB）下载：下载全尺寸图像图3. 地形概览：(a)显示了训练中使用的五种地形类型，(b)从左到右显示了地形课程的俯视图，难度逐渐增加。下载：下载高分辨率图像（527KB）下载：下载全尺寸图像图4. Pai（上）和TRON1（下）在仿真中的前向行走和转弯动作。3.2.5. 领域随机化通过引入仿真中的不确定性，领域随机化有效地减少了仿真与现实之间的差距，使机器人能够适应多样化的真实世界环境。在本研究中，随机化了八个参数，详细信息见表5。3.2.6. 地形课程学习地形课程学习逐渐增加任务难度，允许机器人从简单地形开始训练，并随着技能的提高逐步挑战更复杂的地形。这种学习方法使机器人能够逐渐适应各种环境，从而学会在复杂地形上更有效地行走。在模拟中，我们设置了一个包含五种地形类型的课程学习过程：斜坡、金字塔楼梯、金字塔斜坡、离散障碍物和随机均匀地形，如图3所示。地形被安排在一个10行12列的网格中，难度从左到右逐渐增加。每种地形类型占据相等的列数，且难度随着行数的增加而逐渐增加。在模拟开始时，4096个机器人被均匀分布在对应于每种地形类型的初始位置。

下载：下载高分辨率图片（257KB）
下载：下载全尺寸图片
图5. TRON1在各种具有挑战性的地形上的表现。
下载：下载高分辨率图片（246KB）
下载：下载全尺寸图片
图6. 潜在地形特征的t-SNE可视化。
下载：下载高分辨率图片（119KB）
下载：下载全尺寸图片
图7. 随着训练迭代次数的增加，地形难度的变化。
下载：下载高分辨率图片（285KB）
下载：下载全尺寸图片
图8. 模拟间的结果。左侧显示了TRON1在Gazebo中的表现，右侧显示了在MuJoCo中的表现。

4. 结果
4.1. 模拟结果
在本节中，我们展示了训练后获得的模拟结果。视频材料表明，机器人能够有效响应不同的速度指令，在[-1, 1] m/s的线速度范围和[-1, 1] rad/s的角速度范围内实现全向移动。如图4所示，两种机器人都能稳定地进行前进行走和转弯操作。值得注意的是，通过地形课程学习训练的TRON1机器人成功导航了多种复杂地形，包括斜坡、金字塔楼梯、金字塔斜坡、离散障碍物和随机均匀地形，如图5所示。
为了进一步验证我们的方法能否隐式推断地形特征，我们对学习到的潜在特征进行了可视化分析。具体来说，测试环境包括五种地形：斜坡、金字塔楼梯、金字塔斜坡、离散障碍物和随机均匀地形。我们在机器人在这五种地形上移动时记录了编码器输出。然后，我们应用t分布随机邻域嵌入（t-SNE）方法将这些复杂的潜在表示投影到二维空间进行分析。如图6所示，自主学习到的地形特征清晰地分为五类，这表明我们的方法能够识别和区分地形类型。值得注意的是，从斜坡和金字塔斜坡学到的特征表现出相似性，表明机器人将穿越斜坡和穿越金字塔斜坡视为类似的过程。此外，如图3(b)所示，模拟中的地形从左到右分为1级到10级。图7展示了训练过程中地形难度的变化。可以观察到，训练后机器人能够达到的最大地形级别约为5.5级。
为了准备在真实的TRON1平台上进行部署，我们在多个物理模拟环境中对训练好的策略进行了严格的验证，以解决模拟与现实之间的显著差距。这一全面的验证过程确保了策略在各种动态条件下的稳定性，同时防止了由于任何模拟环境的限制而可能出现的现实世界故障。我们选择了MuJoCo和Gazebo，因为它们具有成熟的高保真物理动力学模拟能力。将最初在Isaac Gym中训练的策略转移到这些平台后，我们通过图8确认该策略在更高精度的模拟环境中保持了稳健的行走稳定性。

4.2. 对比方法
我们进行了多项比较实验来验证我们提出方法的有效性。比较实验中使用了以下方法：
(1) 基线：策略在没有编码器或历史观察信息的情况下进行训练。
下载：下载高分辨率图片（371KB）
下载：下载全尺寸图片
图9. 参考运动的比较结果。(a) 三种方法的奖励曲线表明RGMP实现了最快的收敛速度。(b) 三种方法的模拟结果：只有使用RGMP训练的机器人表现出正常的行走步态。
下载：下载高分辨率图片（347KB）
下载：下载全尺寸图片
图10. 比较RGMP、AdaptationNet、MoB和基线方法的地形穿越成功率。
(2) AdaptationNet [41]：策略使用隐式编码器和师生训练框架进行训练。
(3) MoB [42]：策略使用显式估计器网络进行训练。
(4) AoC [21]：一种采用周期性正弦参考信号和步态奖励函数的方法。
(5) AoC无步态奖励：AoC方法消除了步态奖励函数。
(6) RGMP：我们方法的缩写。
(7) RGMP无参考：我们的方法消除了参考运动。
声明：关于参考运动的比较实验使用了Pai机器人，而所有其他比较实验使用了TRON1机器人的数据。

4.3. 参考运动
通过奖励函数塑造行为是强化学习控制方法中的一个重要挑战。因此，为了更快地收敛到期望的行为并简化奖励函数的设计，大多数方法在训练期间为机器人关节引入周期性正弦参考，如AoC方法所采用的。此外，必须设计多个步态奖励项来引导机器人朝向正确的步态。AoC方法采用了六个与步态相关的奖励：脚部离地高度的奖励、脚部抬升持续时间、脚部接触期间的周期性信号合规性、接触期间的脚部速度约束、脚-膝距离约束以及脚部姿势约束。相比之下，在第一阶段，RGMP方法跟踪的参考运动是通过基于模型的步态规划生成的，这产生了包括质心和脚部位置的轨迹。这种方法相当于为双足机器人预定义了一个完整的行走步态模式。当在训练期间提供这样的先验步态信息时，探索空间可以显著减少，使机器人能够更快地学习行走行为。由于这种先验步态轨迹已经包含了预先设计的步态参数信息，因此无需使用任何与步态相关的奖励来指导学习过程。这样，AoC方法中使用的六个步态奖励项就被消除了，直接将奖励系数调整的维度减少了六倍，大大节省了强化学习中的训练时间。在接下来的两个实验中，我们进一步验证了这一理论分析的正确性。
我们将第一阶段提出的方法RGMP与AoC方法和RGMP无参考方法进行了比较，在RGMP无参考方法中，第一阶段的参考运动被移除了。图9(a)显示了训练后三种方法的奖励曲线。由于它们的奖励项不同，直接比较累积奖励的大小是没有意义的。相反，我们关注的是收敛速度。结果显示RGMP收敛最快，大约在2000次训练迭代后开始收敛。AoC方法大约在2500次迭代后开始收敛，而RGMP无参考方法收敛最慢，大约在3100次迭代后才稳定下来。这表明在强化学习训练中引入参考运动是至关重要的，因为它降低了关节空间中的探索难度，并帮助机器人快速达到期望的行为。更重要的是，RGMP的收敛速度比依赖周期性参考的方法更快，使得基本行走行为的学习更加迅速。第一阶段的训练是否完成主要取决于训练过程中的奖励曲线和训练后的模拟视频。当奖励曲线稳定收敛，并且机器人在训练后的模拟视频中能够正常行走时，我们认为第一阶段的训练已经完成。我们并行训练了4096个每条腿有6个自由度的双足机器人。训练在大约2000次迭代时开始收敛。为了获得更稳定的策略，可以将训练迭代次数设置为8000-10000次。
我们还将RGMP与AoC无步态奖励（仅使用周期性参考）和RGMP无参考（无参考运动）进行了比较，并观察了每种方法下机器人的行走姿势。验证是在6自由度的单腿机器人Pai上进行的。与每条腿只有3自由度的点脚双足机器人相比，具有更复杂结构的双足行走更好地突出了我们方法的优势。
图9(b)展示了三种方法的模拟结果。使用RGMP时，机器人在抬脚过程中保持了稳定的脚部姿势，没有脚后跟接触。在AoC无步态奖励的情况下，脚部姿势不理想，脚部抬升高度不一致，脚后跟经常触地。在没有参考的RGMP中，机器人无法有节奏地行走，只表现出类似滑动的向前运动。
总之，与依赖周期性参考运动的方法相比，RGMP方法在训练过程中可以更快地学习行走行为。由于基于模型的步态规划生成的参考运动已经包含了完整的步态信息，RGMP方法减轻了对步态特定奖励的依赖。这有效地降低了奖励设计的难度，减少了奖励系数的维度，并大大节省了参数调整的时间。

4.4. 在复杂地形上的成功率
我们比较了不同方法在复杂地形上的表现。具体来说，我们评估了RGMP、AdaptationNet、MoB和基线方法在各种地形上的成功率。每种训练策略在每种地形上测试了20次，每次测试持续3分钟。如果机器人在测试中摔倒或表现出不稳定的步态，则视为失败；否则，视为成功。为了验证控制策略的有效性，我们采用了课程学习设置中最具有挑战性的地形，参数如下：楼梯高度为15厘米，斜坡角度为40°，金字塔斜坡坡度为30°，随机均匀地形的高度变化范围为10厘米，离散障碍物的最大突出高度为10厘米。
如图10所示，在处理倾斜地形时，RGMP、AdaptationNet和MoB方法取得了100%的成功率。对于其他地形，RGMP方法表现最佳。然而，基线方法在各种具有挑战性的地形上的存活率非常低，特别是在金字塔楼梯和金字塔斜坡上的存活率为0。实验结果验证了我们提出的两阶段训练框架能够有效平衡基本运动学习和对复杂地形的适应性。此外，引入的编码器一旦训练完成，就可以预测地形特性，使其能够隐式推断地形特征。因此，代理能够仅使用本体感觉信息学习处理多种具有挑战性的地形的策略。

4.5. 速度跟踪
我们评估了各种方法在模拟环境中的命令跟踪性能。每个控制器测试了5分钟，在此期间每7秒改变一次速度命令。所有命令都在[-1, 1]的范围内随机采样。为了减少随机性，每种方法测试了五次，并将所有试验的结果速度数据连接起来进行分析。图11显示了使用不同方法的机器人的线速度和角速度跟踪误差。结果表明，我们的方法在跟踪精度方面表现最佳，线速度和角速度的误差都显著低于其他方法。AdaptationNet和MoB方法也表现出良好的命令跟踪性能，而基线方法的表现相对较差。

4.6. 鲁棒性分析
我们还测试了使用RGMP、AdaptationNet、MoB和基线方法训练的控制器的鲁棒性。在模拟中，通过对机器人基座施加随机水平速度来模拟外部推力，从而施加随机干扰。随机速度从[-1, 1] m/s的范围内均匀采样，并且每7秒改变一次。我们比较了每种方法在10分钟测试期间的存活持续时间。图12中的实验结果表明，RGMP、AdaptationNet和MoB对随机干扰表现出很强的鲁棒性；然而，RGMP的表现优于其他方法。

4.7. 长距离行走
我们让机器人在现实世界中依次穿越几种类型的复杂地形，以验证训练好的控制策略在具有挑战性的地形上实现长距离行走的能力。机器人需要按以下顺序通过以下地形模块：可变形泡沫垫、平坦地面、草地、随机堆叠的木板和斜坡。我们测试了机器人在连续穿越路线时的性能，并在其移动过程中收集了实时传感器数据，包括惯性测量单元（IMU）测量的欧拉角和关节扭矩传感器数据，它们的时间变化分别显示在图13和图14中。偏航角主要反映了机器人的转向行为；因此，俯仰角和滚转角主要表示行走时的平衡状态。如图13所示，机器人在平坦地面上表现出最佳的平衡性能，俯仰角和滚转角始终保持在接近零的水平，显示出平稳且微小的波动。然而，当通过可变形泡沫垫、草地、随机堆叠的木板和斜坡时，欧拉角显示出显著的波动性，其中在随机堆叠的木板上波动最为明显。在视频中，我们还可以观察到机器人必须小心地保持其平衡。尽管如此，欧拉角数据揭示了一个关键现象：尽管机器人在最初遇到复杂地形时表现出明显的瞬时波动，但它总是在一段时间后恢复到稳定状态。这一观察结果证实了我们的控制策略在导航各种复杂地形时具有一定的适应性和抗干扰能力。最重要的是，在整个长距离行走测试中，欧拉角的波动保持在合理的范围内。俯仰角的最大偏移为16°，滚转角的最大偏移为11°，两者都在可接受的范围内。此外，即使机器人的欧拉角在某一时刻显示出相对较大的偏移，它们也能迅速恢复到接近0°。这表明，尽管面临多样的地形挑战，机器人始终保持了良好的平衡性能，充分验证了我们控制策略的可靠性。

我们还从关节扭矩变化的角度评估了行走性能。如图14所示，在平坦地形上，扭矩波动最小。同时，随机堆叠的木板引起了最显著的高频扭矩波动，反映了离散接触表面对关节冲击载荷的影响。与欧拉角的变化类似，当机器人最初遇到复杂地形时，关节扭矩也表现出明显的瞬时波动，但随后也会恢复到稳定状态。这进一步证明了我们的控制策略在导航复杂地形时的适应性和抗干扰能力。此外，尽管在遇到复杂地形时扭矩的幅度有相当大的波动，但总体上没有出现突然的变化。这表明我们的控制策略能够快速识别地形变化并迅速调整扭矩以保持平衡，从而减少能耗，并实现安全高效地穿越各种复杂地形。

本研究提出了一种用于双足机器人在复杂现实世界地形上进行运动控制任务的两阶段训练方法。在第一阶段，我们使用基于模型的步态规划简化了多个步态奖励设计，这显著减少了奖励系数的参数调整维度，并加速了机器人对基本行走动作的学习过程。在第二阶段，我们取消了参考动作的约束，并引入了一个编码器网络来隐式感知地形特征。这种方法使机器人能够仅依靠本体感觉数据灵活调整其运动状态。我们通过仿真和现实世界实验全面验证了所提出方法的有效性。在仿真中，所提出的方法使双足机器人TRON1和Pai能够有效响应不同的速度指令，实现稳定的前进和转向动作。值得注意的是，使用地形课程学习方法训练的TRON1机器人能够使用单一控制策略适应多种复杂地形。此外，我们还与各种现有的研究方法（AoC、AdaptationNet和MoB）进行了比较实验。结果表明，RGMP方法能够更快地学习基本行走动作，显著减少了奖励系数的参数调整维度，并在穿越复杂地形的成功率、速度跟踪精度和系统抗干扰能力方面优于其他方法。最后，我们成功将该方法从仿真应用到了物理机器人TRON1上，使其在包括泡沫垫、草地、随机堆叠的木板和斜坡在内的各种复杂地形上实现了稳定的长距离行走。这些结果验证了RGMP方法在处理各种复杂地形时表现出优异的适应性和抗干扰能力。

然而，我们的方法也存在一些局限性。首先，参考动作和强化学习（RL）输出的加权组合引入了新的超参数，当机器人需要执行多项任务时，可能需要对这些超参数进行适应性调整，以提供更大的灵活性。相应的调整策略将是未来工作的重点。目前，机器人只能通过本体感觉获取地形特征信息，缺乏提前感知外部障碍物的能力。在未来的研究中，我们计划集成视觉传感器来增强机器人的综合地形感知能力，并进一步优化其运动控制性能。借助视觉传感器的帮助，机器人可以提前识别障碍物，评估地形复杂性，并制定更精确的运动计划。这将使它在更复杂和动态的环境中实现更高效、更安全的自主行走，显著提高其在实际应用中的可行性和实用性。

在这项研究中，我们提出了RGMP，这是一种新颖的双足运动控制两阶段训练框架，它通过基于模型的步态规划简化了传统的步态相关奖励函数。通过利用三维线性倒立摆模型（3D-LIPM）和逆运动学，我们生成了可靠的关节参考动作，显著降低了奖励设计的复杂性，并提高了强化学习的训练效率。在第二阶段，我们取消了参考约束，并引入了一个编码器网络从本体感觉历史中提取潜在的地形特征，使机器人能够在不依赖显式外部感觉器的情况下灵活适应复杂地形。在TRON1平台上的广泛仿真和现实世界实验表明，RGMP不仅加速了收敛速度并提高了步态稳定性，还在地形适应性、速度跟踪和抗干扰能力方面优于现有方法。在包括可变形泡沫、草地、木板和斜坡在内的多种复杂地形上的成功应用进一步验证了我们方法的实用性和通用性。

在未来的工作中，我们计划集成视觉感知能力以增强机器人对其环境的感知。这将实现预判性地形评估和运动规划，从而在非结构化动态环境中实现更安全、更高效的移动。