《Biomimetics》：Online GP-MPC Command Supervision for Robust Reinforcement Learning-Based Quadruped Locomotion
编辑推荐：
基于强化学习的四足运动策略在地形变化和未建模动态作用下可能出现命令跟踪误差。本研究提出一种在线有界高斯过程增强模型预测控制框架，称为高斯过程–模型预测控制–强化学习(GP-MPC-RL)，用于对预训练运动策略进行命令级监督。冻结的近端策略优化(PPO)策略生成
基于强化学习的四足运动策略在地形变化和未建模动态作用下可能出现命令跟踪误差。本研究提出一种在线有界高斯过程增强模型预测控制框架，称为高斯过程–模型预测控制–强化学习(GP-MPC-RL)，用于对预训练运动策略进行命令级监督。冻结的近端策略优化(PPO)策略生成低层运动行为，而基于acados的模型预测控制(MPC)监督器利用名义命令-响应模型调整速度命令。在线高斯过程(GP)学习名义预测与实测机器人响应之间的单步残差，并将其不确定性加权的前向速度修正纳入MPC预测。该框架在Isaac Lab中采用Unitree Go2四足机器人模型进行了评估，在目标速度为0.3、0.5和0.7 m/s的条件下进行了20次配对粗糙地形试验；GP-MPC-RL相对于PPO分别将平均前向速度均方根误差(RMSE)降低了38.3%、21.3%和10.1%。在5 kg负载下，GP-MPC-RL相对于MPC-RL将速度RMSE降低了29.0%，并将在0–5 kg负载下引起的退化降低了53.0%(p = 0.019)。平均监督器计算时间为0.112 ms。这些结果表明，当名义命令-响应模型变得不准确时，GP残差自适应尤其有效，可在不重新训练底层运动策略的情况下提高鲁棒性。
四足机器人因能穿越崎岖地形而广泛用于巡检、勘探、搜救和工业自动化，但地形几何、摩擦和接触条件持续变化给稳定运动带来挑战。基于强化学习的运动策略在训练环境内表现良好，但在未建模动态或不同地形条件下可能出现命令跟踪误差。模型预测控制(MPC)依赖预测模型精度，而强化学习控制下的闭环响应受策略、执行器、接触和地形共同影响，名义模型难以完全准确。高斯过程(GP)可学习模型预测与实测响应之间的残差，但已有研究较少在保持底层强化学习策略不变的情况下，单独评估在线GP残差自适应在命令级MPC监督中的贡献。因此，研究人员提出了一种在线有界高斯过程增强模型预测控制框架，称为高斯过程–模型预测控制–强化学习(GP-MPC-RL)。该框架保留冻结的近端策略优化(PPO)策略作为低层运动控制器，上层由基于acados的MPC监督器调整速度命令，并通过在线有界多输出GP学习名义命令-响应模型与实测响应之间的单步残差，将其不确定性加权修正纳入MPC预测。论文发表在《Biomimetics》。
在方法上，研究在Isaac Sim/Isaac Lab仿真环境中使用Unitree Go2四足机器人模型，物理引擎为NVIDIA PhysX。低层采用冻结PPO策略生成动作，经逆运动学(IK)与比例-微分(PD)控制器执行。名义命令-响应模型采用六维一阶模型近似闭环速度响应；在线GP以19维输入预测六维残差，仅将前向速度残差引入预测，并用置信因子根据预测不确定度衰减不可靠修正。MPC采用acados框架的序贯二次规划实时迭代(SQP-RTI)方案求解，仅在命令层优化速度指令。试验样本来源于20次配对粗糙地形仿真试验，同一组随机种子用于所有对照控制器以支持配对统计。
结果部分如下。5.1 速度跟踪性能：在0.3、0.5、0.7 m/s目标速度下，GP-MPC-RL相对PPO将平均前向速度均方根误差(RMSE)分别降低38.3%、21.3%和10.1%；相对MPC-RL分别降低10.4%、1.5%和6.4%。Wilcoxon符号秩检验显示，GP-MPC-RL相对PPO在三个速度下均显著，而相对MPC-RL仅在0
