TSIE：基于地形与状态隐式-显式估计的双足机器人鲁棒盲 locomocition 学习框架

《Biomimetics》：TSIE: Robust Blind Locomotion Learning for Bipedal Robots via Terrain and State Implicit-Explicit Estimation

　　

在复杂非结构化地形上的鲁棒盲 locomotion 依赖对机器人状态与周围地形几何的准确估计。然而，在无外部感知的真实部署条件下，仅从含噪本体感知观测中准确估计机器人状态并推断周围地形结构仍具挑战。现有方法常从历史本体感知观测中学习单尺度隐式地形表征并显式估计机器人状态，但缺乏显式地形估计且可能丢失关键几何细节；此外单尺度地形信息不足以同时捕捉局部几何结构与全局地形趋势。针对上述问题，研究人员提出地形与状态隐式-显式估计（Terrain and State Implicit-Explicit Estimation, TSIE）框架以提升双足机器人在复杂地形上的 locomotion 能力。TSIE 采用长短期记忆（Long Short-Term Memory, LSTM）网络编码长时序本体感知观测，并引入由地形隐式-显式估计器（Terrain Implicit-Explicit Estimator, Terrain-IE）与状态隐式-显式估计器（State Implicit-Explicit Estimator, State-IE）构成的双分支架构。Terrain-IE 通过显式估计局部高分辨率高度图与隐式重建全局低分辨率高度图实现多尺度地形隐式-显式估计，并在两分支间保留梯度连接以联合训练多尺度地形表征。State-IE 显式估计基座线速度与以足为中心的高度图，同时隐式重建未来本体感知状态以提升跟踪性能与 locomotion 鲁棒性。研究人员在身高与质量（原文以 mjx 容器占位）的全尺寸双足机器人平台上进行仿真与真实实验，结果表明 TSIE 在复杂地形穿越能力、地形与状态估计精度、速度跟踪稳定性上均优于基线方法，真实部署于室内外复杂地形连续上下楼梯任务成功率达 95%。

研究背景与动机

双足机器人因具人形形态，可穿越楼梯、坡道、台阶等非结构化地形，在工业巡检与灾害救援中潜力显著。在强化学习（Reinforcement Learning, RL）框架下，双足 locomotion 常建模为部分可观测马尔可夫决策过程（Partially Observable Markov Decision Process, POMDP）。真实部署中机器人仅能获取关节编码器与惯性测量单元（Inertial Measurement Unit, IMU）提供的本体感知观测，而基座线速度、接触力、地形高度图、摩擦系数等特权信息难以直接获得。尽管深度相机与激光雷达等外部感知传感器可提供地形信息，但受噪声、遮挡、延迟、标定误差与光照变化影响，高频闭环控制可靠性下降。仿生工程启示下，基于本体感知的盲 locomotion 成为高效鲁棒范式。现有盲 locomotion 方法多将特权信息压缩为低维隐式特征并显式估计关键状态，但单尺度隐式地形表征会丢失几何细节，且无法区分地形、速度、接触与扰动的不同作用；同时单尺度表示难以兼顾局部高分辨率几何（如楼梯边缘、障碍高度）与全局低分辨率趋势（如大尺度起伏），导致突发高度变化地形下步态节奏与落足策略调整能力不足。因此，需联合建模多尺度地形几何与关键运动状态。

研究人员在《Biomimetics》发表的工作提出 TSIE 框架，采用单阶段非对称 Actor-Critic 架构，仅用历史本体感知观测，通过 LSTM 提取长时序隐式动态特征，并由 Terrain-IE 与 State-IE 双分支进行隐式-显式联合估计，结合自适应采样（Adaptive Sampling, AdaSmpl）稳定训练，实现零样本仿真到现实迁移。结论表明该方法在仿真与 Droid X2 全尺寸人形机器人真实部署中，复杂地形穿越、估计精度、速度跟踪均优于 DWL（Denoising World Model Learning）与 VPIES（Variational Privileged Information Encoder with State estimation）等基线，连续楼梯上下成功率 95%，验证了其有效性与鲁棒性。

主要关键技术方法

研究人员基于 NVIDIA Isaac Gym 构建 4096 并行仿真环境，采用单阶段非对称 Actor-Critic 与近端策略优化（Proximal Policy Optimization, PPO），在 Critic 侧接入特权信息、Actor 侧仅用本体感知；以 LSTM 编码长时序本体感知历史得到隐式特征向量；Terrain-IE 以编码-解码结构显式回归局部高分辨率高度图（MSE 监督）并将隐式潜向量与之拼接解码全局低分辨率高度图（MSE 监督），两分支保留梯度连接并加 L₂ 正则；State-IE 采用变分自编码器（Variational Autoencoder, VAE）结构，显式估计基座线速度与以足为中心高度图（MSE 监督），隐式潜向量联合解码未来本体感知观测（MSE 重建 + KL 散度正则）；AdaSmpl 以回报变异系数经 tanh 映射为使用真值地形的概率，实现早期真值向估计平滑过渡；训练含五类课程地形（平地、粗糙地、斜坡、楼梯、离散障碍）、域随机化（观测噪声、负载、质心、推扰、摩擦、延迟、电机刚度/阻尼/力矩）。真实平台为 Droid X2（20 自由度，腱驱动，膝峰值扭矩原文以 mjx 占位），模型转 ONNX 部署于 RK3588，100 Hz 控制周期推理延时约 3.62 ms。

研究结果

1. 3.
   方法
   3.1 框架概述：TSIE 由 Actor-Critic 与估计网络组成。Actor 输入为短窗口本体感知 o_t 与估计器输出 ê，输出关节位置偏移；Critic 输入含特权观测；估计网络（LSTM + Terrain-IE + State-IE）训练期联合优化，部署期仅跑 LSTM、两 IE 编码器与 Actor。AdaSmpl 降低早期探索难度。
   3.2 TSIE 估计器
   3.2.1 长时序本体感知历史编码器：LSTM 处理长度 H 的历史观测序列得隐式特征 h，抑制传感器噪声与瞬态扰动。
   3.2.2 地形隐式-显式估计器（Terrain-IE）：显式估计局部高分辨率高度图 ?_loc（覆盖机器人周围正方形区域、分辨率 5 cm，MSE 损失 L_loc），隐式潜向量 z_g 与 ?_loc 拼接解码全局低分辨率高度图 ?_glo（覆盖更大正方形、分辨率 10 cm，MSE 损失 L_glo），总损失 L_terr=L_loc+L_glo+λ‖z_g‖₂²；全局分支梯度回传至局部分支提升显式估计精度。
   3.2.3 状态隐式-显式估计器（State-IE）：显式估计基座线速度 v? 与以足为中心高度图 h?_foot（MSE 损失 L_state），VAE 潜向量 z_s 联合 v?、h?_foot 解码未来本体感知观测 ?_t+k，损失 L_vae=MSE(?_t+k,o_t+k)+β·KL(q(z_s)‖N(0,I))。
   3.2.4 自适应采样（AdaSmpl）：以并行环境回报变异系数 CV 经 p_gt=tanh(α·CV) 决定以真值地形替代估计地形输入策略的概率，早期高 p_gt 降探索难度，收敛后过渡至估计值。
   3.3 训练细节：4096 环境、最大回合 20 s、策略 100 Hz、物理 1 kHz、PD 底层控制（膝 150/4，踝 30/1，余 100/2）；课程地形渐进加难；域随机化涵盖观测噪声、负载、质心偏移、外部推力、摩擦、延迟、电机参数。
2. 4.
   实验
   4.1 实验设置：Droid X2 真实平台（质量与身高原文以 mjx 占位，20 自由度，腱驱动经静雅可比映射至电机力矩），对比完整 TSIE 与四消融（去长历史、去 State-IE、去全局重建、去局部显式）及 DWL、VPIES。
   4.2 仿真实验
   4.2.1 框架对比：20000 迭代下 TSIE 平均回报与课程等级最高，约 5000 迭代后超越基线；800 环境八地形测试 TSIE 在 20 cm 楼梯与 20 cm 离散障碍成功率 94%/93%，高于 DWL 72%/68%、VPIES 89%/86%；去全局或去局部单尺度变体在高难地形降至 90%/89% 与 85%/83%，去长历史或 State-IE 降至 83%/80%。
   4.2.2 Terrain-IE 估计分析：完整 TSIE 局部 MSE 与全局 MSE 最终最低；去全局致 L_loc 升高，去局部致 L_glo 显著升高；去 AdaSmpl 两损失均偏高。AdaSmpl 概率随训练由高降低，均值优势估计无振荡。两尺度损失梯度点积恒正、余弦相似度稳于 0.4–0.5，无梯度互损。楼梯场景平均绝对误差（Mean Absolute Error, MAE）TSIE 最低（如楼梯下行 4.1 cm），分辨率敏感分析表明局部 5 cm/全局 10 cm 配置最优（MAE 4.1 cm，成功率 94%），局部降至 10 cm 或全局降至 15 cm 均劣化。
   4.2.3 State-IE 估计分析：速度跟踪回报 TSIE 最高；平-楼梯过渡 Forward 速度跟踪 TSIE 波动最小；速度平方估计误差 TSIE 低于 DWL/VPIES；足部中心高度图 MAE 在楼梯支撑相冲击时短暂升后速降，全程 <3.2 cm；基座线速度、膝关节速度、接触力估计在接触转换灰区与真值一致无峰值衰减；State-IE 潜向量 PCA 在不同地形（平地/斜坡/楼梯）呈聚类。
   4.3 真实实验：室内 2 阶/4 阶楼梯（阶高 15 cm、宽 30 cm）与 10° 斜坡各 20 次试验，TSIE 2 阶与斜坡成功率 95%，4 阶成功率 90%（仅 1 次下行失败），优于 w/o State-IE（85%）、VPIES（80%）、DWL（70%）；户外草/泥/砾石/石阶/离散障碍零样本泛化稳定，无微调。

讨论与结论翻译

讨论指出，尽管 TSIE 在稳定性与泛化性上表现良好，但因缺外部感知，在连续楼梯等突变高度场景中仍主要依赖足底接触反馈推断局部结构，存在边缘碰撞风险。未来可考虑融合深度相机等外部感知模块以增强对前方地形的预期感知，进一步提升落足安全性与长期自主 locomotion 能力。

结论：针对复杂非结构化地形盲双足 locomotion 中环境信息缺失、状态估计精度不足与地形适应性有限等挑战，研究人员提出基于地形与状态隐式-显式估计的端到端 RL 框架 TSIE。该框架仅依赖历史本体感知信息，通过长时序历史编码提取隐式动态特征，并引入 Terrain-IE 与 State-IE 双分支——Terrain-IE 结合局部显式地形估计与全局隐式地形重建以增强复杂地形几何感知，State-IE 融合显式线速度估计与隐式动态表征以改进运动状态、接触转换与外部扰动建模；AdaSmpl 在训练期自适应调节真值与估计地形使用比例，提升训练稳定性与地形表征泛化性。仿真结果表明 TSIE 在训练回报、课程等级、复杂地形穿越成功率与楼梯稳定性上均优于基线与消融变体；地形估计、速度跟踪与潜特征分析进一步证实其可从历史本体感知中有效提取地形几何、接触状态与动态扰动相关隐式信息。真实机器人实验验证了零样本仿真到现实迁移能力，机器人在室内楼梯、斜坡、草地、砾石、泥地、台阶与离散障碍上均稳定行走，连续楼梯场景显著减少边缘碰撞、打滑与支撑转换失败。综上，TSIE 通过长时序本体感知编码、多尺度地形隐式-显式估计、状态隐式-显式估计与自适应训练，提升了复杂非结构化地形盲双足 locomotion 的环境感知、状态估计精度与运动鲁棒性。