一种面向鲁棒四足运动的分层多编码器融合架构

《International Journal of Advanced Robotic Systems》：A hierarchical multi-encoder fusion architecture for robust quadrupedal locomotion

　　

四足机器人在非结构化环境中展现出令人瞩目的机动能力，然而在感知受限条件下实现鲁棒运动仍然是一项重大挑战。深度强化学习（deep reinforcement learning, DRL）的最新进展表明，仅依靠本体感觉反馈（proprioceptive feedback）即可在无需外部感知的情况下支持自适应步态生成。基于这一认识，研究人员提出了一种面向纯本体感觉四足运动的分层多编码器演员框架（hierarchical multi-encoder actor framework）。该架构包含三个层次：传感器编码器层（sensor-encoder layer），独立学习速度、接触和预测性本体感觉表示；融合层（fusion layer），将这些潜在特征整合为经近端策略优化（Proximal Policy Optimization, PPO）优化的紧凑统一空间；以及动作层（action layer），根据融合表示和当前观测生成电机指令。该分层设计促进了模块化表示学习和隐式地形推断，使得机器人在未见过的挑战性地形上能够实现稳定和自适应的运动，且无需依赖相机或高程图。

分层多编码器融合架构助力鲁棒四足运动：论文解读

**研究背景与现存问题**
四足机器人在穿越复杂自然地形方面展现出卓越的敏捷性和适应性，在自主探索、巡检和搜救等任务中具有广阔的应用前景。然而，由于系统动力学的高维特性以及适应各类非结构化环境的需求，实现鲁棒的运动控制始终是一项长期挑战。

传统的基于模型的四足运动控制通常采用模型预测控制（model predictive control, MPC）与全身控制（whole-body control, WBC）相结合的分层方案。MPC方法利用简化动力学模型在有限时域内预测机器人未来状态并优化地面反作用力，WBC则基于全身动力学和任务优先级框架协调整个机器人本体。这类方法在动态运动控制中表现出色，但其性能高度依赖精确的系统建模和可靠的状态估计。在真实场景中，建模误差、接触不确定性和感知噪声不可避免，导致其鲁棒性和可扩展性受限。

近年来，深度强化学习（deep reinforcement learning, DRL）凭借数据驱动的交互方式展现出了生成自然自适应运动行为的能力。其中一类代表性研究采用教师-学生（teacher–student）学习框架，先以特权信息和更大网络容量训练教师策略，再将知识蒸馏给学生策略用于部署。该方法在提升地形适应性和运动鲁棒性方面具有明显优势，但需要两阶段训练流程，增加了训练复杂度和计算成本，且学生策略可能因信息压缩和蒸馏损失而无法完全恢复教师性能。

基于本体感觉的DRL框架能够利用历史本体感觉观测隐式恢复潜在地形信息，不依赖相机或高程图等外部传感器，且通常只需单阶段训练。然而，现有方法大多将所有本体感觉输入在统一策略目标下压缩为单一潜在表示，未能充分区分不同地形的特征，限制了在未见地形上的适应性和鲁棒性。

**研究内容与意义**
针对上述局限，研究人员提出了一种面向纯本体感觉四足运动的分层多编码器融合架构。不同于传统强化学习运动策略将历史本体感觉观测编码为单一潜在表示的做法，该方法将本体感觉特征学习显式分解为多个功能分支。提出的演员架构包含三个层次：传感器编码器层使用独立编码器分别从历史本体感觉观测中学习运动相关、接触相关和预测性状态转移相关的潜在表示；融合层将这些互补的潜在特征整合为紧凑的统一表示；动作层基于融合特征和当前观测生成电机指令。该分层设计解耦了不同本体感觉模态的学习过程，增强了潜在表示的表达能力，强化了策略隐式捕获地形相关动力学的能力，从而提升了在未见地形上的运动鲁棒性和适应性。该研究成果发表在《International Journal of Advanced Robotic Systems》。

**关键技术方法**
论文采用的主要技术方法包括：分层多编码器融合网络架构的设计，包含速度编码器、接触编码器和预测编码器三个功能分支以及后续的融合编码器；采用近端策略优化（Proximal Policy Optimization, PPO）算法训练策略网络和价值网络；设计多个有监督辅助损失函数（包括速度估计损失、接触重建损失和预测重建损失）来引导各编码器学习互补的特征表示；引入变分自编码器（variational autoencoder, VAE）风格的重建损失以增强融合编码器的表征能力；设计包含任务奖励、平滑度奖励、步态风格奖励和动力学奖励的综合奖励函数；采用地形课程学习策略和域随机化技术提升策略的泛化能力。仿真训练在Isaac Sim平台的Isaac Lab框架中进行，使用4096个并行环境，训练时长约40小时。真实世界实验在Unitree Go2 Edu机器人平台上部署验证。

**主要实验结果**

**仿真对比**
在仿真环境中，研究人员将提出方法与多种纯本体感觉基线方法进行对比，包括不含编码器模块的普通多层感知机（multilayer perceptron, MLP）策略Baseline、带速度估计器的Estimator方法，以及采用单一编码器估计本体速度并预测未来状态的DreamWaq方法。所有策略在相同条件下训练，提出方法在训练过程中取得了最高的平均奖励。交叉环境评估在MuJoCo仿真环境中进行，涵盖五种地形：平坦地面、箱子地形、随机粗糙地形、坡地和楼梯地形。评估指标包括跟踪误差（指令速度与实际速度的均方误差）、稳定性误差（角速度分量的均方误差）和功率消耗。结果表明，提出方法在大多数地形上取得了最低的跟踪误差和稳定性误差，仅在低难度坡地（10°和20°）上略逊于基线方法；而在未训练的高难度坡地（30°）上展现出显著更优的地形适应性。在能量消耗方面，提出方法在所有环境中均表现最低。平均而言，该方法将跟踪误差降低了10.17%，稳定性误差降低了22.53%，能量消耗降低了12.73%。

**消融研究**
为评估各模块的贡献，研究人员构建了两种消融变体：不含接触编码器（contact encoder, CE）的完整模型，以及不含融合编码器（fusion encoder, FE）的完整模型。训练过程中，移除任一模块都会导致平均奖励显著下降，表明两者对整体学习性能均有贡献。潜在空间可视化采用t分布随机邻域嵌入（t-distributed stochastic neighbor embedding, T-SNE）方法展示不同编码器输出的特征分布。接触编码器和预测编码器产生的潜在特征在五种地形之间呈现部分但不够清晰的分离；而融合表示展示了最为清晰的地形分离，且地形分布具有可解释的结构：坡地和楼梯地形（均具有上倾几何特征）聚集在左侧，平坦地形位于右侧，箱子地形和随机粗糙地形位于中间区域。定量评估在随机粗糙地形上进行，完整模型相较不含CE的变体，在跟踪误差、稳定性误差和功耗上分别降低12.74%、18.89%和5.33%；相较不含FE的变体，分别改善25.86%、8.68%和1.70%。结果表明，接触编码器通过引入信息丰富的接触力特征增强了位姿稳定性和能量效率，融合编码器则有效整合异构观测信息，产生更具判别性的地形表征，使动作网络能够生成地形自适应动作，从而降低跟踪误差。

**真实世界实验**
硬件部署采用Unitree Go2 Edu机器人，总重约15公斤，搭载关节位置编码器和机载惯性测量单元（inertial measurement unit, IMU）。训练策略在Jetson Orin NX计算机上以50 Hz控制频率执行，部署策略参数量约0.85 MB，平均推理时间约5毫秒，满足50 Hz控制回路20毫秒控制周期的实时性要求。在已建模地形实验中，包括10°坡地和14厘米楼梯，机器人坡面行走时足端轨迹呈现清晰周期性交替，表明产生稳定的溜蹄步态；上坡时前腿着地点更靠近机体而后腿伸展更远，与坡面倾角保持对齐；下坡时该模式弱化但仍保持一致性。在楼梯地形上，策略脱离严格溜蹄步态而优先保障稳定性：上楼梯时后腿偶尔停留在前一级台阶，但后续通过增加抬腿高度来跨越台阶；下楼梯时策略采用更保守的方式，主要依靠前腿支撑并降低后腿抬升高度，反映对更高地形难度的适应。在未见过的地形实验中，涵盖草地（柔性地）、路缘过渡（不对称立足高度）和石板表面（前后足放置不平整），尽管这些地形带来了完全不同的挑战，策略仍能执行稳定和自适应的运动，展现出对未建模环境的强大泛化能力。

**讨论与结论**
研究结果表明，分层多编码器融合架构通过多个传感器编码器利用历史本体感觉观测，学习捕获运动相关、接触相关和预测性自状态信息的互补潜在表示，再由融合编码器进一步整合以增强策略决策。仿真和真实世界实验均验证了该框架在未见地形上的运动性能改善，实现了更好的指令跟踪精度、更高的能量效率和更强的地形适应性。这些发现表明，充分利用历史本体感觉数据能够显著提升基于本体感觉的运动策略的鲁棒性和有效性。从实际应用角度看，该方法为外部感知不可用、不可靠或计算成本高昂的场景下四足运动提供了一种可行方案，对资源受限或感知降级环境的部署具有重要意义。纯本体感觉感知的主要局限在于机器人无法在接触前预知地形变化，这在需要提前调整运动的场景（如需要更窄立足点的窄桥、需要降低机身的低矮通道、需要提前起跳准备的高障碍物或间隙）中尤为关键。未来的研究方向是将视觉或高程图感知整合到融合流水线中，以实现更具预测性和地形感知能力的四足运动。