面向可靠工业足式机器人的基于持续学习的状态感知估计

《Neural Networks》：Continual Learning Based State-Aware Estimation for Reliable Industrial Legged Robots

　　

面向强化学习运动的感知状态估计：将显式多状态估计、任务感知的状态利用和估计器可塑性保持统一为神经状态估计问题。可扩展且任务相关的状态估计：开发了基于混合专家模型的状态估计模块，配合状态选择器以估计异构机器人状态，并将任务相关的估计自适应地转发至控制策略。基于竞争的可塑性保持：引入了CBP(COMP)，以竞争参数继承替代随机神经元重置，从而在非平稳训练下缓解可塑性丧失。系统性仿真与真机验证：通过受控估计器对比、模块消融、动态负载适应以及六足机器人的真实部署，验证了SENSE的有效性。

引言

腿式机器人在工业巡检、自主运输和灾害响应等实际应用中展现出巨大潜力。为了在这些场景中实现可靠部署，准确的状态估计对于支持高级运动能力至关重要，包括导航、敏捷运动和跌倒恢复。在实际环境中，状态估计在噪声和动态条件下维持机载传感系统稳定平台方面也发挥着关键作用。然而，由于复杂的接触动力学、传感器噪声以及快速变化的地形，腿式机器人的可靠状态估计仍具挑战性，这些条件往往违反了传统估计方法的假设。

现有的状态估计方法可大致分为基于模型的解析方法和基于学习的估计器。经典方法，如扩展卡尔曼滤波、核密度估计和最大似然估计，显式地估计物理上可解释的状态，以支持模型预测控制等控制框架。虽然这些方法提供了强大的可解释性和理论保证，但在富含接触的非结构化环境中，由于模型失配和对地形依赖噪声的敏感性，其性能往往会退化。此外，它们的刚性公式限制了它们与现代基于学习的运动流水线的兼容性。

为克服这些局限性，近期工作利用深度强化学习直接从观测中学习状态表示。这些方法通常恢复仿真中可用的特权信息，如基座速度、地形特征和机体高度，使用Transformer、变分自编码器和循环网络等神经架构。虽然更丰富的状态表示通常能提高策略性能，但现有方法通常仅关注估计有限的状态子集，缺乏自适应选择任务相关信息的机制。此外，各个状态分量的相关性高度依赖于任务和地形，使得固定的状态表示在多样化运动场景中不够最优。

除了上述局限性外，一个重要且被忽视的挑战源于强化学习训练的非平稳性质。随着策略不断演化，估计器遇到的数据分布会随时间变化，导致网络可塑性逐渐丧失和估计精度退化。这个问题在长时程训练和真实世界部署中尤为关键，此时维持稳定且自适应的状态估计至关重要。然而，策略驱动的分布偏移所引起的可塑性丧失在现有腿式机器人基于学习的状态估计方法中受到的关注有限。

总体而言，面向腿式运动的基于学习的状态估计面临三个相互关联的挑战：显式机器人状态的覆盖范围有限、不同状态分量的任务相关性依赖任务，以及策略演化引起的非平稳训练分布下的可塑性丧失。

为应对这些挑战，本文提出了SENSE，一个面向基于学习的腿式运动的感知状态估计框架。SENSE不是简单地扩展估计状态空间，而是将可扩展的多状态估计、任务感知的状态利用和估计器可塑性保持统一为神经状态估计问题，从而在演化数据分布下实现更鲁棒且自适应的估计。

本文的主要贡献总结如下：
- 我们提出了SENSE，一个感知状态估计框架，统一了面向基于强化学习的腿式运动的显式多状态估计、任务感知的状态利用和估计器可塑性保持。
- 开发了可扩展的状态估计模块和任务感知的状态选择器，以在机载约束下估计异构机器人状态，并将任务相关的估计自适应地转发至控制策略。
- 引入了CBP(COMP)作为基于竞争的持续反向传播机制，以竞争参数继承替代随机神经元重置，从而在非平稳训练下缓解可塑性丧失。

SENSE通过受控估计器对比、模块消融、可解释性分析、重置分布统计、动态负载适应以及六足机器人的真实部署得到了进一步验证。

小节片段

状态估计
解析估计器如扩展卡尔曼滤波、核密度估计和最大似然估计已被广泛用于推断机器人状态，包括机体姿态、接触和交互状态，以及里程计……

问题定义
腿式运动控制问题被建模为部分可观测马尔可夫决策过程，其中环境状态空间捕捉了机器人和地形动力学，以及初始状态分布和观测模型。在每个时间步，策略接收部分观测并产生动作，状态转移由转移概率和奖励函数控制……

SENSE系统概述
如图1所示，所提出的SENSE框架由两个主要部分组成：状态估计模块和基于竞争的持续学习机制CBP(COMP)。状态估计模块以本体感觉观测历史和深度图像历史作为输入。它从本体感觉分支输出显式状态估计，从深度分支输出处理后的深度表示。状态估计模块内部使用了状态选择器来自适应地识别并保留……

实验
实验从六个方面评估SENSE：
(1) 状态估计模块和CBP(COMP)对运动性能的贡献；
(2) 通过消融实验和与扩展卡尔曼滤波的对比来评估SENSE状态估计的准确性；
(3) 估计状态的任务相关性，验证状态选择器的作用；
(4) CBP(COMP)在保持网络可塑性方面的有效性，包括重置分布分析和动态负载分布下的持续适应；
(5)……

结论
本文提出了SENSE，一个面向基于强化学习的腿式运动的感知状态神经网络估计框架。SENSE将显式多状态估计、任务感知的状态利用和非平稳训练动力学下的估计器可塑性保持统一起来。基于混合专家的模块实现了异构机器人状态的可扩展估计，而状态选择器自适应地将任务相关的估计转发至控制策略。CBP(COMP)通过替代随机……进一步缓解了可塑性丧失。

图2和图4缺少引用。

CRediT作者贡献声明
Xuekang Yang：写作—审阅与编辑，写作—初稿，可视化，验证，软件，方法论，调查，形式化分析，数据整理，概念构思。
Haoyang Li：软件，方法论，调查。
Jialing Zhu：验证，监督，方法论。
Heng Ye：方法论，调查。
Qiao Sun：调查，软件，验证，写作—审阅与编辑。
Jiangwei Zhong：数据整理，形式化分析，调查，验证。
Yue Gao：写作—审阅与……

利益冲突声明
作者声明不存在可能影响本文工作的已知经济利益竞争或个人关系。

Xuekang Yang | Haoyang Li | Jialing Zhu | Heng Ye | Qiao Sun | Jiangwei Zhong | Yue Gao