RSR：基于Real2Sim2Real的肌腱驱动双足机器人步态学习方法

《Mathematics》：RSR: Tendon-Driven Bipedal Robot Locomotion Learning Method Based on Real2Sim2Real

　　

肌腱驱动双足机器人由于弹性变形、多关节耦合和传动延迟而表现出复杂的时变动力学特性。这些特性导致显著的仿真到现实（sim-to-real）差异，并限制了机器人在复杂地形上的性能。为应对该问题，研究人员提出了一种基于Real2Sim2Real（RSR）的两阶段步态控制训练框架。第一阶段，利用从真实机器人采集的关节运动数据在仿真中训练扭矩微调策略，隐式建模肌腱驱动系统的时变动力学，减小sim2real迁移过程中的本体动力学差异。第二阶段，研究人员引入了一种融合显式估计与隐式表达的强化学习方法。通过显式估计机体线速度和足底局部地形信息，同时通过隐式表示学习任务相关的潜在特征，增强机器人对复杂地形的适应能力。实验结果表明，对于2.5 m/s的前向速度跟踪任务，所提出的显隐式学习方法相较于纯隐式表示基线（IWM）实现了15.9%的速度跟踪误差降低。当进一步结合扭矩微调策略（RSR）后，相对于显隐式基线（EIWM），跟踪误差进一步降低86.4%。此外，所提出的方法能够在多种复杂地形上实现稳定步态，验证了其在改善sim2real迁移性能和地形适应性方面的有效性。

## 研究背景与问题

肌腱驱动技术模仿生物肌肉与肌腱的功能机制，通过远端电机和柔性传动系统控制关节运动，相较于液压驱动或直接电机驱动，在轻量化设计和低惯性方面具有显著优势，能够实现更高的安全性和复杂环境适应性。近年来，强化学习（Reinforcement Learning, RL）因其端到端学习能力和对复杂动态系统的适应性，在机器人步态控制领域取得了显著进展。然而，当将RL策略从仿真部署到真实肌腱驱动双足机器人时，仍面临两大核心挑战：本体感知动力学差距（proprioceptive dynamics gap）和部分 realism转移问题。

现有研究在应对本体感知动力学差距方面，主要采用域随机化、系统辨识和数据驱动执行器建模等方法。域随机化通过变化动力学参数和传感器噪声提高策略鲁棒性，但常以牺牲最优性为代价。系统辨识方法通过校准惯性、摩擦和执行器特性等物理参数提升仿真保真度，但大多数方法假设时不变动力学，难以捕捉真实系统的时变行为。数据驱动执行器建模虽能更好表示非线性耦合效应，但通常依赖关节扭矩测量等监督信号，而肌腱驱动机器人难以直接获取此类信号。此外，由肌腱弹性、多关节耦合和传动延迟引起的复杂时变动力学难以用现有仿真器精确建模。

在应对部分可观测性方面，先前研究尝试从历史本体感知观测中提取特权信息的隐式表示以补偿缺失的环境信息，但这些方法通常需要多阶段训练，且无法保证所有任务相关信息都被保留在潜在表示中。现有方法主要关注运动状态信息的学习，对地形相关信息的利用有限，而在复杂地形条件下，纯隐式表示可能无法保留关键地形特征，纯显式估计则无法充分利用高维本体感知观测中嵌入的潜在信息。

## 研究方法与贡献

针对上述问题，研究人员提出了RSR（Real2Sim2Real）框架，包含两个训练阶段，均采用非对称演员-评判家（asymmetric actor-critic）架构。该框架的主要贡献在于：提出了一种新的RSR框架以桥接肌腱驱动双足机器人身体时变动力学的差距；设计了一种新的显隐式学习算法以增强机器人对非结构化地形的适应性；并在多种室外地形上进行了对比实验验证。

该研究发表在《Mathematics》期刊上，对于推动肌腱驱动机器人的仿真到现实迁移具有重要的理论意义和应用价值。

## 关键技术方法

研究人员开展此项研究采用的样本来源于上海DroidUp公司开发的肌腱驱动双足机器人X02，该机器人身高约1.70 m，总重约32 kg，实验中仅控制下肢10个自由度。主要技术方法包括：采用两阶段训练架构，第一阶段（Real2Sim阶段）利用从真实机器人采集的关节运动数据在仿真中训练扭矩微调策略，隐式建模肌腱驱动系统的时变动力学；第二阶段将训练好的扭矩微调策略部署到步态训练RL框架中，引入显隐式学习网络，从历史观测序列中提取显式信息（包括显式估计的机体线速度和足底地形高程图）和隐式表示；采用近端策略优化（Proximal Policy Optimization, PPO）算法进行策略网络更新；构建高质量真实世界数据集，通过参数化激励规划足端轨迹，覆盖5-20 cm振幅和1-25 Hz频率范围；设计域随机化策略，包括观测级、动力学级和控制级的随机噪声扰动；引入地形课程学习策略动态调整环境难度，实现从平坦地形到复杂地形的渐进式适应。

## 研究结果

**仿真消融实验结果**

研究人员通过对比EIWM、IWM和RSR三种方法在仿真环境中的性能，系统分析了显隐式学习对策略训练效率和控制性能的影响。奖励曲线分析表明，EIWM和RSR均在约200个episode内达到高奖励区域，收敛速度显著快于IWM，说明显式估计信息的引入能够大幅提高策略学习中的样本效率，加速收敛。在策略性能方面，EIWM和RSR的平均奖励分别为35.67和35.83，均显著高于IWM的23.33。在训练稳定性方面，EIWM和RSR的奖励标准差分别为3.40和3.36，均明显低于IWM的4.55，表明显隐式学习方法有效降低了训练过程中的波动。

地形难度分析显示，EIWM的平均地形难度等级为4.58，RSR为4.56，均高于IWM的3.68，说明显式估计信息使策略能够获取更清晰的足端高程图信息，从而更容易在训练中应对更高难度的地形。在线性速度跟踪性能方面，EIWM总体平均奖励为0.95，RSR为0.97，而IWM仅为0.82。

**真实世界消融与对比实验结果**

为验证扭矩微调策略网络能否降低sim2real转移中的本体感知时变动力学差距，研究人员在真实机器人和两种仿真环境中同时执行了两组规划的髋关节目标位置轨迹。实验结果表明，引入扭矩微调策略的仿真环境在髋关节本体感知动力学方面与真实机器人表现出更高的一致性。低速运动时，RS方法将髋关节均方根误差（RMSE）从0.0356 rad降至0.0148 rad；高速运动时，髋关节RMSE从0.1590 rad降至0.0375 rad，验证了扭矩微调策略有效增强了仿真系统对机器人高速运动时变动力学的建模能力。

速度指令跟踪性能测试在0.6 m/s、1.5 m/s、2.0 m/s和2.5 m/s四种前向速度下进行。结果显示，RSR在所有速度条件下均达到最佳性能。在最高速度2.5 m/s时，RSR平均跟踪速度达到2.41 m/s，方差为0.00416，而EIWM仅为1.84 m/s，方差为0.0102。在2.5 m/s速度下，显隐式学习的EIWM方法较纯隐式基线IWM提高了15.9%的线性速度跟踪精度；进一步引入基于EIWM的扭矩微调策略后，RSR方法较EIWM提升了86.4%的精度。

控制策略输出平滑度分析采用频率域平滑度指标ξ进行评估。RSR的髋、膝、踝三关节ξ值分别为0.156、0.182和0.311，表明控制信号以低频成分为主，高频振荡得到有效抑制。在1.5 m/s速度指令下，RSR的髋、膝、踝关节动作标准差分别为0.4863 rad、0.5857 rad和1.6957 rad，优于或与对比方法的最佳值相当。

**楼梯攀爬实验结果**

研究人员在由四个连续12 cm高度台阶组成的楼梯上测试了机器人性能。结果表明，RSR方法能够准确捕捉楼梯高度的变化：当估计地形高度增加时，机器人相应增大膝关节屈曲角度以实现足够的足部间隙，成功跨越台阶；平地行走时，由于估计地形高度变化较小，膝关节只做微小调整以保持低抬足行走。在典型复杂地形任务楼梯攀爬中，四种算法的机体俯仰角控制性能被系统评估。RSR方法的平均俯仰欧拉角为-0.0262 rad，最接近水平状态；标准差和最大绝对值分别为0.0255 rad和0.1065 rad。与次优的EIWM方法相比，RSR在平均绝对值、标准差和最大绝对值上分别降低了18.4%、35.4%和22.1%。

**隐式表示空间分析**

在平坦地面和楼梯地形条件下，RSR方法的隐式表示空间表现出明显的聚类结构，可分为两个不同的簇，分别对应平地行走和楼梯攀爬。从平地到楼梯的过渡阶段，隐式表示存在部分重叠，这主要是因为隐式空间仅由本体感知观测构建，未纳入外部环境感知。该聚类现象表明RSR方法能够有效利用历史本体感知观测区分地形特征，增强策略行为的可解释性。

**多场景步态控制实验**

真实世界测试场景涵盖多种代表性挑战性地形和高动态任务，包括：沥青路面2.5 m/s奔跑、跨越20 cm离散障碍、连续上两步10 cm楼梯、柔软倾斜草地行走、以及攀爬四个连续12 cm台阶。实验结果表明，RSR方法在所有场景中均保持稳定步态。值得注意的是，柔软草地场景未被纳入仿真训练环境， contact特性和地面变形与训练域差异显著，RSR方法仍能在该场景中稳定行走，证明了方法不仅适应仿真训练中见过的地形，还具备跨场景泛化能力和真实环境中的鲁棒性。

## 讨论与结论

研究结果表明，RMA方法受益于其教师-学生训练框架，但依赖特权信息和多阶段训练；IWM采用纯隐式表示，对复杂地形适应性有限；EIWM通过结合显式估计与隐式表示提高了训练效率和步态性能，但未解决sim2real转移中的本体感知动力学差距。在此基础上，RSR进一步引入RS阶段扭矩微调策略以建模肌腱驱动系统的时变动力学，在仿真和真实世界实验中均取得最佳整体性能，验证了显隐式学习范式增强步态能力的同时，RS阶段动力学建模进一步改善了sim2real迁移性能。

**研究结论部分翻译**

研究人员提出了一种面向双足机器人步态学习的RSR框架。RS阶段的扭矩微调策略网络有效降低了肌腱驱动机器人sim2real迁移中的本体感知动力学差距，而显隐式学习方法增强了在不同环境中的步行性能和适应性。在非结构化地形（包括草地、楼梯和不规则表面）上的实验证明了该方法的稳定步行能力。结果显示，机器人能够连续攀爬12 cm台阶高度的四步楼梯，并以2.5 m/s的速度实现稳定高速行走。隐式表示空间在不同地形上表现出明显的聚类模式，表明RSR方法能够有效区分历史本体感知观测中的状态特征，从而提高步行适应性。在真实世界实验中，在2.5 m/s时，显隐式学习方法较纯隐式基线减少了15.9%的速度跟踪误差，引入扭矩微调策略后进一步减少了86.4%的误差，证明了RSR框架卓越的速度跟踪能力。未来工作中，研究人员计划引入视觉信息以在更复杂地形上实现鲁棒步态，同时整合对抗运动先验以实现生物启发式步态，并在RS阶段利用生物启发式步态轨迹训练扭矩微调策略，进一步增强机器人的步态性能和环境适应性。