基于强化学习的小行星跳跃探测车着陆控制

《Acta Astronautica》：Reinforcement learning-based landing control of an asteroid-hopping rover

　　

本文提出了一种基于强化学习的小行星跳跃探测车着陆控制策略，以解决低重力环境下着陆时不规则弹跳的挑战。对一种刺猬形探测车进行了建模，并训练了一种姿态控制策略，以在恒定的小行星级低重力环境下，使用软演员-评论家（SAC）算法实际最小化着陆-稳定距离（landing-to-settling distance）。训练后的策略实现了超过90%的成功率，并展示了一种单尖刺接触策略，减少了接触时序和顺序的不确定性。在平面环境中的测试表明，与训练后的策略相比，姿态稳定控制通常能实现更小的着陆-稳定距离。相比之下，在测试的粗糙地形案例中，训练后的策略在着陆-稳定距离的均值和标准差上均优于姿态稳定控制。本研究的结果有助于提高跳跃探测车的操作精度，并加深对低重力环境下移动机制的理解。

**论文解读：基于强化学习的小行星跳跃探测车着陆控制**

**研究背景与问题**
小行星和彗星等小天体探索对于揭示太阳系起源、寻找潜在宜居环境具有重要意义。传统移动方式如推进器受限于推进剂有限且易造成表面污染，轮式移动因低重力而难以获得足够牵引力，腿式移动则结构复杂、依赖表面特性。跳跃式移动通过内部执行器实现弹跳，无需推进剂或连续摩擦，结构简单不易失效，因此被视为低重力环境下有效的移动方式。然而，跳跃探测车在着陆时经历不规则弹跳，导致着陆-稳定距离（landing-to-settling distance）增大且难以预测，阻碍了精确定位观测。现有研究存在不足：Li等人提出的控制策略仅针对理想化边缘撞击模式，未考虑顶点接触；Liang和Chang等人的轨迹规划方法局限于二维平面，未处理三维复杂运动；Zhang等人的框架虽结合预碰撞姿态调整，但依赖高计算成本的实时轨迹规划。为此，本研究旨在开发一种无需预规划轨迹、考虑三维运动并最小化着陆-稳定距离的姿态控制策略，采用强化学习训练，以提升小行星跳跃探测车的操作精度。论文发表在《Acta Astronautica》。

**主要关键技术方法**
研究人员采用以下关键技术方法：1）基于Multi-Joint dynamics with Contact（MuJoCo）物理引擎构建仿真环境，模拟刚体动力学与接触交互；2）采用软演员-评论家（Soft Actor-Critic，SAC）深度强化学习算法，训练终端着陆姿态控制策略，利用最大熵框架鼓励探索；3）设计以水平速度累积为负奖励的奖励函数，作为着陆-稳定距离的近似目标；4）引入自适应比例-微分（PD）控制作为姿态稳定控制（AS）对比基准，增益根据角速度和姿态误差大小动态调整；5）在粗糙地形测试中，使用随机生成的256×256灰度噪声图像转换为高度场几何，以评估策略对未观测接触扰动的鲁棒性。

**研究结果**

**6.1 训练结果**
通过SAC算法训练，学习曲线显示平均回合奖励在约400万步后收敛至约-3，成功率在训练初期短暂下降后迅速上升，最终收敛至超过90%。训练总时长约3小时，表明算法高效收敛。

**6.2 训练策略测试与比较**
在12种平面场景（不同初始轮速和地面坡度）下测试，训练策略（RL）展现出单尖刺接触策略：着陆时探测车姿态使单根尖刺优先触地，减少了接触时序和顺序的不确定性。在大部分坡度（-10°、0°、20°）下，仅使用姿态稳定控制（AS）的着陆-稳定距离小于RL策略；但在10°坡度条件下，RL策略的着陆-稳定距离更小。无控制情况（None）下距离显著增大。时间历程分析表明，RL策略在接触时刻施加大幅扭矩以抵消接触反力引起的力矩，从而抑制弹跳。

**6.3 粗糙地形测试与比较**
针对20°坡度、4500 rpm轮速条件，在100次随机粗糙地形（峰-峰高度变化2 cm）试验中，RL策略均满足稳定判据，着陆-稳定距离均值为4.288 m，标准差为0.735 m；AS控制均值为5.614 m，标准差为1.176 m。RL策略在均值和标准差上均优于AS控制，表明单尖刺接触策略在粗糙地形上对接触时序和位置扰动具有鲁棒性。

**总结讨论与结论**
讨论部分指出，训练策略学到的单尖刺接触策略通过减少多点接触时接触时序的不确定性，有效抑制了弹跳。在平面环境下，多点同时接触更易实现，故AS控制可能更优；但在粗糙地形上，表面高度变化导致多点接触时序错配，RL策略的单尖刺策略优势凸显。研究局限包括：采用恒定均匀重力场，未考虑小行星不规则引力场和旋转效应；粗糙地形模拟仅基于简化高度扰动，未涉及真实小行星表面岩石、风化层等复杂特征。此外，实际应用中需基于星载传感器构建观测空间，并考虑电机能耗。

**结论部分翻译**：本研究的目的是最小化低重力条件下跳跃探测车着陆时因不规则弹跳引起的着陆-稳定距离。为实现该目标，在MuJoCo中建模了刺猬形小行星跳跃探测车，并在恒定小行星级低重力环境下，利用深度强化学习算法软演员-评论家（SAC）获得了终端着陆阶段的姿态控制策略。训练结果表明，该策略抑制了不规则弹跳，显著减小了着陆-稳定距离。作为训练策略的特征着陆行为，研究人员获得了一种以单尖刺为接触点的姿态控制策略。该策略可理解为抑制多点同时接触时容易突出的接触顺序和时序不确定性，从而避免着陆后弹跳增加。在平面环境中的12种条件下对比，结果显示在完全平面条件下，仅使用姿态稳定控制通常能获得较小的着陆-稳定距离；本研究学到的着陆控制并非始终优于姿态稳定控制。然而，在粗糙地形（随机地形，峰-峰高度变化2 cm）的100次试验中，训练策略在着陆-稳定距离的均值和标准差上均小于姿态稳定控制。因此，结果表明，在接触顺序和时序不确定性增加的粗糙地形上，训练策略可能鲁棒地减小着陆-稳定距离。