基于固定强化学习策略的悬挂载荷空中机器人在变飞行条件下的性能表征

《Scientific Reports》：Characterization of a fixed reinforcement learning policy for aerial robot with suspended payload under variable flight conditions

　　

摘要：悬挂载荷飞行因其耦合动力学特性而极具挑战性，这会导致系统不稳定并增加对扰动的敏感性。尽管强化学习（RL）已成功实现了控制器性能，但单一策略的泛化能力和鲁棒性仍是重要的研究领域。在本研究中，研究人员针对一架携带悬挂载荷的空中机器人，在不同轨迹轮廓（包括平滑可行的双纽线曲线和急转弯不可行的五角星形曲线）、不同速度参考值（0.5 m·s-1和1.0 m·s-1）以及侧风扰动（1.0 m·s-1）下，表征了单一RL策略的性能和鲁棒性。研究人员采用近端策略优化（PPO）算法，结合集体推力和体速率控制，在基于SimpleFlight框架的高保真物理仿真器中训练了一个单一的RL策略。在Crazyflie 2.1平台上进行的真实世界实验结果表明，该单一RL策略能够成功泛化到不同的轨迹轮廓和速度参考值，并在高达1.0 m·s-1的侧风扰动下保持稳定性——对于这种小型平台及其下方更小的载荷而言，这是一个巨大的挑战，因为在此类条件下气动力相对于可用的控制权限和系统质量来说非常显著。此外，研究人员利用平均欧氏距离误差（MED）、缆绳长度变化和摆角分布对该单一RL策略进行了系统评估。尽管该单一RL策略保持了鲁棒的控制性能，但实验结果表明，由于非线性气动阻力和执行器饱和等动态挑战的增加，在较高速度下其性能会有所下降。本研究提供了一份详细的性能表征，突显了单一载荷感知RL策略在实际应用中的泛化能力，以及由系统混合动力学特性所带来的局限性。

论文解读：悬挂载荷空中机器人单一强化学习策略的性能表征研究

一、研究背景与问题提出

空中机器人在载荷运输、环境感知和空中操作等复杂应用中日益普及。然而，携带悬挂载荷的飞行任务因其耦合且欠驱动的动力学特性而变得极为复杂，这会导致系统不稳定并增加对外部扰动的敏感性。虽然强化学习（RL）已被证明能够成功实现控制器性能，但一个经过训练的单一RL策略能否在不同轨迹轮廓、速度参考值和外部风扰条件下均保持良好的泛化能力和鲁棒性，仍是一个亟待深入研究的核心问题。现有研究多侧重于通过改变观测空间和奖励函数设计来提升学习能力，但缺乏对单一策略在多样化场景下性能的系统性表征。因此，有必要系统地探究一个单一RL策略在面对不同轨迹轮廓、速度参考值以及风扰动时的可靠性及其运行极限。

二、研究方法与技术路线

为了开展此项研究，研究人员采用了以下关键技术方法：

1. 1.
   马尔可夫决策过程（MDP）建模：将空中机器人携带悬挂载荷的任务建模为一个MDP，定义了状态空间（S）、动作空间（A）、转移概率（P）、奖励函数（R）和折扣因子（γ），目标是获得最大化期望累积折扣回报的最优策略π*。
2. 2.
   高保真物理仿真器训练：利用基于NVIDIA Isaac Sim的SimpleFlight框架进行训练。该框架提供了GPU加速的高保真物理模拟环境，用于高效地训练RL策略。
3. 3.
   近端策略优化（PPO）算法：采用PPO算法来训练RL策略。策略网络由一个三层多层感知机（MLP）构成，每层256个神经元，激活函数为指数线性单元（ELU）。动作空间为一个四维向量，代表集体推力和体速率（CTBR）。
4. 4.
   载荷感知的奖励函数设计：设计了一个以载荷位置为核心而非无人机位置的奖励函数，包含位置误差奖励（r_pos）、姿态奖励（r_up和r_spin）以及动作平滑奖励（r_{act_smooth}），以引导策略隐式学习悬挂载荷的动力学特性。
5. 5.
   真实世界部署与评估：所有评估均在真实世界的飞行实验中完成，使用Crazyflie 2.1微型四旋翼平台和5克重的悬挂载荷，通过VICON运动捕捉系统以100 Hz频率采集数据，并使用工业风扇模拟约1.0 m·s^-1的侧风扰动。

三、研究结果

1. 轨迹泛化能力

研究人员通过对比基线配置（低速双纽线轨迹）与五角星形轨迹的实验结果，回答了研究问题Q1。基线配置下的平均欧氏距离误差（MED）最低，为0.107 m。当测试未在训练中出现的五角星形轨迹时，MED略微上升至0.136 m。这表明单一RL策略能够有效泛化到不同的轨迹模式，即使面对五角星形轨迹的尖锐转折点，也能维持可接受的跟踪性能。

2. 速度鲁棒性

针对研究问题Q2，研究人员比较了0.5 m·s^-1（慢速）和1.0 m·s^-1（正常速度）两种速度参考值下的表现。当速度提高时，MED增加到0.173 m，同时摆动速率均方根（θ?_RMS）也相应增大，表明更高的速度带来了更大的动态应力。尽管如此，策略并未导致灾难性失败，其95百分位摆角（θ₉₅）变化不大，说明该策略在高速度激励下仍能维持一定的阻尼控制能力。

3. 抗扰动韧性

针对研究问题Q3，研究人员引入了1.0 m·s^-1的侧风扰动。在此条件下，策略展现出显著的韧性，MED为0.141 m。尽管风扰动导致了缆绳长度的波动和摆角的增大，特别是摆动速率均方根（θ?_RMS）的标准差非常大（182.38 ± 88.8 deg/s），反映了非平稳扰动的固有变异性，但策略成功地抑制了高频振荡，防止了系统崩溃。缆绳长度分析显示，在风扰下出现了缆绳松弛（slack）模式的转换，但策略依然能稳定运行。

4. 消融研究

为验证载荷感知策略的有效性，研究人员比较了载荷感知与非载荷感知RL策略在悬停任务中的表现。载荷感知策略的MED误差为0.073 m，而非载荷感知策略的MED为0.158 m。前者精度是后者的两倍以上，证明了关注载荷位置这一设计的优越性。

四、讨论与结论

讨论部分总结：研究人员探讨了“一个策略能走多远”这一根本性问题。研究表明，由于奖励函数聚焦于载荷位置，单一RL策略能够适应不同的轨迹形状。当速度增加时，离心力考验了策略的阻尼能力，但策略仍能保持鲁棒性。在风扰下，缆绳偶尔进入松弛模式，但RL策略通过训练经验隐式处理了这种混合动力学问题，无需显式模型或条件特定的参数调整。与传统基于模型的控制器（如模型预测控制和微分平坦度控制器）相比，RL策略在处理混合动力学和模式转换方面更具适应性，但缺乏理论上的稳定性保证。通过多维度的鲁棒性指标（MED、θ₉₅、θ?_RMS、L_mean），研究清晰地描绘了单一策略的运行边界。

结论部分翻译：在这项研究中，研究人员探索了用于携带悬挂载荷的空中机器人的单一RL策略的综合性能特征。研究人员评估了一个单一RL策略，以理解其在不同轨迹轮廓、速度参考值和侧风扰动下的泛化能力。测试结果表明，该策略可以泛化到训练期间未观察到的不同轨迹轮廓（例如五角星形轨迹），并且尽管轨迹存在复杂的转折点，仍能成功保持轨迹跟踪性能。表征分析揭示，该单一RL策略在中度侧风和不同参考速度下保持了稳定的性能，尽管随着动态应力的增加产生了更多的MED误差。此外，即使在由风引起的缆绳过渡模式下，该策略也在实验过程中防止了可能导致灾难性故障的发生。这些发现通过描绘单一RL策略的性能特征，为开发用于悬挂载荷应用的飞行RL智能体提供了实用的见解。