分层PD（路径动态）和SAC（智能控制）控制方法用于航天器双机械臂在轨道上捕获非合作目标

《Acta Astronautica》：Hierarchical PD and SAC control method of spacecraft’s dual robotic arm for on-orbit noncooperative target capture

　　**摘要**
在自主在轨操作中，捕获非合作目标仍然是一个关键挑战。为了解决非合作目标捕获过程中的复杂动态干扰和姿态对齐问题，我们提出了一个分层残差控制框架，该框架将比例-微分（PD）控制与软演员-评论家（SAC）强化学习结合在一个双臂平台上。该框架采用分层控制架构：每个臂上的独立PD控制器在较低层次生成名义跟踪扭矩，而较高层次上的SAC策略生成实时残差补偿扭矩，叠加在PD输出上以抵消建模误差和外部干扰。为了提高学习效率和在大初始姿态偏差下的策略鲁棒性，我们采用了一个简单的均匀重放缓冲区来保证稳定性和可重复性，并且采用了多目标奖励函数，综合考虑位置误差、姿态对齐和动作平滑性。在MuJoCo中进行的大量仿真表明，所提出的方法实现了精确捕获，平均位置误差为2.52 × 10^-3米，平均姿态误差为4.595 × 10^-2弧度，成功率为89.81%，优于其他比较的基线方法。这些结果证明了所提出的方法在双臂非合作目标捕获任务的预捕获阶段具有更好的稳定性、准确性和鲁棒性。

**引言**
低地球轨道上的轨道碎片数量不断增加，诸如失效卫星和碎片碎片等非合作目标对运行中的航天器构成了持续的威胁[1]、[2]、[3]。由于缺乏姿态控制、通信、定位和对接能力，这些物体必须在高度不确定且快速变化的条件下被捕获。此类场景对执行器的准确性、控制鲁棒性和响应速度提出了严格的要求[4]、[5]。因此，精确可靠地捕获非合作目标已成为在轨机器人控制中的一个核心挑战[6]、[7]、[8]。基于模型的控制利用校准的机器人模型来捕获非合作目标，但真实地表示接触丰富的抓取过程仍然具有挑战性。实际上，当目标已知且干扰可控时，通过远程操作和关节级PD控制增强的低自由度单臂系统可以达到厘米级的执行器跟踪精度[9]。模型预测控制（MPC）进一步在预测范围内规划输入，以最小化预测跟踪误差，同时遵守输入约束[10]、[11]。然而，在模型不匹配或动态变化的情况下，这种以模型为中心的方法的性能往往会下降[12]。

近年来，深度强化学习（DRL）在高维度、时变控制问题中表现出了巨大的潜力，应用于机器人轨迹规划、运动控制和非合作目标操纵[13]、[14]、[15]。在DRL家族中，演员-评论家（AC）算法已成为主流，因为它们将策略函数和价值函数解耦，结合了策略优化的灵活性和基于价值的学习的稳定性。软演员-评论家（SAC）是一种最大熵AC方法，通过增加熵正则化项来鼓励探索；这通常可以稳定训练、改善收敛性，并产生更强的策略泛化能力。SAC已成功应用于高维度、动态控制任务[16]、[17]、[18]，包括在空间环境中灵活操纵机器人臂和多目标捕获任务[19]。除了SAC之外，其他代表性算法在空间捕获任务中也展示了潜力。例如，深度确定性策略梯度（DDPG）已被用于捕获旋转目标，采用自由浮动双臂系统，实现了位置误差低于5毫米和姿态误差低于3°[20]、[21]。双延迟深度确定性策略梯度（TD3）[22]、[23]是DDPG的扩展，通过双Q网络和延迟策略更新来减轻价值过高估计的问题，提高了策略稳定性，并在自由浮动双臂捕获中实现了毫米级的跟踪精度；然而，它对超参数非常敏感，通常需要复杂的调整。近端策略优化（PPO）[24]已通过剪裁的目标被用于端到端捕获控制，显示出良好的收敛速度和可转移性，并允许在Gazebo平台上直接部署而无需微调。然而，作为一种基于策略的算法，PPO样本效率低下，其训练速度受到数据收集率的限制。尽管有这些进展，DRL在动态空间应用中仍然伴随着高训练成本、早期不稳定以及对设计选择的敏感性，难以同时满足高精度和高鲁棒性的要求[25]。这些限制促使人们开发结合了基于模型结构和可解释性与数据驱动适应性的混合控制框架，旨在在保持稳定性保证的同时，提高对建模误差和环境变化的适应性。

在这种背景下，混合控制结合了基于模型的方案的稳定性和可解释性与数据驱动策略的灵活性，用于捕获非合作目标[26]。强化学习已被用于自适应调整PD增益，从而提高跨场景的泛化能力和系统鲁棒性[27]、[28]。在强耦合环境中（如自由浮动平台），基于在线RL的PID调整可以补偿由操作器运动引起的反作用力以及建模误差[29]。在精密操纵和工业组装中，常见的做法是通过演示获得一个稳健的插入基线，然后通过残差强化学习对其进行细化，这显著提高了复杂插入轨迹的跟踪精度，并增强了准确性和稳定性[30]。然而，许多现有的混合框架仍然侧重于参数调整，缺乏对控制输入的显式执行器级建模；此外，它们通常局限于单臂配置，难以扩展到必须处理动态耦合和冗余协调的双臂任务[31]。为了解决这些挑战，我们提出了一个分层PD-SAC残差控制框架，用于在太空中精确和稳健地捕获非合作目标。该架构包括一个低层次，其中每个六自由度操作器运行一个独立的比例-微分（PD）控制器来跟踪期望轨迹并提供基准扭矩；以及一个高层次，其中软演员-评论家（SAC）策略在线生成残差扭矩以补偿建模误差和外部干扰。在这项研究中，分别为两个操作器计算了名义PD扭矩，而SAC残差策略是在堆叠的双臂状态下制定的，并为两个臂输出残差扭矩。通过这种方式，可以通过残差学习隐式地补偿由共享自由浮动基座引起的耦合。

基于上述讨论，本研究专注于具有两个机器人操作器的自由浮动航天器的在轨非合作目标捕获的双臂预捕获控制阶段。与传统的固定基座操纵或单臂跟踪不同，所考虑的任务涉及基座-臂的动态耦合、两个臂之间的相互影响以及与非合作目标的同时位置和姿态对齐。这些特性使得固定增益控制器难以保持高姿态精度，而纯基于学习的扭矩策略可能会因为连续动作空间大和不稳定的探索而受到影响。为了提高控制精度和鲁棒性，PD控制器生成名义关节空间跟踪扭矩，SAC策略学习残差扭矩以补偿非线性耦合、建模误差和外部干扰。奖励函数结合了笛卡尔位置误差、姿态对齐误差和残差扭矩正则化，以指导准确和平稳的双执行器对齐。与仅使用PD、仅使用SAC、DDPG+PD和PPO+PD的基线相比，比较性MuJoCo仿真表明，所提出的框架提高了双臂预捕获任务的准确性、稳定性和鲁棒性。

**本文的其余部分组织如下。第2节介绍建模和问题表述。第3节详细说明控制方法。第4节展示实验结果。第5节进行总结。**

**参考框架和正向运动学**
完整的空间捕获系统包括三个主要组成部分：航天器平台、一对6自由度的机器人臂和一个执行器。系统定义了一组相应的坐标框架，如图1所示。世界坐标系，表示为Σ0，作为表示机器人臂的关节、连杆和执行器坐标帧之间相对变换的参考框架。框架ΣLE和ΣRE分别代表左右执行器。

**分层控制框架**
图2展示了本研究中采用的分层PD-SAC残差控制框架。在这个框架中，较低层次通过PD控制生成名义关节空间跟踪扭矩，而较高层次通过SAC策略学习残差补偿扭矩。两种扭矩组分的叠加使得控制器能够在保持快速反馈控制响应的同时，减少学习完整扭矩命令的学习负担。

**实验评估**
在本节中，进行了一系列系统实验，以评估所提出的控制框架在空间中高精度双臂预捕获姿态对齐方面的有效性。实验研究主要包括与基线方法的性能比较以及在各种位置和姿态配置下对预捕获对齐性能的评估。

**结论和未来工作**
本文研究了自由浮动航天器接近非合作目标时的双臂预捕获控制问题，并开发了一个分层PD-SAC残差控制框架。主要发现如下：首先，所提出的控制结构将名义关节空间跟踪与自适应残差补偿分开，允许PD控制器提供稳定的基准，而SAC策略补偿由基座-臂耦合引起的姿态误差。

**作者贡献声明**
Gui Xing：写作——审阅与编辑，撰写——原始草案。Zhang Chenhan：数据整理，概念化。Li Baojiang：验证，软件。Chen Jiahao：验证，形式分析。Jie Bijiang：验证，调查。

**利益冲突声明**
作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

**电气工程学院，上海电 NOM 大学，上海，201306，中国**