基于数据驱动的可达集合的滚动时域自适应动态规划方法，用于非合作目标的接近操作

《Acta Astronautica》：Data-driven reachable-set-based receding-horizon adaptive dynamic programming for proximity operations of non-cooperative targets

　　•短期可达集可以通过无需模型的数据来近似。•可达状态可以提高神经自适应控制中的采样多样性。•平滑的自适应学习率可以增强收敛性和稳定性。

引言
随着在轨技术的快速发展，非合作空间目标的数量显著增加，包括非功能性航天器、太空碎片和具有机动能力的航天器[1]、[2]。特别是，具有机动能力的非合作目标由于其不可预测和潜在的对抗性行为，对安全接近操作构成了重大挑战[3]。因此，与非合作目标的安全接近操作已成为在轨服务、主动碎片清除和空间安全保障的关键技术[4]、[5]。早期关于接近操作的研究主要集中在合作或不确定性较低的目标上。在动态模型准确的假设下，已经广泛应用了鲁棒控制策略，如滑模控制[6]和主动干扰抑制控制[7]，以抑制轨道扰动、外部干扰和执行器偏差。例如，胡等人提出了一种基于非奇异滑模的控制方案来处理固定时间会合问题，保证在任何初始条件下都能在预定义的时间范围内收敛[8]。孙等人提出了一种用于航天器会合和接近操作的自适应反步控制方案，有效地抑制了输入饱和和全状态约束下的外部干扰[9]。为了解决外部干扰和模型参数的不确定性，李等人引入了扩展状态观测器和滑模控制器来解决航天器的姿态和轨道耦合会合与对接问题[10]。
随后，最优控制和规划策略被引入到接近操作中，其中模型预测控制（MPC）作为一种代表性的最优控制方法脱颖而出[11]。通过执行滚动时域优化，MPC明确地结合了状态和控制约束，提高了系统的安全性和灵活性[12]。董等人提出了一种设计稳定且保证安全的MPC框架，用于在视线约束下与翻滚目标进行自主会合与对接[13]。王等人（2023年）开发了一种基于MPC的策略，用于航天器接近旋转目标的机动操作，其中引入了一个扩展椭球来描述禁区[14]。然而，MPC方法依赖于精确的系统动态模型，仅在小的扰动和不确定性下表现出鲁棒性和最优性[15]。在涉及非合作目标的场景中，当处理不可预测的机动行为、不完整的信息和未建模的目标航天器干扰时，MPC可能会遭受鲁棒性的降低和最优性的丧失[16]。
近年来，随着计算能力和机器学习理论的发展，自适应动态规划（ADP）及其基于神经网络的实现受到了越来越多的关注[17]、[18]。由于神经网络强大的通用逼近能力，ADP使得在线学习近似最优控制策略成为可能，从而减轻了模型不确定性的影响[19]。在[20]中提出了一个基于ADP的航天器会合的最优脉冲控制框架，其中使用神经网络来近似价值函数，并在线方式推导出接近最优的脉冲序列。马等人研究了一种用于超低地球轨道卫星的有限时域近似最优姿态控制方法，其中采用了在线学习策略来适应外部干扰、执行器故障和执行器饱和[21]。李等人提出了一个基于ADP的最优控制框架，用于链式系绳卫星编队的重新配置，在执行器受限的情况下引入了干扰观测器来估计模型不确定性和外部干扰[22]。然而，传统的ADP方法依赖于积分强化或历史样本来近似价值函数[23]，这可能导致学习效率和稳定性的潜在限制。为了解决这些限制，开发了RHADP，它通过结合滚动预测和在线更新机制显著提高了对复杂非合作目标机动的适应性[24]、[25]。然而，与滚动时域机制相关的固有挑战在于预测目标的未来机动行为和可达状态集[26]。现有研究通常依赖于参数识别或卡尔曼滤波技术来通过估计其收益函数中的权重来推断目标的机动行为[27]、[28]、[29]。然而，这些方法通常需要对目标收益函数的结构有先验知识或假设，这带来了显著的局限性[30]。为了克服这些限制，开发了可达域方法，可以构建所有可能未来状态的集合。无需依赖于关于目标收益函数的显式假设或先验信息，就可以外推可能的未来状态集。通过利用 bang-bang 控制原理，在[31]中研究了在有限推力约束下航天器相对运动安全的分析中可达状态集的解析边界。薛等人推导了航天器在单次脉冲机动下的可达域，提供了可达状态集的封闭形式或结构化解析特征[32]。基于最小时间轨迹，提出了一个适用于在复杂双体和地月动力环境中运行的低推力航天器的基于采样的快速可达集近似方法[33]。在[34]中，使用最优椭球近似方法封闭了有限能量可达集，显著降低了可达域计算的复杂性。上述可达域研究方法通常假设系统动态模型是准确已知的，通过解析或数值方法（如多面体或椭球）构建状态可达集。考虑到模型和外部干扰的不确定性，研究人员探索了数据驱动的可达域分析方法。Devonport等人提出了一种基于Christoffel函数的数据驱动可达性分析方法，直接从采样轨迹数据中构建可达集的近似[35]。Alanwar等人开发了一个数据驱动的可达性分析框架，考虑了测量噪声、外部干扰和未知机动[36]。基于Koopman算子，提出了一个数据驱动的可达性验证框架[37]，无需显式运动模型即可进行严格的可达性验证。一般来说，数据驱动的可达域直接利用测量或观测到的轨迹数据来外推未来的运动范围，描述不确定性传播，并保持计算效率。

本文提出了一种针对具有机动能力的非合作航天器的接近操作方法。该工作的目标是通过将可达集分析与滚动时域控制相结合，解决外部干扰和未知模型参数的挑战，从而实现对最优解的近似。本文的具体贡献总结如下：
1. 考虑到非合作空间目标的信息不完整，引入了一种数据驱动的进化方法来过近似短期可达轨迹集。直接从测量到的轨迹数据使用矩阵zonotopes构建和传播可达域，避免了对外部动态模型参数的依赖。
2. 通过将可达域进化嵌入到RHADP在线神经自适应控制框架中，建立了一种针对未来轨迹状态的主动学习策略。预测的未来可达状态被积极利用，以丰富神经网络逼近器可用的样本多样性，而不仅仅是依赖于历史数据。
3. 提出了一种平滑的性能引导AdaBound算法用于自适应学习率调整。采用平滑机制以避免振荡和过早收敛，从而提高训练稳定性和收敛性。

本文的组织结构如下：第2节介绍问题阐述和预备知识。第3节给出可达域分析。第4节介绍了基于神经网络的RHADP逼近器。第5节提供了SPA自适应学习率方法。第6节提出了四个数值模拟场景。最后，第7节得出结论。

符号说明
在本文中，以下符号定义被标准化以便于描述。?表示实数集。???×??和???表示??×??维实矩阵和??维欧几里得空间。????∈???×??表示??×??维单位矩阵。对于任何向量??∈???，‖??‖表示??的欧几里得范数。对于任何矩阵??∈???×??，??T和???1分别表示转置和逆矩阵。‖??‖表示诱导的2-范数（谱范数）。

坐标系
以下是数据驱动可达域分析的定义：
定义1
给定一个中心????∈???和生成矩阵????=[??(1)??,…,??(??)??]∈???×??，其中??∈?，zonotope定义为??={??∈???∣??=????+??∑??=1??(??)???(??)??,??(??)∈[?1,1]}=。zonotopes的基本操作，包括Minkowski和，遵循[43]中的结果。

定义2
给定一个中心矩阵????∈???×??和生成矩阵?????=[??(1)??,…,??(??)??]∈???×(??×??)，其中??(??)??∈???×??且??∈?，矩阵zonotope定义为??={??∈???×??∣??=????+??∑??=1??(??)???(??)??,??(??)∈[?1,1]}=。通过离散化，目标的状态方程（4）可以表示为...

滚动时域自适应动态规划
本文研究了追赶航天器接近非合作目标的接近操作控制问题。为了量化追赶方的最优控制性能，构建了一个离散的滚动时域成本函数，控制器的优化目标是在接近过程中最小化成本函数。经过N步预测后，成本函数可以表示为[47] ?????(???(??),??)=??+???1∑??=?????(???(??),?????(??))+????????(???(??+??))。

平滑的性能引导AdaBound
考虑到不同优化算法的特点，Adam显示出快速的收敛速度，但在某些任务中通常泛化性能较差，而带有Momentum的SGD通常提供更强的泛化能力，但收敛速度较慢。为了解决这种权衡，[53]提出了AdaBound方法，它对Adam的动态学习率施加了上下界。这样，优化器在训练的早期阶段表现得像Adam...

仿真结果
在本节中，进行了四组仿真案例来验证所提出的RHDD-SPA算法的有效性。为了突出其优势，我们将这四种方法分别称为RHDD-SPA、RHMD-SPA、NRDD-SPA和Tube MPC，分别对应于带有SPA方案的滚动时域数据驱动方法（RHDD-SPA）、带有SPA方案的滚动时域模型驱动方法（RHMD-SPA）、以及不带滚动时域的数据驱动方法（RHDD-FLR）和Tube MPC。

结论
本文研究了在没有完整状态信息和未知动态模型参数的情况下，针对非合作目标的在线自适应控制框架，通过结合数据驱动的可达域进化与RHADP。而不是依赖于精确的动态模型，开发了一种数据驱动的可达域进化机制来仅使用测量的轨迹数据来表征目标运动的短期演变。在此基础上...

CRediT作者贡献声明
宋硕：撰写——原始草案，研究。
史鹏：撰写——审阅与编辑，研究。
李琦：撰写——审阅与编辑。

利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。