用于卫星最短时间姿态调整的神经网络

《Acta Astronautica》：Neural networks for minimum time satellite reorientation

　　

摘要

本工作研究了制导与控制网络（G&CNETs）在不对称刚体航天器时间最优重定向中的应用。经典最优控制方法通常需要在线求解计算量庞大的优化问题，这可能限制其在资源受限平台上的适用性。受G&CNETs在相关制导与控制应用中表现出色性能的启发，本研究评估了它们逼近最优转向策略的能力。为此，设计并离线训练了多种轻量级G&CNET架构，训练数据为GPOPS-II最优控制求解器生成的专家轨迹。研究中同时考虑了基于回归和基于分类的两种问题构建方式，并采用了不同的激活函数。通过大规模仿真评估了所得控制器相对于最优参考解的机动时间退化程度、对航天器惯性不确定性的鲁棒性以及在商用现成嵌入式CPU平台上的计算效率。结果表明，所提出的网络可实现接近最优的机动时间，相对于最优参考解仅增加几个百分点，代表了与现有先进方法相竞争的替代方案。此外，实测推理时间仅需几毫秒，使其兼容于计算能力受限的星上硬件的在线执行。这些发现证明了基于G&CNET的控制器在航天器时间最优重定向方面的实际可行性，并突显了其在未来自主航天任务中的潜力。

引言

时间最优卫星重定向对许多航天任务至关重要。历史上，本征轴旋转一直是航空航天领域的标准方法，因为它代表了最短的角路径[1]、[2]、[3]、[4]、[5]、[6]。然而，由于欧拉动力学的非线性特性，最小角路径通常不是时间最优的。Bilimoria和Wie[7]已证明，对于惯性对称且力矩独立约束的航天器，最优机动呈现具有显著进动特性的"bang-bang"结构。Fleming等人[8]进一步表明，将卫星限制在本征轴上会使机动能力损失近20%。随后，Bai和Junkuns[9]阐明了该问题的理论边界，证明了本征轴机动仅在惯性对称航天器且受球形控制约束（总幅值有界）条件下才是时间最优的。相反，独立执行器限制（立方约束）或不对称质量分布的存在本质上决定了非本征轴的最优解。

除了惯性对称航天器在幅值约束力矩条件下的情况[9]之外，时间最优重定向不存在闭合形式的解析解，因此越来越真实的构型已逐步通过数值求解器来处理。Shen和Tsiotras[10]使用级联直解-间接法方案求解了具有两个独立力矩的轴对称航天器的时间最优重定向问题。随后，Proulx和Ross[11]首次通过DIDO[12]、[13]、[14]中的Legendre伪谱（PS）方法求解了完全不对称的情况。Ross等人[15]通过Carathéodory-π轨迹获得了反馈形式，其中开环解以高频连续重算；将该方案应用于时间最优重定向时，该采样-保持方案达到了5 Hz的更新率[8]、[16]。尽管精度极高，伪谱方法需要大量的计算时间才能收敛[17]、[18]，而通过减少节点数以加速过程往往会得出次优或不可行的解[19]、[20]。因此，这些计算密集型算法不适用于资源受限的星上平台。相应地，当前工程实践规定在地面离线求解最优控制问题，随后将预计算的控制序列上传至航天器[21]、[22]。

为减少求解最优控制问题所需的时间，人们提出了混合两阶段方案，其中启发式优化器（如粒子群优化或细菌觅食优化[23]、[24]）提供一个粗略估计，再由伪谱求解器进行细化，从而削减总计算时间[18]。启发式优化器也被用作独立求解器[25]、[26]、[27]。这两种策略主要用于受路径约束的重定向问题，例如保护敏感载荷的禁行锥[28]、[29]。

为缓解星上计算能力限制，还提出了若干次优方法。同伦方法[30]、[31]将一个易于处理的辅助问题（如能量最优机动）连续变形为更复杂的时间最优问题。尽管能保证高精度，但仍需数秒来计算开环轨迹。虚拟域逆动力学（IDVD）[32]、[33]、[34]、[35]则通过在虚拟域上用解析函数近似轨迹，大幅减少了优化变量数量，快速生成可行解，代价是控制剖面平滑，因此机动时间长于bang-bang最优值。然而，这两类方法仍然依赖在线求解优化问题，对于有限的星上硬件而言仍是挑战。

为绕过求解优化问题的计算负担，机器学习（ML）技术日益受到关注。正如近期综述文献[36]、[37]、[38]、[39]所记录的，基于AI的方法为航天器制导、导航与控制（GNC）系统提供了一种范式转变，将最优控制的计算全部转移到离线训练阶段，从而使在线执行简化为快速的神经网络推理。在该范式下，存在若干方法，主要区别在于网络被要求表示什么以及如何进行训练。

最优状态反馈的监督学习。基于早期行为克隆（BC）的工作[40]、[41]、[42]、[43]，该类别从最优轨迹中提取状态-控制对来训练网络，从而同时解决制导与控制问题，网络将状态直接映射为原始最优动作。该方法在天体力学中被推广为制导与控制网络（G&CNETs）[44]，首先由Sánchez-Sánchez和Izzo[45]端到端应用于行星着陆，随后扩展至低推力星际转移[46]和时间最优恒加速度交会[47]。平行的研究线也解决了实时最优控制问题，在间接法求解的最小时间太阳帆转移[48]、时间最优小行星着陆[49]和燃料最优火箭动力着陆[50]的解上训练网络。更接近本应用的是，Biggs和Fournier[51]离线训练多层感知机以复现最小化总冲量的预测控制器，并将其应用于立方星的减旋和大角度转向。Chai等人[52]将同一原理应用于高超声速飞行器的大气再入，目标是最小化累积气动加热。该方法还被开发用于四旋翼飞行器[53]、[54]、[55]，证明了无需传统内环跟踪控制器即可直接星上执行。最近，周期性激活函数（SIRENs）[56]被引入该场景，并证明能更快训练且达到更低的训练误差[57]、[58]。相关工作中也有将网络作为传统架构中的一个组件而非控制器本身的情况，如Tang等人[59]的研究中，预测轨迹由二次规划求解器在线细化并由PID控制器跟踪；在此类方案中，结果的优化性仍由消费网络输出的层级来保证。该家族的一个已知局限是，所学策略的质量仅取决于训练所用的专家数据集的质量，因此必须特别关注数据集的生成[60]、[61]。此外，在执行时系统访问的状态是由所学控制器诱导的，这些状态可能在数据集中表示不足，网络在这些状态上的精度也相应较低[62]、[63]。

深度强化学习。该家族不模仿专家，而是通过与模拟环境交互，在标量奖励的引导下学习策略。在卫星转向机动方面，Elkins等人[64]开发了对未建模动力学、参数不确定性和外部扰动具有鲁棒性的自适应强化学习智能体。后续工作中进一步细化了奖励函数以实现极高的指向精度[65]。Vedant等人[66]也将强化学习应用于姿态控制，在随机化惯量下训练策略，使所得智能体能够驱动惯性张量差异很大的卫星，并与经典四元数-角速率反馈控制器进行了基准比较。在姿态控制之外，强化元学习已被证明能在着陆和近距离场景中在线适应未建模的环境力[67]、[68]，而Hovell和Ulrich[69]则学习一种向传统控制器发出速度指令的制导策略。在四旋翼领域，端到端强化学习已应用于时间最优飞行，研究发现发出直接电机指令的策略优于向传统内环控制器发出推力和体速率指令的策略[70]。然而，在所有这些工作中，最优性并非直接施加，而是通过奖励函数间接诱导的[71]。此外，所解决的问题与刚体的时间最优重定向不同：报告的指标是指向精度和鲁棒性，尽管声称接近时间最优并在个别案例中得到了支持，但并未系统性地与相应最优机动时间进行比较，因为那不是那些工作的重点。

BC和RL的相对优劣最近已被直接评估。Federici等人[60]在线性多次脉冲交会问题上比较了两者，发现两者均可行，其中BC需要足够多样化的专家数据集才能泛化，而RL避免了这一要求但训练成本大幅增加。最近，Holt等人[61]针对连续推力G&CNETs进行了系统比较，得出结论：BC在标称条件附近产生更优的解，而RL在分布外情况下表现更好。同一作者观察到，在无人机竞速领域获得的有利于RL的结果并不能直接迁移至航天器，因为航天器的动力学被良好建模，扰动相对较小，且最优性至关重要。

近似动态规划与自适应神经控制。本文所考虑的工作中，网络并非离线训练而是在航天器运行过程中在线调整。Leeghim等人[72]在四元数反馈律中添加神经项以估计并抵消惯性不确定性和执行器失准的影响。Dong等人[73]和Yang等人[74]则从在线收集的数据中近似Hamilton-Jacobi-Bellman方程的解，将姿态禁区、角速率限制和执行器失准直接编码进代价函数中。稳定性通过Lyapunov论证建立，从而保证重定向误差的收敛性且约束在学习过程中始终得到满足。然而，这要求自适应律与控制一起在星上执行，而非单一的网络推理。此外，代价是控制力与指向误差之间的平滑权衡函数，因此所得策略相对于该代价而非机动时间是最优的。

从最优性条件中学习。最后一个家族将最优性条件本身嵌入学习问题，其成员的区别在于网络被要求表示什么。Nakamura-Zimmerer等人[75]学习Hamilton-Jacobi-Bellman方程的价值的函数，即从任意状态出发的最优成本至到达，再通过最小化Hamiltonian恢复反馈控制，并在固定时间范围内对刚体卫星姿态控制进行了演示。D'Ambrosio和Furfaro[76]则通过庞特里亚金神经网络学习状态和协态历史，训练方式是使最小原理方程得到满足，并将其应用于燃料最优星际转移和火星着陆；那里，不连续油门通过用双曲正切替换符号函数并对平滑参数施加延续过程来恢复。相关研究提出学习bang-bang最优控制律相关的切换函数而非直接近似控制信号本身[77]，这可以缓解与学习不连续控制动作相关的部分困难。然而，本文所考虑的工作中，最优控制的不连续性通过平滑或正则化处理，而非直接表示。

在现有技术中，行为克隆已被应用于复现多种不同系统的最优反馈，从最优着陆和转移到敏捷四旋翼飞行[45]、[46]、[57]、[58]。

在这些问题的若干案例中，其底层最优控制为bang-bang控制，而网络输出如何编码其不连续性，众所周知是一个微妙的设计选择：已有报道指出连续输出难以复现bang-bang推力，而离散编码则会引入各级之间不可控的跳变[49]。然而，这些问题中没有任何一个以姿态作为控制目标：被驱动至规定状态的是飞行器的位置，因此被优化为时间最优的是位移而非重新定向。航天器姿态的最短时间再定向问题——其目标为姿态，运动受完全非对称刚体的欧拉方程支配——据作者所知仍未得到解决。反之，基于学习的方法确实已被应用于航天器姿态控制，但从未在最小时间目标下进行：所采用的代价包括总冲量[51]、在控制力与指向误差之间进行权衡的平滑函数[73][74][75]，或通过某种奖励最多只能间接诱导时间最优性的方法[64][65]。此外，在声称接近时间最优的情况下，并未在一组具有代表性的机动中量化与精确最优机动时间的偏差，因此，对于该问题而言，用学习型控制器替换最优控制器所带来的实际代价并未得到记录。因此，端到端行为克隆的最短时间再定向策略——及其与最优解的偏离程度得以系统化量化——似乎仍然缺乏，而本研究旨在填补这一空白。

遵循G&CNET的思路，设计并评估了若干能够准确复现bang-bang控制策略的轻量级架构，以机动时间作为主要评价指标：每个控制器均以与最优时间之间的差距来衡量，同时保留在线生成指令的能力。为此，采用通用最优控制求解器GPOPS-II[78]作为专家演示器，生成精确的最短时间轨迹，随后用于提取标记的状态-动作对，用于离线神经网络训练。

本研究以机动最优性、闭环可靠性和在轨可行性为重点，贡献如下五方面：

1. 提出了完全非对称航天器最短时间再定向问题的端到端行为克隆方法。考虑了基于回归和基于分类的输出头，以及不同的激活函数，并在大规模仿真测试中针对GPOPS-II生成的最优解评估了其性能和泛化能力。

2. 将所提出的控制器与两种最先进的替代方案进行基准对比，包括一个强化学习智能体和一个非线性模型预测控制方案，两者均经过调优以达到尽可能强的竞争力，以确保公平比较。

3. 在名义条件之外，表征了所有控制器的鲁棒性，包括惯性不确定性、加性传感器噪声和状态估计误差。

4. 通过基于Lyapunov的分析经验性地验证了闭环行为，并详细分析了测试中观察到的失败案例，以识别导致失败的机制。

5. 面向资源受限平台的部署需求，在商用现成的仅含CPU的嵌入式设备上验证了所提出架构的可行性，评估了其实时在线执行的兼容性。

本文其余部分安排如下：第2节定义了最短时间再定向问题并描述了数据集生成过程。第3节介绍了神经网络架构和训练流程。第4节展示了测试结果：名义性能和在轨推理时间、对更严格的指向要求、惯性失配和导航误差的鲁棒性，以及与强化学习和NMPC基准方法的对比。第5节评估了训练后控制器的闭环稳定性，并识别了使用正弦激活函数时观察到的失败背后的机制。最后，第6节总结了本文的主要发现。

**片段节选**

**动力学系统**

我们研究了静止到静止的航天器再定向机动[7][9]，即卫星初始和结束时角速度均为零。姿态动力学由欧拉转动运动方程支配：Jω? + ω×(Jω) = T，其中ω∈R3为角速度，J∈R3?3为绕主轴的惯性矩阵，T∈R3为控制力矩向量，×表示叉积。作为案例研究，我们选择了一个6U立方星平台，该平台没有任何对称性。其尺寸x = 0.20 m，y = 0.10 m，z

**架构**

设计、训练和测试了多种神经网络架构。每个网络接收航天器状态误差作为输入，如前所述。四元数被优先选为姿态输入，因为其分量天然地有界于[?1, 1]区间内，这有利于网络训练。所有提出的模型共享一个公共骨干网络，该骨干网络被设计为保持简单、轻量，并严格基于已有文献。基于在测试设置中进行的广泛超参数分析

**训练设置**

训练好的神经网络在闭环航天器姿态控制系统中进行评估，如图3所示。在此配置中，每个网络作为控制器，接收状态误差作为输入并产生相应的控制力矩向量作为输出。除非另有说明，假设状态完全可观测且不考虑外部扰动。特别是，忽略轨道扰动[61]，因为机动时间足够短

**稳定性分析**

缺乏形式化的稳定性保证是学习型控制器在安全关键应用中的公认障碍：网络通过非线性层的复合将状态映射到控制动作，而经典的形式化稳定性分析技术通常不适用于此类情形。已有若干策略被提出，在训练控制器的同时训练一个神经网络Lyapunov函数，从而通过构造即可获得稳定性证书：Li等人

**结论**

据作者所知，本研究首次调查了制导与控制网络（G&CNETs）在最短时间航天器再定向问题上的应用。由于所涉及的刚性体动力学高度非线性且底层最优策略具有bang-bang特性，该问题对于基于学习的控制方法而言是一个极具挑战性的基准。

结果表明，轻量级G&CNET架构能够准确地

**CRediT作者贡献声明**

Luca Bigelli：撰写-审稿与编辑，撰写-初稿，可视化，验证，软件，方法论，调查研究，数据管理，概念构思。Federica Paganelli Azza：撰写-审稿与编辑，监督。Luca Romanelli：撰写-审稿与编辑，监督。Mattia Varile：撰写-审稿与编辑，监督。Marcello Romano：撰写-审稿与编辑，监督。

**利益冲突声明**

作者声明不存在可能影响本文工作的已知竞争性财务利益或个人关系。

**致谢**

作者Luca Bigelli的本文是PNRR-NGEU项目的组成部分，该项目获得了MUR-DM 117/2023的资助。

Luca Bigelli | Federica Paganelli Azza | Luca Romanelli | Mattia Varile | Marcello Romano

都灵理工大学机械与航空航天工程系，Corso Duca degli Abruzzi 24, Turin, 10129, Italy