基于CFB-MAPPO强化学习方法的群际航天器带有脉冲机动的追逃博弈

《Acta Astronautica》：Swarm-to-swarm spacecraft cooperative pursuit-evasion game with impulse maneuver via a CFB-MAPPO reinforcement learning approach

　　

摘要

本文采用强化学习方法研究脉冲推力航天器之间的群对群协同轨道追避博弈问题。首先建立了群对群航天器协同轨道追避博弈问题的数学模型；其次，提出了一种新的反事实基线多智能体近端策略优化算法，该算法在MAPPO算法中引入反事实基线，以此确保全局最优性，准确评估每艘航天器行为对整体任务的贡献。CFB-MAPPO算法解决了多智能体强化学习框架中固有的贡献度分配问题，使得追避策略能够收敛到全局最优解。针对群对群协同轨道追避博弈问题，在多种约束和多个目标条件下设计了多种奖励函数；最后，通过在不同随机初始化环境下的群对群协同轨道追避博弈场景中进行数值模拟，验证了所提方法的有效性与优越性。

引言

随着全球空间技术的进步以及卫星应用需求的增加，保护高价值空间资产免受干扰或破坏变得极为重要。轨道追避博弈问题在解决碰撞避免[1]、[2]、空间会合[3]以及干扰问题[4]、[5]等方面发挥着重要作用。因此，近年来该问题受到了众多研究者的关注[6]。

近期，许多学者开始研究基于微分博弈的航天器轨道追避问题。在[7]中，利用微分博弈方法将轨道追避问题转化为两点边值问题，进而采用极小极大差分动态规划方法推导出最优控制策略[8]。考虑到连续推力作用范围，还有研究提出了结合纳什均衡策略的数值方法来解决航天器的时间最优轨道追避问题[9]。此外，还有研究通过求解二维非线性方程，运用域覆盖方法得到最小脉冲消耗的解决方案[10]。其他应用于轨道追避问题的方法还包括射击法[11]、同伦法[12]以及零努力命中法[13]。然而，传统的分析方法[7]、[8]、[9]、[10]、[11]、[12]、[13]需要大量的计算资源，难以满足轨道追避问题决策的实时性要求。当面对具有多重约束的航天器群体轨道追避问题时，这些方法更是面临巨大挑战。另外，大多数传统方法都是针对连续低推力情况设计的，而实际上航天器大多采用脉冲推力。

近年来，深度强化学习技术被广泛应用于解决航天器轨道追避问题，并且受到了广泛关注[14]、[15]、[16]。通过引入预测-奖励-检测模块和深度确定性策略梯度算法，提出了PRD-MADDPG算法，该算法能够有效确定两艘航天器的最优控制策略[4]。在[17]中，DDPG算法被用来训练追击者在椭圆形轨道追避场景中安全接近被追避者。为了解决轨道追避问题中多目标导致的密集奖励设计问题，[18]提出了一种具有分层网络结构的多智能体分层软 Actor-Critic 强化学习方法。在[19]中，结合蒙特卡洛策略提出了启发式树搜索方法。此外，还有研究提出了基于种群迭代的算法，用于在未知对手策略的情况下生成航天器的行动方案[20]。另外，[21]还研究了信息不完整的轨道追避问题。在[22]中，开发了一种基于批评者的强化学习方法，能够快速收敛地学习控制策略。

除了传统的点对点轨道追避问题外，学者们还将研究范围扩展到多对一轨道追避问题[23]、[24]。不过，目前大多数研究仍集中在点对点和多对一点轨道追避场景上，关于群对群轨道追避问题的研究成果相对较少。在[25]中，群对群轨道追避问题被分解为多个通过DDPG算法解决的点对点子问题，以及在[26]中被分解为多个基于目标分配的轨道机动子问题。在[27]中，采用了信息物理分层结构来处理群对群轨道追避问题。然而，[25]、[26]、[27]中提出的方法只能保证局部最优性，难以实现全局最优。在[28]中，采用了带有团队-对手交叉注意力网络的变多智能体双延迟DDPG算法来解决群对群轨道追避问题，但该算法仍然无法解决贡献度分配问题[29]、[30]，也没有考虑追击者之间的安全问题。

为了解决这些局限性，本文结合反事实基线机制[31]、[32]与MAPPO算法[15]，研究了具有多目标约束的脉冲推力航天器群对群协同轨道追避问题。与现有研究相比，本文的主要贡献如下：

• (1)
  针对群对群协同轨道追避任务，构建了一个多目标多约束的轨道追避模型。该模型综合考虑了实际约束条件和优化目标，为解决航天器群对群协同轨道追避问题提供了可靠的实用模型。与[28]不同的是，所提模型考虑了安全问题，因此更具现实应用性。
• (2)
  针对群对群协同轨道追避问题，设计了一组包含距离、时间和燃料奖励以及一系列惩罚项的奖励函数，以此为追击航天器制定协作策略。该奖励函数能够引导所有追击航天器形成协作策略，无需在追避过程中进行显式的动态点对点分配，从而提升了策略的通用性和有效性。
• (3)
  本文提出了一种基于CFB-MAPPO算法的群对群协同轨道追避新方法，该算法将反事实基线机制融入MAPPO算法中，用以解决贡献度分配问题。与现有的MADDPG算法相关研究[21]和MAPPO算法相关研究[26]相比，所提出的CFB-MAPPO算法能够实现全局最优解。

本文的其余部分结构如下：第2节详细阐述了群对群协同轨道追避问题的建模方式；第3节提出了用于解决该问题的CFB-MAPPO框架；第4节通过多组数值模拟展示了CFB-MAPPO算法的有效性与优越性；第5节对全文进行总结。

章节节选

动力学建模

• (1)
  坐标系与轨道动力学模型

首先定义了参考航天器，并采用了局部垂直局部水平坐标系。图1展示了航天器群对群协同轨道追避问题的示意图。

采用Clohessy-Wiltshire方程来构建群对群轨道追避场景的动力学模型[33]，通过该方程可以描述航天器在脉冲轨道机动后的相对位置和相对速度状态。

MAPPO框架

MAPPO是一种源自PPO[15]的典型多智能体强化学习算法，它基于集中式训练与分布式执行的架构。在MAPPO框架中，每个智能体都拥有独立的动作网络，而所有的智能体则共享同一个评价网络。

由于具有较高的稳定性，MAPPO被用作解决群对群协同轨道追避问题的训练框架。鉴于群对群协同轨道追避问题具有

仿真分析

为了验证CFB-MAPPO算法在航天器群对群协同轨道追避场景中的有效性及优越性，所有仿真都是在配备有Intel(R) Core (TM) Ultra 9275HX处理器和NVIDIA GeForce RTX 5060移动端GPU的工作站上进行的。仿真程序是用PyCharm软件和Anaconda3软件编写的，强化学习框架则是基于PyTorch 2.9.0+cu128实现的。

结论

本文研究了具有多重约束的航天器群对群协同轨道追避问题。在MAPPO训练框架的基础上，本文提出了一种新的CFB-MAPPO算法，该算法首先通过反事实基线机制解决贡献度分配问题，同时设计了新的奖励函数，以提高状态价值估计的准确性，进而显著提升问题的解决成功率。文中通过一系列仿真结果证明了所提方法的有效性。

CRediT作者贡献说明

贾庆贤：文章撰写——审阅与编辑，文章撰写——初稿，研究指导，方法设计，概念构思。程继文：文章撰写——初稿，软件使用，形式分析，数据整理。谢新如：项目管理，问题调研，概念构思。郝丽伟：文章撰写——审阅与编辑，问题调研。范彩志：研究指导，问题调研，概念构思。

利益冲突

本论文不存在任何利益冲突。

资助情况

开放基金 北京控制工程研究所空间智能系统与基础研究中心项目 工程类，RCSISF-2025-11，负责人：贾庆贤。微小航天器快速设计与智能集群国家重点实验室，项目编号MS01240109，负责人：贾庆贤。

利益冲突声明

作者声明，发表本文不存在任何利益冲突。

致谢

本研究得到了微小航天器快速设计与智能集群国家重点实验室（项目编号MS01240109）以及北京控制工程研究所的开放基金空间智能系统与基础研究中心项目（项目编号RCSISF-2025-11）的资助。

贾庆贤|程继文|郝丽伟|范彩志|谢新如

中国南京航空航天大学航天学院，南京，210016