随机轨道追避博弈中基于贝塔分布的多智能体强化学习推力采样方法

《Neurocomputing》：Multi-agent reinforcement learning with beta distribution for thrust sampling in stochastic orbital pursuit-evasion games

　　摘要：轨道追避游戏在航空航天研究中具有重要意义，近期研究开始聚焦于利用基于随机策略的多智能体强化学习方法，使多艘航天器能够协同完成这一任务。然而，现有的连续动作采样策略在策略优化过程中存在无法充分探索微推力动作空间的缺陷。为解决这一问题，我们提出了一种新的训练框架，将贝塔策略与自适应动作映射相结合，用于基于随机策略的马尔可夫强化学习算法。贝塔策略将输出动作的概率密度函数建模为贝塔分布，有效解决了传统高斯策略在推力极为受限情况下的策略梯度估计误差及边界效应问题。此外，利用贝塔分布在不同参数下可呈现均匀或单峰分布的特性，我们推导出了从贝塔分布域到动作空间的映射函数。这些函数使得航天器的策略在训练初期采用近似均匀分布，随着训练深入逐渐转变为具有强单峰特性的分布，从而有效平衡了策略的探索与利用。同时，我们还采用了包含J2扰动的非线性动力学模型来描述航天器之间的相对运动。与仅适用于近距离场景的传统线性动力学模型不同，该非线性动力学模型能够在航天器之间不同距离的情况下保持高精度。仿真结果表明，将我们的框架与典型的基于随机策略的马尔可夫强化学习算法结合使用，能够在奖励值及任务关键指标方面取得更优性能。

引言：近几十年来，轨道追避游戏因其潜在应用价值而受到越来越多关注，这些应用包括清除太空垃圾、在轨加油以及维修航天器等。随着航天器智能化的发展，某些失控航天器仍可能具备机动躲避拦截器的能力。为应对这一挑战，多航天器协同捕获成为一种有前景的解决方案，因为它能降低单个航天器的机动需求。不过，这种方法目前仍处于探索阶段[1][2][3]。其主要挑战在于如何在优化航天器间协作以提升任务绩效的同时，应对复杂的动力学模型、难以预测的规避行为以及受限于机载资源所带来的实时计算要求[4][5]。鉴于这些复杂性，研究多航天器追避问题显得尤为重要。多航天器轨道追避游戏本质上是一个多目标优化问题，涉及安全性、燃料效率以及任务性能等关键目标。该领域的研究通常从与轨道交会问题极为相似的“一对一”场景开始。这类问题的复杂性源于其非线性约束，以及需要在如此苛刻条件下寻求最优解。为确定最优追击策略，人们采用了多种方法，包括混合整数非线性规划[6]、庞特里亚金最大值原理[7][8]、凸优化方法[9][10][11]、基于李雅普诺夫稳定性理论的闭环反馈控制器[12][13]，以及差分博弈理论[14][15][16]。然而，如果规避方拥有更高的最大加速度，追击方很可能会失败。这凸显了研究“多对一”博弈的重要性，在这种博弈中，多个追击方需要协同合作才能捕获一个规避方。多航天器轨道追避问题的复杂性会随着航天器数量的增加而呈指数级上升，因此属于NP难问题。正因如此，该领域的研究仍处于起步阶段，目前大多数研究都是基于描述航天器相对运动的线性化运动学方程来设计控制器。例如，有一种结合了线性二次调节器与人工势场的混合策略被用于碰撞避免和目标捕获，该系统采用克洛赫西-威尔特希尔方程作为轨道动力学模型[17][18]。另有研究[19]利用差分博弈理论及线性动力学模型，为多航天器轨道追避游戏设计了最优控制律。尽管克洛赫西-威尔特希尔方程和查乌纳-亨佩尔方程[20]是常用的线性动力学模型，但它们的精确度仅限于航天器彼此距离较近的场景，而且克洛赫西-威尔特希尔方程甚至仅适用于圆形轨道。此外，这些模型也无法考虑J2扰动，即地球扁率对引力作用的影响[21]。在近地轨道上，与航天器的微推力相比，这种扰动不可忽视，必须将其纳入考量才能实现精确的轨道控制。因此，有必要采用更为精确的动力学模型。近年来，基于演员-评论家方法的多智能体强化学习算法在追避游戏中越来越受到重视[22][23]。马尔可夫强化学习的核心理念是让智能体通过反复与环境交互、获取奖励，并在集中式训练与分布式执行框架下不断优化策略[24]。这种方法使智能体能够在任务中通过协作来最大化奖励，即便面对高度复杂的系统也能选择最优行动。在演员-评论家方法中，评论家神经网络负责拟合状态值，而演员网络则执行价值最高的动作。在机器人学领域的初步研究中，通过运用COMA和MAPPO等成熟的基于随机马尔可夫强化学习的演员-评论家算法，已在模拟及真实世界的追踪捕猎任务中取得了成功，有效解决了协作任务中的贡献度分配和部分可观测性等问题。然而，利用马尔可夫强化学习算法研究多航天器追避游戏的相关工作仍然较少。与机器人相比，航天器的运动受到严格的轨道约束以及有限的推进能力限制，微推力系统只能对轨道进行渐进且微小的调整，无法实现轨道路径的快速灵活改变，因此这类轨道追避任务本身更具挑战性。此外，将马尔可夫强化学习方法应用于轨道追避问题时，仍未解决当前主流的无界策略所存在的缺陷以及探索不均衡的问题。实际上，典型的策略通常采用无界高斯分布后再进行动作裁剪，但裁剪过程会导致采样推力与实际应用推力之间存在较大差异。这种现象会造成真实策略梯度与估算梯度之间的偏差，进而使得网络参数的更新方向偏离正确路径。为解决这一问题，另一种方法是采用“压缩”高斯策略[27]，它通过双曲正切函数来约束动作输出，但这种方法会引入边界效应，导致靠近输入边界的动作出现利用饱和现象，且在训练过程中可能出现梯度消失的情况。因此，需要开发出更适合动作采样的策略。贝塔分布为有界连续动作提供了良好的解决方案，但原有的贝塔策略[28]会将样本集中在推力空间的有限区域内，使得推力向量的分布无法有效覆盖整个动作空间，从而导致探索不足以及策略欠佳。为应对上述挑战，我们提出了一种改进的基于随机策略的马尔可夫强化学习算法训练框架。其主要贡献可总结如下：•我们为多航天器轨道追避游戏中的基于随机策略的马尔可夫强化学习设计了基于贝塔分布的策略形式。在微推力约束下，这种有界动作模型能够在采样过程中严格符合物理上的推力限制，从而消除由动作裁剪引起的多智能体随机策略梯度估计误差，同时避免传统高斯策略的边界效应。•我们开发了一种推力采样校正方法，用以解决原有贝塔策略在轨道追避游戏的探索阶段仍可能产生次优推力采样的问题。该方法利用雅可比行列式计算从贝塔策略到推力参数的解析映射函数。通过训练航天器的策略参数，随机策略在训练初期可从近似均匀的探索模式转变为后期强烈的单峰利用模式，从而形成一种更能平衡探索与利用的策略。•我们提出了一种结合贝塔分布策略及推力采样校正映射函数的基于随机策略的马尔可夫强化学习训练框架，该框架可与多种马尔可夫强化学习算法有效整合，在奖励结果及任务关键指标方面均表现出优异性能。具体而言，我们将该框架应用于包含J2扰动的高精度动力学模型，该模型能够涵盖不同形状和高度的各类轨道，且不受航天器之间距离的影响。此外，我们还在协同捕获实验中验证了该框架的可靠性，其表现十分稳定。本文的其余部分结构如下：第2节介绍了包含J2扰动的精确相对动力学模型，并给出了多航天器轨道追避游戏的数学模型。第3节介绍了我们提出的框架，并设计了用于引导追击方策略制定的奖励函数。第4节通过仿真实验展示了MAPPO、HAPPO、HATRPO和HAA2C在我们框架下的性能表现。本文最后在第5节进行总结。

章节节选：航天器相对动力学模型为描述航天器之间的相对运动，如图1所示，我们引入了局部垂直/局部水平坐标系。该坐标系的原点代表虚拟自由飞行航天器的质心。x轴与航天器的位置向量一致，从地球中心指向航天器。y轴位于航天器的轨道平面内，垂直于x轴，且指向运动方向。z轴则垂直于轨道平面。

贝塔策略与采样校正本节首先介绍了基于贝塔分布的策略，以此替代高斯策略，提升航天器在随机轨道追避游戏中的性能。此外，我们还利用累积分布函数，将从贝塔分布中抽样的随机变量映射到推力参数，从而帮助每艘航天器在各种场景下获得更高奖励。图2展示了我们框架的整体结构。

初始场景配置我们在包含七艘近地轨道航天器的模拟场景中测试了MAPPO[32]、HAPPO、HATRPO和HAA2C[33]，旨在评估我们的方法是否能够提升这些现有算法的性能。这些航天器的初始参数，包括轨道半长轴、偏心率、轨道倾角、升交点赤经、近地点幅角以及真近点角，分别列于各表中。

结论在本文中，我们提出了一种框架，该框架将贝塔策略与用于推力采样校正的映射函数相结合，用以解决策略梯度估计误差、边界效应以及探索与利用之间的权衡问题。为确保在我们的框架下训练出的策略更贴近实际的现实应用，我们采用了包含J2扰动的高精度动力学模型，以准确描述航天器之间的相对运动。为解决策略……

CRediT作者贡献声明赵玉桥：撰写——初稿、可视化、验证、方法论、正式分析。段景良：方法论。李胜波：撰写——审阅与编辑。刘昌：验证、监督、资金获取、概念构思。

利益冲突声明作者声明不存在任何可能影响本文工作的已知财务利益或个人关系。

致谢本研究部分得到了国家自然科学基金（92582205）以及北京新星计划（20240484498，20220484056）的支持。赵玉桥于2021年获得中国南京科技大学的电气工程学士学位，2024年获得该校控制理论与控制工程硕士学位。他目前正在中国北京大学先进制造与机器人学院攻读博士学位，研究兴趣包括强化学习以及群体机器人的运动规划。赵玉桥|段景良|李胜波|刘昌中国北京大学先进制造与机器人学院，北京100871