《Journal of Systems Engineering and Electronics》：A New Data-Driven Task Planning Approach for on-Orbit Refueling of Low-Earth Orbit Mega-Constellation Members
编辑推荐：
低地球轨道（LEO）巨型星座的在轨加油需要解决复杂的访问序列问题。卫星数量的不断增加使得寻找最优解更加困难。为解决这一问题，研究人员在本文中提出了一种数据驱动增强蚁群优化（DDEACO）方法。DDEACO采用两步策略：首先，利用ΔV转移成本作为奖励训练深度Q网
低地球轨道（LEO）巨型星座的在轨加油需要解决复杂的访问序列问题。卫星数量的不断增加使得寻找最优解更加困难。为解决这一问题，研究人员在本文中提出了一种数据驱动增强蚁群优化（DDEACO）方法。DDEACO采用两步策略：首先，利用ΔV转移成本作为奖励训练深度Q网络（DQN），并采用门控循环单元（GRU）学习用于选择下一个最优先访问卫星成员的Q值，从而捕获序列中的时间依赖关系；然后，将预训练的GRU与传统蚁群优化（ACO）相结合，提供新的启发式路径，提升ACO的探索能力和效率。通过在系统工具包（STK）生成的包含30颗卫星和200颗卫星的数据集上进行数值实验，验证了DDEACO的有效性，展示了其显著性能。
近年来，低地球轨道（LEO）巨型星座项目（如Starlink和OneWeb）涉及数百甚至数千颗卫星，带来一系列管理维护问题。在轨服务技术（包括在轨维护、在轨加油等）的发展为维护LEO巨型星座提供了思路。燃料消耗是巨型星座的关键问题，卫星需定期调整轨道以维持星座完整性，在轨加油可延长卫星寿命。然而，LEO巨型星座中的在轨加油涉及复杂的访问顺序任务规划问题：服务航天器必须按特定顺序访问星座成员，以最小化转移成本并确保为目标航天器输送更多燃料。既有方法将任务规划建模为混合整数非线性规划（MINLP），但星座包含数百上千颗卫星，问题规模急剧增长，可行解分布趋于稀疏，在多项式时间内寻找最优或近优访问序列愈发困难，传统算法的计算复杂度已远超可接受范围。由于场景相似，大量研究将最优服务序列视为旅行商问题（TSP）的变体；当星座成员燃料不足风险突出时，可认为轨道参数在一定时期内保持静态，转移成本恒定，因此该问题可简化为以ΔV为目标的静态TSP。近年提出的元启发式算法（如蚁群优化（ACO）、粒子群优化（PSO）、遗传算法（GA）及混合算法）在NP-hard问题中表现高效，但问题规模增大时搜索空间指数膨胀，种群缺乏有效进化动力，导致搜索效率下降。为应对上述挑战，该研究提出了一种新颖的元启发式算法——数据驱动增强蚁群优化（DDEACO），在短时间内寻找近优或最优解。
研究人员提出了DDEACO算法框架，将深度学习与传统ACO融合，以提升解的质量和搜索效率。具体而言，采用深度Q网络（DQN）对解空间进行初步探索，以当前点到目标点的ΔV转移成本作为奖励机制，高效学习高质量的交会任务规划方案；同时使用门控循环单元（GRU）捕获最优交会序列中的时间依赖关系，并据此确定后续交会点的Q值。将预训练的GRU网络集成到ACO算法中，为其提供更丰富的启发式路径选择能力，从而提升最优解的搜索效率。数值实验在系统工具包（STK）生成的两个不同规模数据集（30颗卫星与200颗卫星）上验证了DDEACO的有效性。该研究的主要贡献在于：提出专门针对LEO巨型星座任务规划的DDEACO算法，融合DQN学习高质量解的能力，并以ΔV转移成本作为重要奖励指标；通过GRU识别最优交会序列的时间依赖关系，将预训练GRU与ACO的经典启发式路径策略集成，增强路径选择能力；将LEO巨型星座成员访问序列任务规划转化为三维旅行商问题（3D-TSP），并通过实验验证了DDEACO的优越性。
主要关键技术方法包括：利用STK生成包含30颗卫星和200颗卫星的两个数据集，所有轨道近零偏心率，主要轨道参数为半长轴、倾角和升交点赤经；通过双体动力学和霍曼转移计算非共面轨道转移的ΔV，得到转移成本矩阵。DDEACO算法分为两步：第一步训练DQN，将每个节点的距离向量作为状态，动作选择下一访问节点，奖励为当前转移ΔV取负值；采用GRU作为Q值估计网络，利用时序差分学习更新Q值，损失函数最小化目标Q值与预测Q值的均方误差。第二步将预训练GRU集成到ACO的转移概率公式中，在原有信息素和启发式信息基础上加入Q值项，平衡三者的影响（α、β、ξ为调节系数）。计算环境为Python 3.10和PyTorch，使用Intel i9-12900k CPU和RTX 4090 GPU。基线方法包括DQN、异步优势行动者评论家（A3C）、蒙特卡洛树搜索（MCTS）、ACO及其变体最大最小蚂蚁系统（MMAS）、GA、PSO、量子PSO（QPSO）、自适应萤火虫算法（AFSA）、人工蜂群（ABC）和麻雀搜索算法（SSA）。
研究结果如下：
3.1 数据集配置：利用STK创建两个不同规模的数据集，极坐标投影展示了卫星的时间空间分布，颜色梯度表示半长轴大小。所有轨道近零偏心率，主要影响ΔV计算的参数为半长轴、倾角和升交点赤经；通过ΔV计算得到转移成本矩阵，并进行了三维可视化。
3.2 基线方法：选取了包括强化学习算法（DQN、A3C）、MCTS、ACO及MMAS、GA、PSO、QPSO、AFSA、ABC、SSA在内的多种基准方法，用于比较不同技术路线下的任务规划性能。
3.3 实现细节：调整DDEACO超参数，ACO最大迭代300次，DQN最大迭代100000次；GRU学习率0.01，折扣因子0.99；蚁群规模25，α=2，β=4，ξ=1，ρ=0.3，Q=1。强化学习算法允许100000次迭代，启发式算法迭代限制300次，种群规模均为30，所有模型使用Adam优化器。
3.4 DDEACO在数据集I和II上的结果：在300次迭代中观察适应度演化，DDEACO结合了传统ACO的快速收敛和强化学习的自适应能力。在数据集I上最优ΔV为80.17，在数据集II上为84.00。利用t分布随机邻域嵌入（T-SNE）进行降维可视化，显示DDEACO在300次迭代内稳定收敛至近优解。
3.5 与基线的比较分析：DDEACO在不同规模数据集上显著优于所有基线。在数据集II上，DDEACO实现最优ΔV为84.0 m/s；DQN为3994.79 m/s，A3C为3753.04 m/s，MCTS为10962.0 m/s，ACO为108.54 m/s，MMAS为161.47 m/s，GA为3470.82 m/s，QPSO为3582.46 m/s，AFSA、PSO、ABC、SSA在较大解空间中性能明显退化。尽管DDEACO具有更高的时间和空间复杂度，但考虑ΔV的大幅改善，该代价可接受。通过十次独立优化迭代的箱线图（log500刻度）显示，DDEACO在多次随机初始化下保持显著精度，箱体紧凑，鲁棒性强；对比算法则性能波动明显，无法在精度和鲁棒性上匹配DDEACO。
讨论部分总结：在比较分析中，DDEACO虽增加了时间和空间复杂度，但换来了显著的ΔV优化收益；强化学习类算法性能落后，无法处理大规模星座规划；MCTS适应性有限；ACO和MMAS表现相对接近但仍有差距；其他元启发式算法在大规模解空间中搜索效率严重下降，不适合大型星座任务规划。
研究结论部分可翻译为：本文提出了一种新颖的数据驱动任务规划方法DDEACO，用于优化LEO巨型星座成员的访问序列。该方法专门应对随星座卫星数量增加而出现的解空间日益稀疏的挑战。DDEACO采用两步过程：第一步利用DQN生成高质量的任务规划解，具体以当前与后续卫星位置间的ΔV转移成本作为奖励机制，并采用GRU作为表征模型学习Q值，同时捕获访问序列中的时间依赖关系；第二步将预训练GRU无缝集成到传统ACO的启发式路径策略中，以特定概率为ACO提供新的启发式路径选项，显著增强ACO探索解空间的能力及其优化效率。通过在STK中生成的两个不同规模数据集（分别包含30颗和200颗卫星）上的数值实验，验证了DDEACO方法的显著优势。
