基于深度强化学习的低地球轨道星座设计用于区域导航增强

《Sensors》：DRL-Based LEO Constellation Design for Regional Navigation Enhancement

　　

设计用于定位、导航与授时（PNT）的低地球轨道（LEO）星座是一项具有挑战性的多目标优化任务。传统元启发式算法常因依赖静态自适应规则而陷入早熟收敛，在复杂搜索空间中效能受限。为克服该局限，研究人员提出一种混合框架，由双深度Q网络（DDQN）智能体学习策略以自适应控制粒子群优化（PSO）算法的关键参数。该框架将沃克（Walker）星座优化建模为序贯参数控制问题，基于星座性能反馈，DDQN控制器联合选取PSO的惯性权重与加速系数，引导PSO更有效地平衡探索与开发。在中国区域设计案例中，该算法表现出优越性能：相比120颗卫星的基准星座，优化星座的几何精度稀释因子（GDOP）降低27%，导航精度提升27.6%，覆盖重数提高5%。本研究建立了LEO系统自动化智能设计的稳健方法，验证了深度强化学习（DRL）方法在复杂航天优化问题中的潜力。

研究背景方面，高精度PNT与卫星通信需求增长使LEO星座受关注，Starlink、GuoWang、CentiSpace等计划部署海量卫星。相较中地球轨道（MEO），LEO信号强、几何变化快，可提升定位鲁棒性并加速精密单点定位（PPP）收敛，Li等基于CentiSpace实验卫星已用实测验证该增益。但面向区域导航增强的LEO星座设计仍困难：需在严格约束下兼顾平均几何与连续服务，形成高度约束的多目标优化。传统元启发式依赖静态参数易早熟收敛，现有RL辅助PSO研究的状态与奖励多取自通用适应度，未显式刻画星座特征，亦无将星座性能映射至探索-开发平衡的反馈策略。为此，研究人员将DDQN作为元控制器嵌入PSO循环，用星座GDOP、覆盖重数、星数、种群多样性与滑动窗口适应度增益构态，离散选取惯性权重w、认知系数c₁、社会系数c₂为动作，以改进增益减停滞惩罚加多样性奖励为回报，在STK-MATLAB环境下对Walker-Delta参数（平面数P、每面星数S、相位因子F、倾角I）寻优，轨道高度固定1100 km、最小仰角7.5°，以中国区域（21°N–55°N，81°E–124°E）为对象，以CentiSpace的120星Walker（55°倾、12面、F=0、975 km）为基准。

关键技术方法上，研究人员采用三层技术耦合：以Walker-Delta星座为解空间，圆轨道假设下降维至P/S/F/I四变量；以PSO作底层连续搜索，速度-位置更新受w、c₁、c₂控制；以DDQN作高层控制器，双网络（在线/目标）缓解Q值高估，MDP状态含最优星座GDOP、覆盖重数、星数、归一化种群多样性及窗口k=5的适应度增益，动作是K个预离散PSO参数策略，奖励r=r_prog+r_stag+r_div，用TD损失收敛训练；星座评价由STK 11.8做覆盖与几何解算，地面网格6°分辨率，样本为中国区域静止格点，PPP验证用GREAT-LAG在WUH2站四段2小时弧段。

研究结果部分，GDOP值分析显示优化星座平均GDOP稳定低于3、峰值低于8，10面配置全天低于4，而CentiSpace基准出现多次尖峰，几何鲁棒性更优。覆盖重数分析表明基准在华区仅达2重覆盖（不足4星可见），优化星座在绝大部分区域维持一致4重覆盖，保障连续独立PNT。PPP分析在WUH2站表明，GPS-only中位收敛21.25 min（0.30 m阈值），参考LEO增强为2.25 min，优化LEO增强为2.00 min；0.10 m阈值下GPS-only仅3/4弧段收敛（中位76.50 min），两LEO增强弧段全收敛，优化版中位3.00 min、RMSE在3/4弧段更低，证实几何改善转化为收敛加速。

讨论部分指出，优化分两阶段：先借奖励分解引向可行域（满足4重覆盖与GDOP<10），再压低GDOP；策略热图显示DDQN随多样性与增益动态切换高w探索或低w开发，突破固定启发式。增大星数会扩候选空间、增STK开销与早熟风险，故结论限于本文配置。结论部分翻译：LEO星座设计因传统元启发式静态超参受限而困难，本文用PSO-DDQN混合框架令DDQN作智能元控制器自适调PSO，将参数控制重构为学习任务，在约束下掌握探索-开发平衡；中国区域案例中外算法胜出所有基准启发式，优化星座较CentiSpace平均GDOP改善27%、导航精度升27.6%、覆盖重数增5%，并发现逆行高倾轨道等非直观优解，证明DRL-元启发式可有效解航天复杂优化，未来将扩至连续动作与动态多目标。论文发表于《Sensors》。