《Journal of Systems Engineering and Electronics》：Reinforcement Survivable Routing for Resource-Limited LEO Satellite Network
编辑推荐：
为了在资源受限的条件下提供低地球轨道（low Earth orbit, LEO）卫星网络的生存性，并有效应对在轨运行风险，研究人员提出了一种基于多智能体强化学习的生存路由算法。该强化生存路由从网络效用（network utility）的角度建立奖励函数，并将故
为了在资源受限的条件下提供低地球轨道（low Earth orbit, LEO）卫星网络的生存性，并有效应对在轨运行风险，研究人员提出了一种基于多智能体强化学习的生存路由算法。该强化生存路由从网络效用（network utility）的角度建立奖励函数，并将故障场景下生存性的改善描述为一个联合优化问题，从而解决LEO卫星网络发生故障后的在线路由决策问题。每个认知用户智能体和卫星智能体可根据卫星网络环境的时隙拓扑、节点生存状态、存储空间等信息，独立地为通信任务确定路由策略。仿真结果表明，与加权半分布式路由算法（weighted semi-distributed routing algorithm, WSDRA）和斐波那契多路径负载均衡算法（Fibonacci multi path load balancing, FMLB）相比，所提出的多智能体双深度Q网络（multi-agent double deep Q-learning network, MADDQN）强化生存路由算法能够适应卫星故障和拓扑变化，在人为攻击场景下网络效用分别提高了14%和9%，在随机故障场景下分别提高了17%和13%。
低地球轨道（low Earth orbit, LEO）卫星网络广泛应用于通信、军事侦察、监视与成像等任务。由于空间链路的开放性，卫星网络面临被动或主动攻击的威胁。随着卫星跟踪与定位技术的发展，星座被人类攻击的可能性逐渐增加；同时，大多数空间碎片集中在LEO区域且难以探测，大大增加了航天器碰撞风险。每一次网络中断都会造成大量数据损失，尤其是关键用户数据。网络生存性指系统在意外事故、故障和攻击情况下完成通信任务的能力，是提高卫星网络可靠性和安全性的重要指标之一。然而，现有生存路由策略通常只考虑当前故障状态下的最佳回报，难以预测LEO卫星星座的未来状态；在动态非均匀流量特性下，也无法有效解决故障后负载重分配引起的网络延迟与拥塞。因此，需要设计能动态适应拓扑变化和任务流变化的生存路由策略，以减少网络拥塞、提高剩余资源利用率。
针对上述问题，研究人员提出了一种基于强化生存路由（reinforced survivable routing, RSR）的多智能体双深度Q网络（multi-agent double deep Q-learning network, MADDQN）算法。该算法将生存路由解耦为接入路由和星上路由，通过认知用户智能体与卫星智能体的联合决策实现网络快速重构；以网络效用函数作为奖励，将故障场景下的生存性改善描述为联合优化问题，通过最大化长期累积折扣奖励获得最优策略。仿真实验表明，与加权半分布式路由算法（weighted semi-distributed routing algorithm, WSDRA）和斐波那契多路径负载均衡算法（Fibonacci multi path load balancing, FMLB）相比，MADDQN在人为攻击场景下使网络效用分别提高14%和9%，在随机故障场景下分别提高17%和13%，能够适应卫星故障和拓扑变化，改善资源受限条件下LEO卫星网络的生存性。
主要技术方法：研究人员利用卫星工具包（Satellite Tool Kit, STK）获取3×6构型LEO星座（18颗卫星，轨道高度2000 km，倾角86°）的轨迹和星际链路长度数据；基于延迟容忍网络（delay-tolerant network, DTN）构建生存扩展时变图（survivable extended time-evolving graph, ETEG）模型，以描述资源受限与时变拓扑。采用多智能体强化学习框架，每个用户或卫星智能体拥有独立的Q估计网络和Q目标网络，通过经验回放和双深度Q网络更新对Q网络参数进行梯度下降，最小化损失函数。仿真设置9个任务用户（分别位于阿拉斯加、佛罗里达、魁北克、丘布特、埃姆斯兰、塔努特、卡赫拉曼马拉什、新疆、阿穆尔州）和2个地面站（北京、坦佩），任务到达率按给定值设定；卫星故障按泊松分布到达，故障率λ可变。
研究结果如下：
（1）卫星故障前的网络性能。通过比较星座未遭毁坏时各时隙的网络效用、时延与吞吐量，发现MADDQN算法能产生更高的网络效用，在单位时隙内以更短时延完成更多用户任务。由于MADDQN以最大化累积奖励为目标，在每个回合观测时间T有限时，越接近T时刻可考虑的未来奖励越少，因此网络效用和吞吐量先增后减，与对比算法的性能差距随时间接近T而逐渐缩小。
（2）人为攻击不同卫星下的网络生存性。通过分别攻击18颗卫星并比较三种算法的网络效用、吞吐量和平均时延，发现无论采用何种策略，攻击第7颗卫星时网络效用和吞吐量最低；但就全部18次攻击的全局奖励而言，MADDQN在人为攻击场景中仍保持最佳生存性。各算法均能在最大时延d
h内完成任务，时延惩罚较小，网络效用主要由吞吐量决定，因此网络效用与吞吐量变化高度相似。
（3）不同卫星故障率下的网络生存性。通过设置不同的卫星故障率λ，比较各算法每回合的网络效用、吞吐量和平均时延。故障率越高，每个回合中失效卫星越多，网络效用越低。在部分卫星故障时，MADDQN在满足时延要求的同时，能最大程度减少网络拥塞并提高网络吞吐量，保证星座的可靠路由。
讨论部分指出，MADDQN性能提升的原因在于：其
