SD-SAC：一种用于混合近地卫星边缘网络中具备服务质量意识的原子任务卸载的智能深度强化学习方法

《Computer Communications》：SD-SAC: An intelligent DRL approach for QoS-aware atomic task offloading in hybrid LEO satellite-edge networks

　　摘要：物联网设备的计算需求日益增加，这要求采用高效的移动边缘计算策略，尤其是在偏远和服务不足的地区。传统的地面移动边缘计算方案往往面临计算负荷过重和延迟问题。本文提出了一种基于深度强化学习的新型智能方法——软件定义软演员-评论家算法，专为混合低地球轨道卫星-边缘网络设计。该框架将分层软件定义网络与深度强化学习相结合，以动态优化原子任务的分发决策。与传统方法不同，我们的方案将卫星分为计算边缘节点和非计算中继节点，从而实现资源的最优利用和任务处理的提升。SD-SAC算法通过实时监控网络状态并采用自适应决策机制，有效平衡计算负荷、降低延迟并提高任务成功率。全面仿真验证表明，SD-SAC框架在提升服务质量、减少延迟以及优化CPU和带宽利用率方面显著优于传统的分发方法。这项研究为动态卫星-边缘计算环境中的计算任务管理提供了可靠的解决方案，在注重服务质量的原子任务分发策略上展现出明显优势。

引言：物联网设备的快速增长以及对实时性和低延迟应用的需求不断增加，给传统地面基础设施带来了巨大的计算压力[1]。移动边缘计算作为一种在网络边缘提供计算资源的解决方案，已成为应对这些需求的关键技术[2]。然而，仅依赖地面基础设施的传统移动边缘计算架构在地理分布广泛或偏远地区面临着诸多挑战[3]。由于CPU容量有限，地面站常常出现计算负荷过重的情况，导致其在处理任务时效率低下，尤其是在需要满足严格的服务质量要求，如低延迟、任务截止时间以及较大输入规模等情况下[4]。

低地球轨道卫星星座逐渐被视为地面边缘计算基础设施的延伸，因为在地面连接不稳定、拥堵或不可用的情况下，卫星辅助计算能够提供互补资源，提升服务的连续性、覆盖范围和可靠性[5]。然而，由于低地球轨道卫星星座的动态拓扑结构、不断变化的星间链路、异构节点能力以及严格的服务质量要求，有效利用这些资源仍然具有挑战性。在卫星辅助边缘计算中，一个核心挑战就是在高度动态的网络条件下实现注重服务质量的原子任务分发。尽管存在间歇性的视距连接、卫星和地面站之间资源利用不均衡以及星间链路可用性快速变化等问题，任务仍需作为不可分割的单位执行，同时满足端到端的延迟约束。这些因素使得静态或纯模型驱动的优化方法难以在实际应用中发挥作用，尤其是在需要在线且大规模做出决策的情况下。

近年来，卫星技术尤其是低地球轨道卫星的技术进步，为克服纯地面边缘网络的局限性带来了希望[6][7]。卫星支持的边缘计算扩展了移动边缘计算的覆盖范围和效能，能够在偏远或服务不足的地区提供无处不在的覆盖和更强的连接性[8][9]。低地球轨道卫星运行在较低的高度，因此与地球静止卫星相比，通信延迟显著降低，非常适合处理对延迟敏感的任务[10][11]。通过将卫星网络集成到地面架构中，可以在地面站和卫星之间有效分配计算负荷，即使在资源过度使用或地面基础设施出现故障的情况下，也能确保服务的持续可用性[12]。尽管具有巨大潜力，但卫星-地面集成网络仍面临诸多挑战，包括动态的网络拓扑结构和资源利用不均衡的问题[13]。低地球轨道卫星的轨道动力学会导致网络拓扑不断变化，而地面用户需求的多样化分布则常常导致资源利用不均衡[14]。具体而言，位于人口密集区域视距范围内的卫星常常面临负荷过重的问题，而服务于人口稀少地区的卫星则资源利用率较低[15]。这些问题亟需具备动态适应不同网络条件和服务质量要求的最优任务分发机制[12]。

近期的一些研究开始运用先进的深度强化学习技术来解决这些挑战。与以往假设所有卫星都具备边缘计算能力的研究不同[16][17]，我们认识到为每颗卫星配备此类功能在计算上不切实际且成本过高。为了解决这些问题，本研究提出了一种分层式软件定义网络辅助的深度强化学习框架，用于低地球轨道卫星星座中的原子任务分发。我们明确将卫星分为执行节点和中继节点[18]，以便在直接执行不可行时实现灵活的多跳任务转发。分层式软件定义网络控制平面可提供全局网络感知和高效的资源协调能力，而基于软演员-评论家算法的深度强化学习智能体则能学习出能够应对随机流量到来和不断变化的连接状况的自适应分发策略。这种联合设计使系统能够在满足服务质量约束的前提下，动态选择在本地地面执行、直接在卫星上执行或通过中继协助执行任务。

在本研究中，我们关注的是在地面站生成的具有延迟约束的原子任务，并假设卫星上的内置计算资源有限。我们在真实的低地球轨道卫星星座动态和流量条件下进行了大量仿真测试，将所提出的框架与多种基准策略进行比较，以证明其在任务成功率、延迟性能和系统稳定性方面的优势。我们的任务分发场景采用了卫星边缘计算中的典型工作流程，即物联网客户端设备生成计算任务，将其分发给可用的卫星节点或地面站进行处理，随后接收处理结果。这种客户端-服务器-客户端的工作流程在近期的大量研究中得到了广泛认可和应用。一些研究探讨了低地球轨道卫星网络中的混合云-边缘计算模式，即任务被分发给卫星后在那里远程处理，然后再返回给原始的用户设备[19]。同样，其他研究也提出了星间协作分发场景，即任务在经过多颗中继卫星处理后，最终将结果返回给发起任务的物联网设备[20]。

所提出的框架并非旨在取代地面边缘计算或云计算基础设施，因为后者通常具备更强大的计算能力且能够持续升级。相反，它适用于那些仅依靠地面执行无法满足延迟、可用性或可靠性要求的场景。特别是在地面资源拥挤、不可用或无法满足严格的服务质量要求时，卫星辅助任务执行便显得十分有用。典型的应用场景包括：(i)灾难响应和紧急情况，此时地面基础设施可能部分受损或无法使用；(ii)海洋、沙漠和山区等偏远和服务不足的地区，因为在这些地方大规模部署地面边缘计算在经济或技术上均不可行；(iii)对延迟敏感的感知和决策应用，如海上安全、环境监测以及大规模物联网数据聚合，这些应用都需要在靠近数据源的地方进行及时处理；(iv)负荷过载的情况，即临时流量激增超出了地面站的处理能力，此时卫星执行可以提供补充的计算支持。此外，所提出的框架还充分考虑了卫星计算资源有限且受能量限制的特点。正如评估结果所示，只要地面站有足够的资源和连接条件，大多数任务仍会在地面站处理，而只有在必要时才会选择在卫星上执行，以满足延迟或可用性要求。从这个意义上说，所提出的方法将卫星视为一种具有弹性和补充作用的边缘计算层，而非地面基础设施的替代品。

本研究做出了几项重要贡献：•我们开发了一种分层式软件定义网络框架，用于高效管理混合低地球轨道卫星-边缘网络中的任务分发，提升了动态资源管理和自适应分发决策的能力。•我们采用基于软演员-评论家算法的深度强化学习方法来优化任务分发，从而最小化延迟并最大化任务成功率。•我们提出了一种基于中继卫星的任务分发策略，该策略能够保持任务完整性并优化整个卫星星座中的资源利用。•我们在卫星网络环境中通过仿真测试了所提出的SD-SAC方法，结果表明与传统方法相比，它在任务成功率降低延迟方面取得了显著改进。

通过全面的仿真和性能分析，我们证明了所提出方法在提升动态卫星-边缘环境中的网络效率和维持服务质量方面的有效性。尽管多智能体深度强化学习模型在处理卫星宽带场景中的分布式任务分发方面展现出潜力[21]，但我们的单智能体基于软演员-评论家算法的方法简化了协调过程，提高了收敛速度，同时仍能保证服务质量。本文的其余部分结构如下：第2节回顾相关研究，包括深度强化学习和基于软件定义网络的路由技术在任务分发过程中实现动态资源分配中的作用。第3节阐述研究目标，介绍网络模型以及物联网设备与卫星-地面节点之间的交互方式。第4节描述我们所提出的分层式软件定义网络控制器和基于深度强化学习算法的网络架构。第5节展示仿真结果，并与基准算法进行比较。最后，第6节对整个研究进行总结。