AoP感知的程序缓存赋能SAGINs中的计算卸载：一种基于双时标深度强化学习的方法

《Computer Communications》：AoP-aware computation offloading in program caching–enabled SAGINs: A two-timescale DRL-based approach

　　

## 空间-空中-地面一体化网络（SAGIN）中的多队列协同调度

### 摘要

由配备机载计算能力的低地球轨道（LEO）卫星和无人机（UAV）所支持的空间-空中-地面一体化网络（SAGIN），为基础设施稀缺的物联网（IoT）场景下的普遍计算卸载提供了有前景的架构。然而，在此类网络中实现高效编排受到有限资源、异构任务需求和时变网络动态的严重制约。为应对这些挑战，本文研究了深度强化学习（DRL）支持的SAGIN中的多队列协同调度问题，其中配备程序缓存的UAV在LEO卫星的协助下协同服务地面IoT设备。文中建立了长期系统成本最小化问题，联合优化UAV轨迹、任务卸载、功率控制、计算资源分配和程序缓存，同时考虑处理时延（AoP）和能耗。为解决这一高维度和混合时间尺度的问题，利用Lyapunov优化将原始公式分解为两个可处理的不同时间尺度的子问题。基于此理论分解，我们提出了一种新颖的双时间尺度缓存、卸载、轨迹和资源分配（2T-COTRA）算法。具体而言，提出了一种热度感知的深度Q网络（P-DQN）在帧级优化UAV缓存决策，并开发了一种多智能体深度确定性策略梯度（MADDPG）框架在时隙级联合优化UAV轨迹、任务卸载和传输功率，同时通过凸优化进一步分配连续计算资源。仿真结果表明，所提出的2T-COTRA算法在降低平均系统成本和适应动态SAGIN环境方面显著优于基准方案。

### 引言

计算密集型和时延敏感的物联网（IoT）应用（如实时环境感知、自动驾驶和远程手术）的蓬勃发展，对普遍的低时延计算能力产生了巨大需求[1]，[2]。在偏远或基础设施稀缺地区[3]（如海洋和山区），地面通信网络有限或完全不可用，这一需求尤为关键。为弥合这一数字鸿沟，空间-空中-地面一体化网络（SAGIN）已成为一种关键架构，利用低地球轨道（LEO）卫星的广域覆盖、无人机的灵活部署和高容量地面网络来实现无缝的全球连接[4]。边缘计算与SAGIN的融合进一步实现了网络边缘的计算卸载，从而降低了长距离卫星链路的时延[2]。

SAGIN中计算卸载的成功关键在于交付给终端用户的处理信息的新鲜度。虽然信息年龄（AoI）指标能有效从通信角度捕捉数据新鲜度[5]，[6]，但其在边缘计算中的主要局限性在于未考虑计算时延。为此，引入了处理年龄（AoP）来全面评估计算卸载的端到端性能，其定义为从任务生成到处理结果交付的总持续时间，包含传输、排队和计算时延[7]。因此，最小化AoP成为SAGIN支持时延敏感任务的主要目标。

然而，在SAGIN中实现最小AoP仍然面临挑战，原因涉及网络动态性、任务特性和多维控制需求。首先，系统由具有时变连通性的异构节点组成，包括LEO卫星和UAV。最小化AoP需要分配更高的计算频率以降低处理时延，而这些节点有限的能源资源要求处理AoP最小化与能耗之间的权衡。其次，多个任务队列的长期演化以及AoP的累积特性引入了严格的队列稳定性要求，这无法通过纯粹的数据驱动学习方法直接处理。最后，系统涉及一个多维控制问题，需要联合优化UAV轨迹规划、任务卸载、传输功率控制、计算资源分配和程序缓存。这些耦合决策跨越多个时间尺度并涉及离散和连续变量，最终使整体优化问题成为高维度且NP难的。

为应对上述挑战，本文研究了DRL支持的SAGIN中相关任务的多队列协同调度及联合资源分配与程序缓存问题。核心目标是通过协调空间-空中-地面层的异构通信和计算资源来提升系统性能，同时应对有限频谱、多样化任务需求和时变系统状态。为此，我们将Lyapunov优化与DRL相结合。具体而言，采用Lyapunov优化来处理任务队列的长期演化并保证系统稳定性，同时利用DRL来学习针对所得子问题的自适应、高效和在线控制策略。本文的主要贡献总结如下：

(1) 我们提出了一种DRL支持的SAGIN中相关任务的多队列协同调度框架，其中LEO卫星和UAV协同作为边缘计算节点为IoT设备服务。UAV配备有限容量的程序缓存，在缓存命中时实现本地任务执行，而缓存未命中的任务则转发至LEO卫星。基于此架构，建立了联合优化问题，通过综合考虑任务调度、资源分配和程序缓存来最小化长期平均系统成本。

(2) 我们将此联合调度问题建模为马尔可夫决策过程（MDP），并利用Lyapunov优化将长期随机问题理论性地分解为两个运行在不同时间尺度的可处理子问题。基于此分解，我们提出了一种双时间尺度缓存、卸载、轨迹和资源分配（2T-COTRA）算法。具体而言，在大的（帧级）时间尺度上引入了一种滑动热度感知窗口机制，以在滚动视界内主动捕捉程序热度的时间动态，据此设计了一种热度感知的深度Q网络（P-DQN）来在预测需求模式下优化UAV的宏观缓存决策。同时，利用推导出的Lyapunov漂移加惩罚界来数学上解耦和稳定缓存与卸载之间的多时间尺度耦合边界，从而消除训练的非平稳性并保证长期队列稳定性。最后，在小的（时隙级）多智能体深度确定性策略梯度（MADDPG）连续执行循环中嵌入凸优化闭式解，其中通过精确的闭式解析解分配细粒度计算资源，以大幅压缩DRL动作搜索空间并加速收敛。

(3) 进行了仿真实验以评估所提出2T-COTRA算法的有效性。结果表明，2T-COTRA与基准方案相比显著降低了平均系统成本，同时有效平衡了AoP和能耗。此外，所提出的框架对动态SAGIN环境表现出很强的适应性和随着网络规模增加的良好可扩展性。

本文其余部分组织如下。第2节综述相关工作。第3节和第4节介绍系统模型和优化问题。第5节详述所提出的2T-COTRA算法。第6节提供仿真结果和相应分析。最后，第7节总结全文。

### 相关工作

由于空间、空中和地面段之间的异构架构和动态拓扑，SAGIN中的资源分配和调度引起了大量研究关注[8]，[9]，[10]，[11]，[12]。文献[8]提出了GATO，一种SAGIN支持的IoRT系统的全球传输优化框架，强调了在动态卫星-UAV-地面链路下优化长距离、时延敏感传输路径的重要性。文献[9]提出了一种增强系统模型，详细阐述了SAGIN支持的偏远地区面向AoP的计算卸载模型。该模型包含以下关键组件：网络架构、轨迹模型、缓存模型、通信模型，以及AoP和能耗模型。

### 问题建模

优化目标旨在通过联合最小化AoP和系统能耗的加权和来增强整体系统性能。定义任务D_n(t)的成本函数为 U_n(t) = ω·AoP_n(t) + (1?ω)·E_n(t)，其中ω∈[0,1]表示权重系数。因此，同时考虑UAV轨迹设计Q=(q_m(t): ?t∈T, m∈M)、缓存策略优化B=(b_m,l(t): ?t∈T, m∈M, l∈L)、任务卸载决策A=(a_n,m(t): ?t∈T, n∈N, m∈M)的长期平均系统成本为。

### SAGIN中卸载、缓存、功率分配、计算和UAV轨迹的双时间尺度DRL优化

为求解问题P1'，我们采用DRL作为高效的近似工具来学习自适应控制策略。所提出的DRL框架并非在每个时隙严格最小化解析上界，而是设计为近似漂移加惩罚函数的主要成分，包括队列积压惩罚和瞬时系统成本。在此设置下，Lyapunov优化提供了理论指导以促进队列感知和稳定性导向的控制，而DRL则负责学习相应策略。

### 仿真结果

进行了全面的仿真以评估所提出2T-COTRA算法的有效性，所有方案均在配备Intel Core i5-12600KF 3.70 GHz处理器和32 GB内存的计算机上运行。仿真在1000 m × 1000 m的区域中进行。一些仿真参数（如时隙长度τ和训练神经网络的超参数）取自现有文献[13]，[34]。IoT设备初始部署在随机位置。为确保UAV处于……

### 结论

本文解决了在偏远地区为时延敏感IoT设备实现低时延和高能效计算卸载的挑战。我们开发了一种Lyapunov辅助的双时间尺度跨层协调和资源分配框架，用于DRL支持的SAGIN，联合解决了多队列协同任务调度、UAV轨迹控制和通信与计算资源分配问题。通过利用Lyapunov优化来保证队列稳定性……

### CRediT作者贡献声明

刘赵元：写作—审阅与编辑、写作—原稿撰写、软件、方法论、数据整理、概念化。张镇江：写作—审阅与编辑、资源、调查、资金获取。于子航：验证、形式化分析、数据整理。张梓昂：可视化、验证、调查。

### 利益冲突声明

作者声明以下可能与本工作存在潜在利益冲突的经济利益/个人关系：张镇江报告称，本研究获得国家重点实验室智能并行技术实验室的经费支持。如有其他作者，他们声明不存在已知的可能影响本论文所报告工作的竞争经济利益或个人关系。

### 致谢

本研究由国家重点实验室智能并行技术实验室支持。

刘赵元 | 张镇江 | 于子航 | 张梓昂