NTN赋能移动边缘计算中的计算卸载：一种部分可观测多智能体分布式深度强化学习方法

《Computer Communications》：Computation offloading in NTN-empowered MEC: A partially observable multi-agent distributed deep reinforcement learning approach

　　

**摘要**

随着计算密集型和延迟敏感型应用需求的增加，非地面网络（NTN）赋能的多接入边缘计算（MEC）已成为帮助用户设备（UE）满足严格性能要求的关键推动力。在本工作中，我们考虑一种场景，其中 UE 可以本地处理任务或将其卸载到部署在无人机（UAV）和低地球轨道（LEO）卫星上的边缘服务器上，目标是最小化定义为延迟和能耗加权总和的成本。然而，为这类系统设计高效的计算卸载策略仍然是一个重大挑战。我们将此问题建模为一个部分可观测随机博弈（POSG），考虑影响卸载决策的关键因素，包括边缘服务器的负载水平和特定任务约束，如不可分割性、延迟敏感性和可能跨多个时隙的处理。为了解决这个问题，我们提出了一种具有边缘协调独立学习者（ECIL）框架的多智能体分布式深度强化学习（MADDRL）方法。现有的独立学习者（IL）方法由于缺乏智能体之间的协调而存在非平稳性和部分可观测性问题，而集中训练分布式执行（CTDE）方法需要全局状态信息，损害了可扩展性和隐私。ECIL 通过使 UE 能够完全独立地做出卸载决策，同时通过边缘服务器广播的负载信息实现间接协调来解决这两个限制，无需中央控制器或 UE 之间的直接通信。我们通过广泛的模拟验证了我们方法的有效性，展示了相对于基线方法的显著改进：成本降低 28.2%–53.5%，任务丢弃率降低 40.3%–96.6%，延迟降低 6.9%–24.7%，能耗降低 24.45%–31.87%。

**引言**

向第六代（6G）无线网络的演进使得各种先进应用成为可能，例如空中监视、自动驾驶和增强现实 [1]。为了支持这些延迟敏感和计算密集型应用，边缘计算已成为不可或缺的组成部分。通过将计算资源靠近用户设备（UE），多接入边缘计算（MEC）允许 UE 高效地将任务卸载到边缘服务器，减少延迟和能耗。部署在地面基站上的 MEC 服务器显著增强了 UE 的计算能力并提高了整体服务质量 [2]。然而，在涉及硬件故障、过载或无地面网络覆盖的区域等场景中，地面 MEC 可能无法提供可靠的服务。为了解决这些限制，配备边缘计算能力的无人机被视为地面网络的重要补充，因为它们具有高机动性和易部署性 [3]。此外，低地球轨道（LEO）卫星越来越多地被考虑用于边缘计算服务，因为它们能够以低延迟提供全球覆盖，由于它们距离地球较近，在 600 公里高度上单程传播延迟约为 6 毫秒 [4]，且其往返时间通常与地面网络在长距离下相当或更好 [5]、[6]、[7]。因此，在本文中，我们考虑了一种由 NTN 赋能的 MEC 系统，该系统由三个网络段组成：地面、空中（UAV）和卫星（LEO），能够支持灾害响应、智能交通和偏远地区监控等应用。

要充分利用 NTN 赋能的 MEC 的优势，开发高效的计算卸载策略至关重要。然而，由于两个主要因素，设计这样的策略仍然充满挑战：识别影响卸载决策的参数，以及设计允许 UE 独立做出此类决策的分布式解决方案。在本文中，我们通过设计一个考虑影响卸载决策的关键参数的综合系统模型，并提出一种允许 UE 独立做出卸载决策的分布式解决方案来应对这两个挑战。

我们首先专注于识别影响计算卸载决策的参数，这对于设计有效的卸载策略至关重要。基本决策涉及确定任务是否应本地执行或卸载，如果选择卸载，则确定适当边缘服务器执行任务 [8]、[9]。现有研究表明，此决策受任务大小和截止期限要求 [10]、UE 与边缘服务器之间的距离 [3] 以及包括延迟和能耗在内的优化目标 [11]、[12] 等因素的影响。然而，一些可以显著影响卸载决策的实际方面仍未得到充分调查。特别是，当多个 UE 同时将任务卸载到同一服务器时，边缘服务器的负载水平可能会严重影响服务性能。在这种条件下，增加的拥塞可能导致更长的处理延迟和因错过截止期限而导致的任务丢弃。此外，在离散时间隙系统中，当计算资源有限或服务器负载较高时，任务执行可能跨越多个时隙，为卸载过程引入了时间依赖性。当计算资源在并发处理的任务之间共享时，决策的复杂性进一步增加，因为分配给每个任务的资源根据服务器负载动态变化。基于这些观察，所提出的系统模型除了传统的任务大小、截止期限要求和 UE 与边缘服务器之间的距离等参数外，还明确纳入了边缘服务器负载水平、多时隙任务执行和共享计算资源。

计算卸载的另一个重要方面是设计分布式解决方案，使 UE 能够独立做出卸载决策。博弈论 [13] 和在线优化 [14] 等传统方法由于环境的非平稳性质而在动态多 UE 环境中表现不佳。强化学习（RL）提供了一种有前途的替代方案，使智能体能够通过与环境交互学习最优策略，而无需事先了解系统 [15]。然而，随着 UE 数量的增加，维持 Q 值表变得不可行，高维状态空间导致了维数灾难，使得构建有效策略变得困难。为了解决这些限制，深度强化学习（DRL）通过使用深度神经网络近似价值函数和策略来扩展 RL，使 DRL 能够直接将系统状态映射到卸载决策，使其特别适用于大规模和动态的 NTN 赋能 MEC 系统 [16]。尽管有其优势，但 DRL 通常以集中方式实施，其中一个控制器根据所有 UE 的全局状态做出决策 [17]。这种集中式设计引入了显著的开销、额外的延迟以及安全和隐私问题。为了克服这些缺点，开发了分布式 DRL 方法，允许 UE 独立做出决策。在多用户环境中，通常使用多智能体分布式 DRL（MADDRL）来支持多个 UE 的并发决策 [18]。一种广泛采用的策略是独立学习者（IL）框架，其中每个 UE 独立学习自己的策略，这通常会导致由于缺乏智能体之间的协调而产生次优策略。另一种策略是集中训练分布式执行（CTDE）框架，它通过集中训练改善策略学习，但需要全局状态信息，损害了可扩展性和隐私。为缓解这些限制，我们提出了一种具有边缘协调独立学习者（ECIL）框架的 MADDRL 方法。ECIL 通过边缘服务器定期广播负载水平信息，实现 UE 之间的间接协调，无需直接的 UE 到 UE 通信或中央控制器。这缓解了 IL 的协调限制，同时避免了 CTDE 中使用的全局状态信息的要求，从而在解决部分可观测性的同时保持可扩展性和隐私。该问题被建模为一个部分可观测随机博弈（POSG）[19]，其中每个 UE 基于本地观察运行，根据本地策略执行动作，并独立接收个体奖励。

本文的主要贡献可总结如下：
* 我们研究了一种计算卸载策略，并制定了一个旨在最小化成本的优化问题，该成本定义为 UE 延迟和能耗的加权总和。
* 我们将计算卸载优化问题转化为 POSG，并使用具有 ECIL 框架的 MADDRL 方法来解决。这种方法允许智能体进行本地观察，根据本地策略采取本地行动，并接收本地奖励。为了使 UE 之间能够实现协调，边缘服务器向 UE 广播其先前负载水平的信息，这有助于 UE 在不需要直接的 UE 到 UE 通信或中央控制器的情况下实现更好的卸载决策。
* 我们使用决斗式深度 Q 网络（Dueling DQN）实现了提出的 ECIL 框架，以估计高维状态空间中与不同卸载决策相关的动作值。此外，使用门控循环单元（GRU）网络来处理服务器广播的历史边缘服务器负载信息并预测未来的负载水平。然后将预测的负载信息纳入决策过程中，增强了 UE 之间的协调，并使每个 UE 能够做出更明智的卸载决策。
* 我们进行了广泛的模拟以评估所提出方法的有效性。结果表明，所提出的方法优于基线方法，包括 MADQN [20]、SODO [21]、MaDRLAM [22]、MARL-DDQN [23] 和本地策略。

本文其余部分组织如下。第 2 节讨论相关工作。第 3 节介绍系统模型和问题表述。第 4 节提出一种解决优化问题的方法。第 5 节展示模拟结果，最后，在第 6 节得出结论。

**章节片段**

**相关工作**
受潜在利益的驱动，最近的研究越来越关注 NTN 赋能的 MEC 系统。在本节中，我们回顾了 NTN 赋能的 MEC 系统以及在这些系统内使用 MADDRL 进行计算卸载的相关工作。

**系统模型和问题表述**
在本文中，我们考虑一种 NTN 赋能的 MEC 系统，如图 1 所示。
系统由三层组成，即由 M 个 UE 组成的地面层、由 N 架 UAV 组成的空中层，以及由 LEO 卫星星座组成的空间层。UAV 和卫星都配备了计算资源，为 UE 提供边缘计算服务。设 M={1,2,…,M} 为 UE 集合，N={1,2,…,N,N+1} 表示边缘服务器集合，其中索引 1,2,…,N 表示 UAV，N+1...

**具有 ECIL 框架的 NTN 赋能 MEC 系统计算卸载 MADDRL 方法**
在本节中，我们展示了所提出的具有 ECIL 框架的 MADDRL 方法用于 NTN 赋能 MEC 系统的计算卸载。我们首先在 4.1 节中将计算卸载问题建模为 POSG，然后在 4.2 节中描述所提出的 ECIL 框架，包括 Dueling DQN、基于 GRU 的负载预测模块、训练算法及其计算复杂性。在展示这些细节之前，我们首先澄清 ECIL 与两种...之间的基本差异。

**实验与分析**
在本节中，进行模拟以展示所提出方法在降低成本方面的功效。首先描述模拟设置。然后列出用于比较的基线方法。最后，展示数值结果和分析。

**结论与未来方向**
在本文中，我们研究了 NTN 赋能 MEC 系统中的计算卸载问题，其中 UE 可以本地处理任务或将其卸载到 UAV 或 LEO 卫星星座。考虑到系统动态性，即边缘服务器的负载水平和 UE 上任务的特征，我们将任务卸载问题表述为 POSG。我们将卸载成本定义为 UE 经历的延迟和能耗的加权总和。我们提出了一种 MADDRL 方法...

**CRediT 作者贡献声明**
Nida Fatima: 写作 – 审阅与编辑，写作 – 初稿，可视化，验证，软件，资源，方法论，调查，正式分析，数据整理，概念化。Soumya J: 写作 – 审阅与编辑，可视化，验证，监督，软件，方法论，调查，正式分析，概念化。Paresh Saxena: 写作 – 审阅与编辑，写作 – 初稿，可视化，验证，监督，软件，方法论，调查，正式...

**资金**
作者未接受资金支持进行本研究。

**利益冲突声明**
作者声明他们没有已知的竞争性财务利益或个人关系，这些可能已经影响本文报告的工作。

Nida Fatima 于 2012 年和 2015 年分别从印度海得拉巴的尼赫鲁技术大学获得计算机科学与工程学士学位和硕士学位，并于 2025 年从印度比莱分校 BITS Pilani 获得博士学位。她目前是印度比莱分校 BITS Pilani 的博士后研究员。她的研究兴趣包括地面和非地面网络、物联网（IoT）、边缘计算和用于...强化学习

Nida Fatima|Soumya J|Paresh Saxena|Giovanni Giambene