卫星边缘智能计算网络：一种基于多智能体深度强化学习的资源管理方法

《Chinese Journal of Electronics》：Satellite Edge Intelligent Computing Network: A Resource Management Method Based on Multi-Agent Deep Reinforcement Learning

　　

人工智能与卫星边缘计算（Satellite Edge Computing, SEC）网络的融合，为时间敏感型应急遥感应用提供了一种变革性解决方案。然而，在资源受限的低地球轨道（Low Earth Orbit, LEO）环境中，该方案仍面临关键挑战。本文提出一种新的多智能体深度强化学习框架，用于解决动态SEC网络中的分布式资源管理问题。针对紧急遥感处理任务，研究人员构建了一个完全协作的卫星边缘智能传输与计算架构，其中每颗LEO卫星基于本地观测独立地作为自主智能体运行。为了联合优化任务卸载比例，以及分布式多卫星所分配的相应通信与计算资源，本文提出了一种采用行为体-评论家（actor-critic, AC）与集中训练-分布式执行（centralized training-distributed execution, CTDE）框架的多智能体近端策略优化算法（multi-agent proximal policy optimization, MAPPO）。该方法通过集中式评论家分阶段实现自适应策略更新，并通过分布式行为体实现星上实时决策，显著提升了策略学习与执行效率。仿真结果表明，所提出方案在多卫星协同传输与计算过程中，能够有效降低任务执行时间和卫星能量消耗，并优于基准算法。这验证了该方案能够在紧急情形下兼顾任务关键型服务质量（Quality of Service, QoS）需求与可持续资源利用，并有望支撑下一代星地融合网络实现空天边缘智能。

该文发表于《Chinese Journal of Electronics》，围绕卫星边缘计算（Satellite Edge Computing, SEC）网络在应急遥感场景中的资源管理问题展开研究。随着5G/6G星地融合架构的发展，低地球轨道（Low Earth Orbit, LEO）遥感卫星在灾害监测、军事侦察与环境监视等时敏任务中的作用日益突出。现有遥感数据处理通常依赖“卫星回传—地面接收—地面处理—结果反馈”的中心化链路，存在时延高、通信开销大等突出缺陷，难以满足灾后黄金72小时与实时决策等场景需求。虽然移动边缘计算（Mobile Edge Computing, MEC）理念推动了卫星边缘计算的发展，使卫星由传统中继节点演化为具备星上存储与计算能力的智能节点，但LEO小卫星仍普遍受限于能源储备有限、计算资源稀缺、任务负载动态波动显著等现实条件。尤其在应急任务集中到达时，如何在多星之间高效协调任务卸载比例、通信资源与计算资源，成为制约空天智能处理能力提升的关键问题。传统凸优化、博弈论与启发式方法面对该类非凸、动态、长期优化问题时，往往只能获得次优解，且对环境变化的适应能力不足。因此，研究人员开展本研究，旨在设计一种适用于动态SEC网络的分布式自适应资源管理方法，以兼顾任务时延约束与卫星能耗控制。

研究人员针对小规模LEO卫星子网中的紧急遥感处理需求，构建了一个多卫星完全协作的分布式传输与计算模型。每颗卫星作为一个自主智能体，根据本地观测信息独立决策，联合决定任务部分卸载比例、星间链路通信资源和星上计算资源分配，以最小化长期任务端到端执行时延与能量消耗的加权和。为解决该非凸非线性优化问题，研究人员进一步将多星协同传输与计算过程建模为部分可观测马尔可夫决策过程（Partially Observable Markov Decision Process, POMDP），并提出基于多智能体近端策略优化（MAPPO）的资源管理方法。该方法采用行为体-评论家（AC）与集中训练-分布式执行（CTDE）框架：训练阶段由地面云端集中式评论家聚合所有智能体的全局状态与行为轨迹，统一评估优势函数并更新策略；执行阶段则由共享行为体网络部署于各卫星，仅依赖局部观测实现自主实时决策。研究表明，该设计能够在保证训练稳定性的同时降低执行期对地面系统的依赖，适应卫星网络分布式、自主化运行需求。

方法上，研究人员在Python环境中建立SEC仿真系统，以5颗具备四条星间链路（ISL）的LEO卫星构成小规模子星座。任务被定义为由数据量、单位比特计算负载和最大容忍时延组成的三元组；通信过程基于加性高斯白噪声（AWGN）信道和Shannon公式建模，计算能耗采用与CPU频率平方成正比的经典模型。研究将系统状态定义为任务属性与所有卫星资源占用状态，局部观测仅包含任务属性与本星资源状态，动作为卸载比例、通信资源和计算资源。奖励函数由正向常数项、时延与能耗代价项，以及超时惩罚项构成。算法层面采用带裁剪机制的PPO目标、广义优势估计（Generalized Advantage Estimation, GAE）和策略熵正则项，以增强收敛稳定性与探索能力；并与MADDPG、IPPO及随机卸载策略进行对比评估。

1. Background and Motivation
该部分首先论述研究背景与问题来源。研究人员指出，5G/6G星地融合网络的发展使LEO遥感卫星成为应急服务的重要基础设施，但传统地面中心式处理流程因时延与通信负担过大，难以支撑高实时性遥感任务。卫星边缘计算与人工智能的结合为星上智能处理提供了新范式，能够缩短响应时间并降低回传开销。然而，LEO小卫星计算能力有限、能源受限，密集计算会加速硬件退化并缩短寿命。为提升服务质量（QoS），可借助激光星间链路实现协同卸载与多星协作处理，但动态环境下资源供需不均衡，导致分布式协调低效。与此同时，现有资源优化方法在复杂动态非凸场景下存在适应性差、难以获得优质策略等不足，多智能体深度强化学习（Multi-Agent Deep Reinforcement Learning, MADRL）因此成为适合探索的新方向。

2. Solution Approach and Contributions
该部分概述研究方案与主要贡献。研究人员提出一种面向应急遥感场景的小规模SEC网络完全协作式分布式任务传输与计算框架。核心创新在于将每颗卫星建模为自主智能体，采用AC+CTDE范式实现“训练集中、执行分布”的策略优化。训练阶段，地面集中式评论家统一利用全局信息更新策略；收敛后，共享行为体在各卫星星上独立执行，从而兼顾全局协调与局部自治。论文主要贡献包括：构建多星分布式协同处理模型；提出面向连续动作空间的MAPPO联合优化算法，同时优化计算卸载和通信/计算资源管理；在仿真环境中系统比较该方法与多种基准策略的性能，验证其收敛性、优越性与环境适应性。

3. System Model and the Problem Formulation
该部分建立系统模型并完成优化问题形式化。研究人员考虑由S颗LEO卫星构成的SEC网络，每颗卫星通过两条同轨链路与两条异轨链路连接邻近卫星，并部署SEC服务器形成协同计算平台。时间被离散为T个固定时隙，每个时隙开始时产生一个可分割的独立遥感处理任务，任务由数据量d_t、单位比特所需计算周期开销c_t和最大允许时延T_t^max共同刻画。各卫星需依据当前资源状态共同决定任务卸载比例x_t^s、分配给传输的通信资源r_t^s以及用于处理部分任务的计算资源f_t^s。文中分别建立了基于AWGN信道的通信模型、包含传输时延与传播时延的链路时延模型，以及基于CPU频率平方能耗关系的计算模型。最终，任务端到端时延定义为各部分并行执行完成时间的最大值，总能耗为传输能耗与计算能耗之和。研究据此构建以最小化长期时延与能量加权和为目标的非凸非线性优化问题，并给出卸载比例、通信容量、计算容量与任务时限等约束。该部分结论是：所定义问题具有连续决策、非凸耦合和高维动态特征，传统方法难以有效求解，因此需要引入基于学习的资源管理方法。

4. Resource Management Method Via the Multi-Agent Deep Reinforcement Learning
该部分给出核心算法设计。首先，研究人员将多卫星协同传输与计算过程抽象为随机博弈下的POMDP六元组，包括状态空间、局部观测空间、动作空间、状态转移、奖励函数与折扣因子。全局状态由任务属性和全体卫星资源占用向量组成；局部观测则仅包含任务属性和本星资源占用状态；动作为三维连续向量，对应卸载比例、通信资源和计算资源。奖励函数由常数项减去时延与能耗代价，并叠加任务超时惩罚，以驱动智能体在满足QoS的前提下优化资源利用。

在算法层面，研究人员提出基于MAPPO的资源管理框架。该方法共享行为体网络π_θ与评论家网络V_μ参数，通过策略比值和裁剪操作抑制更新步长过大导致的不稳定，并采用广义优势估计（GAE）计算优势函数，以平衡偏差与方差。与此同时，研究向行为体损失函数加入策略熵项，增强探索能力；评论家网络则通过最小化目标值与状态值估计之间的均方误差进行训练。算法流程分为分布式执行和集中式训练两部分：执行阶段，各卫星根据局部观测并行输出动作，收集交互轨迹；训练阶段，地面云端利用缓存样本进行多轮小批量更新，提升样本复用效率与收敛性能。该部分还分析了复杂度，指出MAPPO训练复杂度主要由前向传播、GAE计算与反向传播构成，整体复杂度可表示为O_MAPPO=E×(O_forward+O_GAE+O_back)，并说明在相同设置下其训练复杂度低于MADDPG。

5. Performance Evaluation
该部分通过仿真评估所提方法性能。研究人员在Python 3.10与Tensorflow 2.12.0环境下搭建SEC模拟平台，设置5颗卫星、总通信容量10 Gbps、总计算容量10 Gcycles/s、发射功率5 W、星间距离1000 km，并配置两层全连接行为体与评论家网络。训练轮数设为1000，时间步长度为2000。比较对象包括MADDPG、IPPO和随机卸载（RO）三种基准方法。

在收敛性实验中，通过奖励、任务成功率、平均能耗和平均时延四项指标对比不同算法的训练过程。结果表明，所提MAPPO方案在最终训练阶段获得最高奖励与任务成功率，同时实现最低平均能耗和平均时延。研究人员认为，这一优势主要来自共享参数的AC+CTDE结构以及裁剪机制所带来的稳定学习过程。相比之下，MADDPG缺乏参数共享，需在更大的联合策略空间中分别训练多组网络，导致复杂度更高、收敛更慢；IPPO由于缺少集中训练阶段的信息共享，难以学习依赖多智能体交互的协调策略，因此性能波动更明显；RO则始终表现较差。

在卫星计算能力变化实验中，研究人员调整F_max以评估算法对边缘侧资源约束变化的适应性。结果显示，当计算能力较低时，多数任务因资源不足而难以在时限内完成，任务失败惩罚较大。此时，MAPPO能够更充分利用有限资源，在能耗增加的情况下提高任务成功率并获得更高奖励。随着F_max增加，各算法奖励和成功率均提升，但计算能耗也明显上升，说明提升计算能力虽然有助于满足实时服务需求，却会带来额外能源开销。整体上，MAPPO始终保持最佳性能，体现出对资源条件变化的良好适应性。

在任务最大容忍时延变化实验中，研究人员通过调整T_t^max考察算法面对不同业务紧迫性的灵活性。结果表明，随着时延约束放宽，各算法性能整体改善，任务成功率上升、平均时延下降，说明任务紧迫性降低后所需资源减少，更易实现约束满足。在高实时性任务下，MAPPO仍能取得最短端到端执行时间和最高奖励，而MADDPG、IPPO与RO由于资源分配不当，产生更长平均时延。随着T_t^max进一步增大，当多数任务都能获得所需资源后，各方法结果趋于稳定，但MAPPO依然展现出更优的综合表现。该部分总体结论是：所提方法在不同环境变量下均表现出更强的鲁棒性、灵活性与策略适应能力。

综合讨论部分，论文表明，卫星边缘计算网络中的应急遥感任务管理，本质上是一个受资源约束、时延约束和多智能体协同耦合影响的长期优化问题。研究人员通过将该问题转化为POMDP，并引入MAPPO与CTDE框架，实现了从全局训练到局部自主执行的有效协同。仿真结果持续验证，该方法在训练稳定性、收敛速度、任务成功率、能耗控制和时延压缩等方面均优于对比方法。特别是在动态资源条件和变化任务需求下，所提方案表现出更高适应性，说明其适合未来分布式卫星智能系统中的在线资源管理。论文同时指出，当前研究仅针对小规模星座内单区域应急遥感任务的协同处理，对于多区域、多子网、并发异构任务场景仍存在局限，后续可进一步考虑分层SEC架构和任务感知资源管理策略。

研究结论部分可译为：本研究针对应急遥感场景下SEC网络中的资源管理关键挑战，提出了一种新的MADRL驱动框架。研究人员设计了一个面向实时任务的多卫星协同分布式传输与计算模型。每颗卫星作为自主智能体，依据自身资源可用性独立决定任务卸载与资源分配，以在尽可能缩短任务完成时间的同时最小化能量消耗。通过融合AC与CTDE，所提出的基于MAPPO的资源管理方法不仅利用自适应信任域优化与重要性采样机制，提高了集中训练阶段的更新稳定性与样本效率，而且使卫星能够在分布式执行阶段保持全局优化意识的同时实现自主协同。仿真实验表明，与基于MADDPG的策略相比，所提SEC网络资源优化方法可将执行速度提升近20%，并将平均能量消耗降低近10%。这些改进可直接提升应急情形下的响应速度、执行可靠性与资源利用可持续性。该研究推进了自主空间系统范式的发展，并为下一代卫星边缘人工智能实现提供了实践指导。不过，本文仅关注小规模星座内应急遥感任务的协同传输与处理，在处理多区域子网中的并发异构任务时仍有局限，未来可进一步研究分层SEC架构与任务感知资源管理策略。