面向低延迟与高能效的无人机辅助移动边缘计算系统的智能资源分配方法

《Future Internet》：Toward Low-Delay and Energy-Efficient UAV-Assisted MEC Systems Through Intelligent Resource Allocation

　　

无人机（UAV）辅助移动边缘计算（MEC）已成为支持计算密集型与延迟敏感型应用的有前景的范式。然而，由于需要在动态环境中联合最小化用户设备（UD）的最大处理延迟与能耗，高效的任务卸载与资源分配仍是一个具有挑战性的问题。现有解决方案常受限于训练不稳定、探索能力有限及收敛缓慢，限制了其实现最优任务卸载与资源分配决策的能力。为应对这些挑战，本文提出一种基于优先级自适应加权的深度确定性策略梯度（PAW-DDPG）算法，作为增强型深度确定性策略梯度（DDPG）算法，通过联合优化用户调度、部分任务卸载与无人机轨迹，以最小化处理延迟与能耗。所提算法引入状态感知归一化机制以稳定学习过程，一种新的预训练初始化技术在训练前填充经验回放缓冲区（ERB）以加速收敛并提升策略质量，以及一种混合噪声探索方案以增强探索效率。此外，为实现延迟与能耗间的有效平衡，提出一种基于改进指数移动平均（EMA）算法的新型自适应加权机制。仿真结果表明，所提PAW-DDPG算法优于DDPG及所有基线算法，在变化的任务大小、无人机计算能力、用户设备计算能力及用户设备数量下，分别相比DDPG获得4–18%、9–18%、8–26%及7–18%的性能提升。

论文解读文章

研究背景与问题提出：随着第五代（5G）通信技术的发展，增强现实（AR）、虚拟现实（VR）、在线游戏和远程医疗等应用对计算能力与能耗提出了更高要求，而用户设备（UD）资源受限。传统云计算虽提供强大处理能力，但传输大量数据至远端云服务器会引入显著延迟与能耗，难以满足实时性需求。移动边缘计算（MEC）通过将计算资源部署至网络边缘，降低了延迟与能耗，但固定基础设施在覆盖盲区或自然灾害场景下效率低下。无人机（UAV）具备灵活机动性，可动态部署以扩展覆盖并接近用户，因此UAV辅助MEC系统成为研究热点。然而，在动态环境中，无人机移动性、用户需求波动、时变信道条件及有限机载能量使得用户调度、部分任务卸载与无人机轨迹的联合优化极为复杂。传统优化方法依赖预定义规则与启发式算法，适应性差；深度强化学习（DRL）方法虽表现出潜力，但现有深度确定性策略梯度（DDPG）算法存在训练不稳定、探索能力有限及收敛缓慢等问题。为此，研究人员提出优先级自适应加权深度确定性策略梯度（PAW-DDPG）算法，以增强稳定性、加速收敛并提升整体性能，该研究发表于《Future Internet》。

关键技术方法：研究人员采用以下主要技术方法：（1）基于马尔可夫决策过程（MDP）建模，将用户调度、部分任务卸载比例与无人机轨迹作为联合优化变量，状态空间包括无人机剩余能量、位置、任务大小、用户位置及信道阻塞指示等；动作空间包括被服务用户索引、无人机飞行角度与速度、卸载比例；奖励函数定义为处理延迟与能耗加权和的负值。（2）PAW-DDPG算法包含三个关键阶段：预处理阶段采用Min-Max状态归一化机制统一输入特征尺度；初始预填充阶段使用K近邻（KNN）算法填充经验回放缓冲区（ERB），以加速收敛；训练与更新阶段引入混合噪声（高斯噪声与奥恩斯坦-乌伦贝克（OU）噪声组合）增强探索，采用基于改进指数移动平均（EMA）的自适应权重更新机制平衡延迟与能耗，并使用优先级经验回放（PER）算法优先采样高时序差分（TD）误差的经验。仿真环境设置为400 m×400 m覆盖区域，无人机高度100 m，初始位置(200,100)，4个随机分布的用户设备，总任务大小100 Mbits，无人机电池容量500 kJ，信道带宽1 MHz，时隙长度10 s，共40个时隙。

研究结果：
（1）奖励性能评估：状态归一化显著提升训练稳定性，平均奖励从-92.068提升至-36.604；KNN初始预填充进一步加速收敛，平均奖励提升至-36.604，标准差降低至1.822；混合噪声策略相比单一高斯或OU噪声，平均奖励更高（-36.604），收敛更快；EMA自适应权重机制使平均奖励提升至-36.604，标准差降低，表明动态平衡延迟与能耗的有效性。
（2）超参数影响：学习率设定为actor网络0.001、critic网络0.002时获得最佳平均奖励-36.604；折扣因子设定为0.001时收敛最快且奖励最高。
（3）训练收敛与系统效率：critic损失快速下降并稳定趋近于零，表明值函数逼近准确；归一化计算率在约200个episode后稳定至最大值附近；平均卸载比例从初始约0.95逐渐下降至0.60–0.65，表明算法自适应调整卸载决策以平衡延迟与能耗。
（4）与基线算法对比：在任务大小100 Mbits下，PAW-DDPG相比DDPG、深度Q网络（DQN）、全卸载、演员-评论家（AC）及本地执行算法，奖励分别提升18.05%、33.75%、40.01%、50.29%、61.73%；延迟分别降低15.06%、34.87%、43.94%、54.01%、64.11%；能耗分别降低25.58%、32.21%、23.76%、35.31%、50.48%。在不同任务大小、无人机计算能力、用户设备计算能力及用户数量场景下，PAW-DDPG均保持最优性能。
（5）时间复杂度分析：PAW-DDPG因初始预填充与PER采样增加额外开销，但训练起点即快速收敛，优于DQN和DDPG需250个episode后才开始收敛，AC则全程未收敛。
（6）动态障碍物影响：视距（LoS）条件下传输速率显著高于非视距（NLoS）条件，随机阻塞模型有效模拟动态障碍物，使算法能自适应调整调度与卸载决策。

研究结论：本文提出PAW-DDPG算法，通过状态归一化、KNN初始预填充、混合噪声探索、EMA自适应权重及PER采样，显著提升了UAV辅助MEC系统中用户调度、部分任务卸载与无人机轨迹联合优化的稳定性、收敛速度与整体性能。仿真结果验证了所提算法在不同场景下均优于基线算法，实现了延迟与能耗的有效平衡。未来工作可扩展至多无人机场景，结合更真实移动模型，并集成软演员-评论家（SAC）与双延迟深度确定性策略梯度（TD3）等先进DRL算法，以及对比元启发式优化方法。