基于置换等变深度强化学习的移动边缘计算混合资源调度与服务迁移方法

《Scientific Reports》：Permutation-equivariant deep reinforcement learning for resource management and service migration in mobile edge computing

　　

摘要

移动边缘控制器需要在用户之间分配计算和频谱资源，决定每个任务在何处运行，并随着设备移动而在站点之间迁移用户服务。我们将这三个决策视为一个受约束的马尔可夫决策过程，并使用EA-DDPG对其进行求解。该智能体是一个深度确定性策略梯度（DDPG）学习器，其演员（actor）和评论家（critic）网络具有置换等变性。每个用户仅有一个共享的输出头，跨用户复用，同时读取该用户自身的特征以及汇聚后的站点级和系统级上下文信息。因此，参数数量不随用户数量变化，架构可在任意系统规模下无需修改地进行训练。此外还有两个要素将该智能体与常规的DDPG应用区分开来。动作空间混合了连续的CPU和带宽份额以及离散的卸载和迁移决策，我们通过一个确定性解码器将其处理：将单一有界连续向量转换为可行控制量。各站点的容量约束由此自动满足，无需额外惩罚项。服务迁移本身也是一个独立的决策变量，执行迁移会给智能体带来状态转移延迟、中断以及传输能耗，这些成本均计入奖励函数。我们在一个采用随机航点移动模型、泊松任务到达和云侧广域网带宽及CPU池随负载增加而拥塞的时隙化移动边缘模拟器上进行评估。与五种在相同条件下训练的学习基线（包括仅在编码器上与本文方法不同的传统扁平MLP DDPG）相比，EA-DDPG完成速度快78%至98%，超时率降低51%至58%。两个指标的改善均达到十次种子精确检验所能产生的最小p值\(1.1\times10^{-5}\)，两组实验结果完全分离。与一种强手工调优启发式方法相比，结果并非全面胜出，而是各有所得：学习策略能耗降低53.5%，奖励高8.2%，两项均通过多重比较校正后仍然显著；但超时比例相同，且平均耗时增加11.3%。这一劣势是本方法固有的，且同样通过校正后仍然显著。消融实验分离了各组件的贡献，其中包括按优先级类别的分析，表明优先级机制使高优先级任务完成时间减半，而总体超时率保持不变。从10到100用户的规模扫描揭示了两种可缩放性：参数量和每时隙推理时间在范围内保持平稳，但在固定训练预算下策略质量随规模下降，且超过约40用户后启发式方法反超学习策略。一项零样本迁移实验揭示了原因。由于编码器参数不依赖于用户数量，在40用户下训练的策略可直接应用于100用户场景，且表现优于在100用户下直接训练的策略；这一限制源于样本复杂度而非表示能力本身。训练诊断表明，扁平网络失败的原因是评论家崩塌、演员梯度大一个数量级，以及由此导致的37%动作坐标饱和。