客户端-服务器多智能体深度强化学习在移动边缘计算中的任务卸载应用

《ACM Transactions on Autonomous and Adaptive Systems》：Client-Master Multiagent Deep Reinforcement Learning for Task Offloading in Mobile Edge Computing

移动边缘计算中任务卸载算法的研究：针对现有DRL算法未充分考虑用户设备与服务器异构资源约束问题，提出客户端-主代理MADRL（CMMADRL）框架，通过分布式决策优化资源分配，实验表明性能提升59%。

　　

摘要

随着移动应用程序复杂性的增加，执行计算密集型任务的需求也在不断增长。然而，用户设备（如平板电脑和智能手机）在执行所需计算时的能力有限。在移动边缘计算（MEC）中通过任务卸载可以满足这一需求，即在用户设备和服务器之间分配任务。深度强化学习（DRL）是实现这一策略的一种有前景的方法，因为它能够适应动态变化并最小化在线计算复杂性。然而，用户设备和MEC服务器上存在的各种连续性和离散性资源限制对高效DRL算法的设计构成了挑战。现有的基于DRL的任务卸载算法主要关注用户设备的限制，同时假设服务器上有足够的资源。此外，现有的多智能体DRL（MADRL）任务卸载算法采用同质智能体模型，并将同质性限制作为奖励函数中的惩罚因素。我们提出了一种新颖的客户端-服务器MADRL（CMMADRL）算法，用于MEC中的任务卸载：该算法允许用户设备上的客户端智能体决定自身的资源需求，而服务器上的主智能体根据客户端的决策进行组合式操作选择。实验表明，CMMADRL的性能比现有的基准算法和启发式算法提高了高达59%。