在多用户MEC系统中，利用强化学习实现成本最优的周期性DAG结构化任务卸载

《ACM Transactions on Internet Technology》：Cost-Optimized Periodic DAG-Structured Task Offloading in Multi-User MEC Systems Using Reinforcement Learning

该研究利用强化学习优化多用户MEC系统中周期性DAG任务的卸载，通过动态分布式PPO框架解决高维状态和动作空间带来的学习复杂度问题，采用编码器降维和行为克隆初始化加速收敛，有效降低设备能耗与服务器计算费用，仿真验证其性能优于现有基线。

　　

摘要

强化学习（RL）作为一种有前景的任务卸载解决方案，因其能够适应动态环境并减少在线计算开销而受到关注。本文探讨了在多用户移动边缘计算（MEC）系统中利用RL优化周期性有向无环图（DAG）任务卸载的方法，旨在最小化总体成本，包括用户设备能耗和服务器计算费用。本研究的一个关键贡献是对用户对有限边缘资源的竞争进行了明确建模：并发访问会导致动态竞争，从而显著影响卸载延迟和能耗。然而，这一优化任务面临两个主要挑战：任务状态的高维性和庞大的动作空间，这两者都会增加学习复杂性。为了解决这些问题，我们提出了一个基于动态分布式近端策略优化（PPO）的卸载框架。我们使用编码器将DAG节点特征和结构信息映射到低维表示中，从而降低计算开销并提高学习效率。此外，我们还引入了行为克隆机制，使PPO代理的初始行为类似于贪婪策略，有效缩小了动作空间并加速了收敛过程。通过结合表示学习和基于模仿的初始化方法，我们的方法使PPO代理能够快速适应环境动态，同时利用先验知识和实时反馈来做出明智的卸载决策。仿真结果证实，我们的方法实现了快速收敛，并在成本降低方面优于现有基线算法，证明了其在MEC场景中处理周期性任务卸载的有效性。源代码和实现细节可在以下链接获取：https://github.com/xiaolutihua/GAT/tree/master