基于多智能体强化学习的动态车辆网络中任务卸载机制：考虑空闲资源及部分信息的影响

《IEEE Transactions on Network Science and Engineering》：Multi-Agent Reinforcement Learning based Idle-Aware Task Offloading in Dynamic Vehicular Networks with Partial Information

边缘计算在车联网中面临动态传输率、资源限制和信息共享约束，本文基于博弈论提出idleness-aware边缘服务器，结合GRU预测模型与注意力机制，构建随机博弈和马尔可夫决策过程模型，创新性采用DNC与A2C框架的MATO算法，有效提升卸载效用和收敛速度。

　　

摘要：

边缘计算为车辆网络中的任务卸载提供了低延迟的计算服务。然而，动态传输速率、资源限制和信息共享约束等挑战阻碍了高效的任务卸载。很少有研究在设计动态卸载策略时同时考虑这些问题，这通常导致系统效用不佳。本文旨在从博弈论的角度出发，通过一个能够感知车辆空闲状态的边缘服务器（ES）来实现高效的车辆任务卸载。我们提出了一种带有注意力机制的门控循环单元（GRU）预测模型，以引导车辆前往最近的空闲ES。卸载决策过程被建模为一个随机博弈，并证明了纳什均衡（NE）的存在。此外，我们还将该过程建模为一个多智能体部分可观测马尔可夫决策过程（POMDP），以考虑车辆之间信息获取的局限性。为了解决POMDP问题并实现接近最优的纳什均衡，我们引入了一种基于多智能体强化学习（MATO）的任务卸载算法，该算法结合了可微分神经计算机（DNC）和优势演员-评论家（A2C）框架。DNC的外部存储器存储了过去信息的结构化表示，从而能够更深入地探索策略空间。调整奖励表示方式提高了训练效率。基于真实世界数据集的实验结果表明，与现有方案相比，MATO有效地提升了计算卸载的效用，并加快了收敛速度。