基于重叠联盟形成的非合作博弈与多智能体强化学习相结合的无人机辅助资源分配系统

《IEEE Transactions on Sustainable Computing》：Overlapping Coalition Formation-enabled Noncooperative Game-combined Multi-agent DRL for UAV-assisted Resource Allocation

本文提出一种多重叠联盟非合作博弈模型，用于无人机资源分配优化。通过建立耦合资源约束的优化模型，设计任务优先级激励机制，并采用MAOPPPO算法实现纳什均衡。仿真结果显示，该模型在平均奖励、吞吐量和资源贡献方面分别比基线提升4.59%、66.67%和62.99%，同时降低能耗。

　　

摘要：

联盟形成（Coalition Formation, CF）游戏作为一种开创性的框架，用于管理配备有各种类型互补资源的无人驾驶飞行器（UAV）的资源分配。然而，在复杂的多UAV场景中，允许重叠的合作CF行为以及联盟间的竞争行为都会显著影响系统性能。在本文中，我们提出了一种多重叠联盟（Multiple Overlapping Coalitions, MOC）非合作游戏模型。首先，我们建立了一个包含耦合资源约束的优化模型；随后，设计了一种基于任务优先级的激励机制以更好地调动参与者的积极性。为了达到纳什均衡（Nash equilibrium），我们提出了一种结合资源粒度放松和微调的两步解决技术。我们提出了MOC非合作游戏与多智能体近端策略优化（Multi-agent Proximal Policy Optimization, MAOPPPO）相结合的方法。仿真结果表明，在800个训练周期后，我们的方法在平均奖励方面优于其他五种最先进的学习对策，提升幅度高达4.59%。在吞吐量方面，与CF非合作游戏、非CF非合作游戏以及基于共识的算法相比，所提出的MOC非合作游戏的吞吐量分别提高了66.67%、93.68%和11.76%；在总资源贡献方面，提升幅度分别为62.99%、94.59%和23.16%。此外，能源效率分别提高了6.82%、23.68%和4.78%，优于其他三种基准方法。