基于伙伴模型的分层强化学习在分布式多智能体协作中的应用

《IEEE Transactions on Parallel and Distributed Systems》：Hierarchical Reinforcement Learning with Partner Modeling for Distributed Multi-agent Cooperation

HERO针对多智能体强化学习中的高维连续动作空间和非平稳策略问题，提出分层分布式框架，通过分层策略分解、伙伴建模网络及多车测试平台，实现高效协作学习与更优收敛性能，仿真和实车测试碰撞率低至0.09。

　　

摘要：

许多现实世界中的应用都可以被构建为多智能体合作问题，例如网络数据包路由和自动驾驶车辆的协调。深度强化学习（DRL）的出现为通过智能体与环境的互动实现多智能体合作提供了一种有前景的方法。然而，传统的DRL解决方案在策略搜索过程中会遇到多智能体具有连续动作空间这一高维度问题。此外，智能体策略的动态性使得训练过程变得非平稳。为了解决这些问题，我们提出了HERO，这是一种分布式分层强化学习方法，通过将整体策略分层分解为多个子策略来减少训练时间并提高模型性能。一方面，可以在高层离散动作空间中高效地学习多智能体的协作；另一方面，低层的个体控制可以简化为单智能体强化学习。此外，我们还引入了一个伙伴建模网络，以在学习过程中有效地捕捉和模拟其他智能体的策略。最后，我们开发了一个现实世界的多车辆测试平台，并在一系列协作变道场景中对HERO进行了评估。仿真和现实世界实验均表明，我们的方法能够实现更低的平均碰撞率（0.09），并且收敛速度比其他基线方法更快。