迷你版《王者荣耀》：一个适用于多智能体强化学习的环境

《IEEE Transactions on Games》：Mini Honor of Kings: A Lightweight Environment for Multiagent Reinforcement Learning

多智能体强化学习（MARL）研究受限于游戏环境的定制性不足、计算需求高及任务简化问题，本文开发《王者荣耀》轻量级环境Mini HoK，验证当前MARL算法尚未超越基于规则策略，并促进社区方法优化。

　　

摘要：

游戏被广泛用作多智能体强化学习（MARL）的研究环境，但它们存在三个主要挑战：定制性有限、计算需求高以及过度简化。为了解决这些问题，我们为流行的手机游戏《王者荣耀》推出了首个公开可用的地图编辑器，并设计了一个轻量级环境——Mini Honor of Kings（Mini HoK），供研究人员进行实验。Mini HoK运行效率极高，可以在个人电脑或笔记本电脑上运行实验，同时仍能为现有的MARL算法提供足够的挑战。我们已经对常见的MARL算法进行了测试，结果表明这些算法尚未超越基于规则的策略的性能，这表明当前的MARL方法还无法解决该环境中的问题。这有助于在研究社区内推广和推进MARL方法的发展。此外，我们希望更多的研究人员能够利用《王者荣耀》的地图编辑器来开发具有创新性和科学价值的新地图。

引言

在许多现实世界场景中，协作式多智能体系统至关重要，因为这些系统中的智能体会共同完成任务并实现团队累计奖励的最大化。[1],[2]。强化学习技术[3],[4],[5]的出现推动了多智能体强化学习（MARL）在多个领域的进展，包括自动驾驶车辆[6]、交通信号灯控制[7]、机器人技术[8]和智能电网[9]。然而，对于算法研究而言，游戏仍然是最常用的MARL实验环境。