EvoRL：一个基于GPU加速的进化强化学习框架

《ACM Transactions on Evolutionary Learning and Optimization》：EvoRL: A GPU-accelerated Framework for Evolutionary Reinforcement Learning

本框架通过GPU加速和分层并行优化，解决了进化强化学习的高计算成本问题，支持大规模种群训练，并集成多种算法模块，提供模块化架构和公平基准测试。

　　

摘要

进化强化学习（EvoRL）通过将进化计算（EC）范式与强化学习（RL）相结合，成为一种克服传统强化学习局限性的有前景的方法。然而，EC基于种群的特性显著增加了计算成本，从而限制了在大规模环境中的算法设计选择和可扩展性。为了解决这一挑战，我们推出了EvoRL，这是第一个针对GPU加速进行优化的端到端EvoRL框架。该框架在整个训练过程中都在加速器上执行，包括环境模拟和EC过程，通过向量化及编译技术实现层次化并行处理，从而大幅提升训练速度和可扩展性。这种设计使得在单台机器上高效训练大规模种群成为可能。除了注重性能外，EvoRL还提供了一个全面的EvoRL研究平台，涵盖了传统RL算法（如A2C、PPO、DDPG、TD3、SAC）、进化算法（如CMA-ES、OpenES、ARS）以及混合EvoRL范式（如进化引导的RL（ERL、CEM-RL）和基于种群的自动强化学习（PBT）的实现。该框架的模块化架构和用户友好的界面使研究人员能够轻松集成新组件、定制算法，并进行公平的基准测试和消融研究。该项目是开源的，可在以下链接获取：https://github.com/EMI-Group/evorl。