使用演化策略和线性策略网络解决深度强化学习任务

《ACM Transactions on Evolutionary Learning and Optimization》：Solving Deep Reinforcement Learning Tasks with Evolution Strategies and Linear Policy Networks

　　

摘要AI 摘要

要查看此 AI 生成的摘要，您必须拥有高级访问权限。

了解更多登录

摘要

摘要

尽管深度强化学习方法可以为具有挑战性的问题学习出有效的策略，但底层算法十分复杂，且训练时间通常较长。本研究探讨了多种前沿版本的演化策略在性能上相较于基于梯度的深度强化学习方法的表现如何。我们利用演化策略通过神经演化来优化神经网络的权重，执行直接策略搜索。我们对基于梯度的方法（包括近端策略优化、软演员-评论家和深度 Q 学习）的深层和线性策略网络进行基准测试，并将其与线性演化策略和增强随机搜索进行对比评估，此外还与适用于更深策略的可扩展演化策略（如 LM-MA-ES）进行了对比。我们的结果表明，演化策略能够在许多强化学习基准任务中找到有效的线性策略，而深度强化学习方法只有使用大得多的网络才能找到成功的策略，这表明当前的基准任务比先前认为的更容易解决。线性演化策略的表现也优于在更大神经网络上训练的可扩展演化策略变体。有趣的是，演化策略不使用任何梯度信息，但在更高复杂度的任务中也取得了与基于梯度的深度强化学习算法相当的结果。此外，通过直接访问游戏内存状态，演化策略能够在 Atari 中找到成功的策略，其表现优于深度 Q 学习所找到的策略。演化策略在大多数基准测试中也优于增强随机搜索，展示了在训练线性策略网络时更高的样本效率和更强的鲁棒性。

AI 摘要

AI 生成摘要（实验性）

本摘要由自动化工具生成，未经本文作者撰写或审阅。它旨在支持发现、帮助读者评估相关性，并协助相邻研究领域的读者理解该工作。本摘要旨在补充作者提供的摘要，后者仍是论文的主要摘要。全文仍然是权威的正式记录版本。点击此处了解更多。

点击此处对本摘要的准确性、清晰度和实用性提出意见。这有助于信息改进和未来的重新生成版本。

要查看此 AI 生成的简明摘要，您必须拥有高级访问权限。