离策略强化学习中基于可约策略熵的经验回放

《Neurocomputing》：Experience replay based on reducible policy entropy in off-policy reinforcement learning

　　**摘要**在离策略强化学习中，经验回放在训练过程中起着至关重要的作用。传统的优先经验回放（PER）利用时间差（TD）误差作为优先级概率，对经验进行非均匀采样。然而，该方法可能会错误评估经验并选择噪声数据点。这是因为高TD误差可能意味着智能体存在高不确定性。在本文中，我们提出了一种新颖的方法——基于可约策略熵的经验回放（ReEnt），用于对样本进行优先级排序。我们提出了可约策略?（RPE），一个具有信息论动机的度量指标，用于评估每个转移在策略侧的信息量。借助RPE，我们的方法帮助智能体更快地找到最优策略，并减少了TD误差估计带来的噪声。在连续和离散控制环境中的实验表明，ReEnt优于最先进的采样方法，并对更具影响力的经验进行优先排序。**引言**多年来，强化学习（RL）在各种任务中取得了显著的成功，如游戏[1]、[2]、机器人控制[3]、自动驾驶[4]和管理系统[5]。离策略方法要求在用于训练之前将观察到的转移存储在经验回放缓冲区中[6]。因此，与监督学习相比，离策略强化学习在利用数据方面面临挑战，因为经验回放的容量通常有限。由于这些限制，一些经验可能在智能体充分利用其潜在影响之前就被丢弃了。此外，经验回放中存储的所有经验对网络训练并非同样有效[7]。因此，合理利用经验是离策略强化学习面临的一项重大挑战。为了更好地利用存储的经验，人们提出了一种新的非均匀采样方法，着重于基于损失来选择经验[8]。作为第一种采用非均匀采样的方法，优先经验回放（PER）[8]利用时间差（TD）误差对经验进行优先级排序，并取得了显著的成功[9]、[10]。然而，PER引入了一些缺点，因为某些具有高TD误差的经验可能并不会对智能体有益[11]。具体来说，在演员-评论家方法中，高TD误差可能意味着网络具有高度不确定性，这使智能体难以找到最优动作[12]。此外，具有高TD误差的经验可能对智能体来说意味着噪声信号[13]。许多采样方法通过有效地对更重要的经验进行优先级排序来增强强化学习算法。然而，大多数此类方法如PER和Relo主要依赖损失来估计经验的影响力，这可能会给智能体带来不确定性和噪声。受信息论在强化学习中取得成功的启发[14]、[15]、[16]，尤其是熵在量化不确定性和引导探索方面的作用[17]、[18]，我们提出了一种基于信息论的新度量指标来对经验进行优先级排序，并纠正由TD误差做出的错误评估。在本文中，我们提出了一种新的采样方法，称为基于可约策略?的经验回放（ReEnt）。具体来说，我们引入了可约策略?（RPE）作为评估经验优先级的信息论驱动度量指标。借助RPE，ReEnt帮助智能体更快地发现最优策略并减少TD误差引起的噪声。本文的贡献可总结如下：- 我们提出了RPE，一种具有信息论动机的度量指标，用于测量动作分布不确定性在状态间的演化，为传统的基于TD误差的优先级排序提供了补充视角。- 我们开发了一种新的采样方法ReEnt，为具有高TD误差和高RPE的样本分配高优先级，从而促进更快的策略学习并减少TD误差估计带来的噪声。- 我们在DMC和ALE基准上进行了广泛的实验，证明我们的方法优于最先进的方法，并在不增加计算复杂度的情况下提高了采样效率。本文其余部分的组织结构如下。第3节介绍预备知识。第4节讨论所提出的ReEnt算法。第5节展示实验结果，第6节总结全文。**章节摘要***离策略算法*离策略算法引入了一个与行为策略不同的目标策略，用于策略评估。大多数离策略算法都涉及目标网络和经验回放[19]、[20]。借助目标网络和经验回放，离策略算法可以轻松利用由其他策略生成的数据进行训练。离策略算法的典型例子是软演员-评论家（SAC），它采用软更新方法并将策略熵纳入累积奖励中。*马尔可夫决策过程*典型的强化学习问题使用马尔可夫决策过程（MDP）来建模，由一组状态、一组动作、一个转移函数和一个奖励函数定义。强化学习的目标是学习一个最优策略，通过最大化期望折扣累积奖励，其中γ是折扣因子，r是时间步t的真实值奖励。动作价值方法通过学习价值函数来获得策略，该函数表示在状态s采取动作a所获得的期望回报。价值...*可约策略?*尽管PER在经验优先级排序方面取得了成功，但它仍然存在一定的局限性，因为PER仅使用RL损失来衡量经验的重要性。在演员-评论家方法中，演员网络无法有效利用具有大TD误差的经验进行训练[12]、[28]。这是因为当TD误差较大时，评论家网络对未来奖励存在不确定性，使得难以引导演员网络选择最优动作。作为PER的改进方法，ReLo...*实验*我们在多种不同的连续和离散控制任务上评估了ReEnt的性能。*结论*在本文中，我们介绍了一种新颖的经验回放方法，称为基于可约策略?的经验回放（ReEnt）。在ReEnt中，我们引入了一个具有信息论动机的度量指标——可约策略?（RPE），用于计算经验的采样概率。借助RPE，ReEnt可以帮助智能体纠正一些错误，并更快地识别真正的最优动作。此外，我们证明了ReEnt隐式地最大化了隐藏...之间的互信息。*CRediT作者贡献声明***金杰杨：** 撰写——初稿，可视化，验证，软件，方法论，调查，数据整理，概念设计。**侯文斗：** 撰写——初稿，可视化，验证，方法论，形式化分析，概念设计。**卢娟党：** 撰写——审阅与编辑，监督，项目管理，形式化分析，概念设计。**梁军陈：** 撰写——审阅与编辑，监督，形式化分析。**巴冬陈：** 撰写——审阅与编辑，监督，形式...**利益冲突声明**作者声明他们没有已知的竞争财务利益或个人关系，这些利益或关系可能影响本文所报告的工作。**致谢**本工作由中国国家重点研发计划（2023YFB4704900）和国家自然科学基金（U21A20485）支持。**作者简介****金杰杨**于2024年获得西安交通大学人工智能与机器人学院学士学位。他目前在西安交通大学人工智能与机器人学院攻读硕士学位。他的当前研究兴趣聚焦于强化学习和机器学习。金杰杨|侯文斗|卢娟党|梁军陈|巴冬陈