《Neurocomputing》:Enhancing deep reinforcement learning through fuzzy reward granulation: A strategy for reducing agent-environment interactions
编辑推荐:
本研究提出基于模糊奖励粒化的方法,通过评估回放缓冲区中状态-动作对的相似性形成模糊粒子,减少智能体与环境交互。实验在DQN、PPO等算法和11个基准环境中验证,结果显示该方法降低交互次数同时提升学习效率和效果,但需精细参数校准。
Mahdi Soltani-Nejad | Sayed Mohammad Mousavi Gazafrudi | Hossein Nezamabadi-pour
伊朗伊斯兰共和国德黑兰伊朗科学技术大学铁路工程学院电气工程系
摘要
强化学习作为一种基于智能体与其环境之间互动的学习范式,通过从这些互动中获得的反馈来促进学习过程并改善智能体的行为。然而,这些互动也带来了一些挑战,如时间成本、在现实世界环境中操作的风险以及数据缺失的问题。在这项研究中,为了减少智能体与环境的互动,提出了一种基于模糊奖励粒化的方法。该方法通过评估重放缓冲区中成员之间的相似性来形成模糊粒化。每个新的互动要么与这些粒化之一相似,要么被定义为一个新的模糊粒化的中心。微调模糊相似性的程度可以在减少互动和探索环境之间取得平衡。通过对包括DQN、DDQN、DuelingDQN、PPO和SAC在内的多种深度强化学习算法进行实验,对该方法进行了评估。这些算法被用于解决11个基准环境问题,涵盖了离散和连续的动作空间,以全面评估该方法的性能和适应性。随后,使用Mann-Whitney U检验来评估使用所提方法训练的智能体与使用基线方法训练的智能体在性能上的统计显著差异。评估结果表明,所提方法不仅减少了智能体与环境的互动,还提高了学习效率和效果。这种改进需要仔细且精确地校准所提方法中引入的参数。
引言
强化学习(RL)作为一种强大的机器学习范式,使智能体能够通过与环境的试错互动来获得决策策略。通过最大化累积奖励,RL为序列决策提供了一个灵活的框架,并在机器人技术、自动驾驶、医疗保健、金融和物流等领域取得了显著的成功[1]、[2]。将深度学习整合到RL中(称为深度强化学习DRL),进一步扩展了其能力,使其能够解决以前无法解决的高维和复杂问题。这些进展将RL从理论基础带到了实际应用中。例如Deep Q-Network(DQN)在Atari游戏中的成功[3],以及其变体Double DQN(DDQN)和Dueling DQN[4]、[5],以及更复杂的算法如异步优势演员-评论家(A3C)[6]、深度确定性策略梯度(DDPG)[7]、近端策略优化(PPO)[8]和Soft Actor-Critic(SAC)[9],显著提高了DRL的稳定性和效率。这些进步为解决各种领域中更复杂和实际的问题铺平了道路[2]、[10]、[11]、[12]。
尽管RL取得了显著成就,但仍存在一些根本性挑战,阻碍了其在安全关键和资源受限环境中的应用。其中一个最严重的问题是训练时间成本。学习有效的策略通常需要与环境进行数百万次互动,这导致训练时间极长且计算需求高。例如,通过直接RL训练机器人系统通常需要数小时到数天的连续模拟或实际执行,这在需要快速适应的场景中是不切实际的。
第二个主要挑战是安全性。由于RL智能体通过试错进行探索,它们的探索行为在部署到自动驾驶汽车或外科手术机器人等物理系统中时可能会不安全或不可行。在这种情况下,现实世界中的探索可能导致碰撞、故障,甚至对人类使用者造成危险。因此,训练往往必须依赖于模拟环境,这引发了关于学习策略能否转移到现实世界的额外担忧。
另一个困难来自信息不完整或不确定。在许多实际应用中,环境可能无法提供完整的状态信息,或者数据可能存在噪声或缺失。在这种情况下,RL智能体的性能可能会大幅下降。估计或插补缺失数据会引入额外的复杂性和计算成本,即使是很小的不准确性也可能随着时间的积累而导致次优或不安全的行为。这些挑战共同表明,在现实世界环境中实现高效、安全和可靠的RL仍然是一个未解决的问题[13]、[14]。
已经提出了几种方法来缓解这些挑战。离线RL和经验回放方法旨在通过利用存储的轨迹来减少昂贵的现实世界互动次数。并行化策略使用多个智能体来加速训练,但并不直接解决安全性或不确定性问题。基于模型的RL试图模拟环境以减少互动,但学习复杂系统的准确模型本身在计算上要求高且容易出错。风险意识策略,如鲁棒RL或安全探索,可以提高安全性,但往往以更长的训练时间或受限的探索为代价。虽然每种方法都提供了有价值的见解,但没有一种方法能够完全解决时间成本、安全性和数据不完整性的综合问题。这种差距激发了寻找可以在保持学习性能的同时减少对直接智能体-环境互动依赖的替代策略的探索。
为了解决这些限制,本文提出了一种新的方法,该方法通过将模糊逻辑[15]、[16]应用于奖励中,将模糊逻辑融入RL。模糊粒化建立了状态-动作对之间的相似性,使得可以用来自模糊粒化的信息近似值来替代昂贵或不安全的互动[17]、[18]。通过这种方式,所提出的方法减少了总体互动负担,加速了学习过程,并减轻了与不安全探索相关的风险。此外,该方法自然地与依赖重放缓冲区的广泛DRL算法兼容,使其适用于离散和连续的动作空间。
本研究的主要贡献总结如下:
通过基于相似性的转换重用来减少直接智能体-环境互动:所提出的模糊奖励粒化(FRG)机制通过在检测到状态-动作对之间有足够的相似性时重用先前观察到的转换,减少了直接环境互动的频率。这降低了互动负担和计算成本,同时在环境动态中引入了可控的近似值。
通过寿命调节进行自适应粒化管理:每个模糊粒化都与一个寿命相关联,该寿命根据其使用情况更新。频繁重用的粒化被保留,而使用不足的粒化被移除。这种机制防止了粒化集的无控制增长,并在不引入额外模型学习开销的情况下保持了计算效率。
与基于重放缓冲区的DRL算法兼容:所提出的框架适用于依赖重放缓冲区的广泛离线策略DRL算法。由于FRG在转换级别上操作,因此可以将其集成到离散和连续的动作设置中,而无需修改底层学习目标。
这些贡献使得所提出的方法成为一种有效且可扩展的解决方案,用于提高现实世界学习挑战中的DRL性能。
相关工作
强化学习的基础源于行为主义心理学,特别是Thorndike和Skinner的有影响力的工作,它们强调了通过奖励和惩罚进行学习[19]。现代RL以迭代智能体-环境互动的形式继承了这一原则。然而,这种互动引入了挑战,包括时间成本、风险管理、数据缺失和安全性问题。
研究人员提出了各种方法来解决这些挑战。离线学习
提出的模糊奖励粒化
在上一节中,讨论了DRL中智能体与环境互动相关的挑战,并提出了各种解决方法。然而,每种方法都有其自身的局限性和问题。在本节中,将详细解释所提出的模糊奖励粒化(FRG)方法。该方法被提出作为克服其中一些挑战的潜在解决方案。通过利用模糊逻辑的原理,这种方法
实验
为了全面评估所提方法的性能并证明其有效性,使用了两类基准环境:具有离散动作空间的环境和具有连续动作空间的环境。这两类环境被认为是DRL领域的标准基准,可以全面详细地检验所提方法。此外,该方法还在几种DRL算法上进行了实现,以评估其增强能力
分析与讨论
为了深入理解所提方法并提供对实验结果的全面解释,第5节对FRG机制进行了扩展分析。本节探讨了FRG如何影响不同强化学习算法的学习稳定性、转换利用效率和策略更新动态。此外,还讨论了模糊粒化引入的计算权衡——例如相似性评估、转换替换等
结论
智能体与环境之间的互动是强化学习的基础,特别是对于探索和准确的价值估计而言。过度或冗余的互动可能会增加计算成本,而不会成比例地提高学习效果。所提出的模糊奖励粒化(FRG)方法通过选择性重用过去的状态-动作转换来解决这一挑战,从而在保持有效学习的同时减少了智能体-环境互动。
CRediT作者贡献声明
Mahdi Soltani-Nejad:撰写——审阅与编辑,撰写——原始草稿,方法论,调查。Sayed Mohammad Mousavi Gazafrudi:撰写——审阅与编辑,撰写——原始草稿,形式分析。Hossein Nezamabadi-pour:软件,项目管理。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。
Mahdi Soltani-Nejad博士毕业于伊朗德黑兰伊朗科学技术大学。他具有教学经验,并在同行评审的期刊和会议上发表了多篇研究论文。他的研究兴趣包括人工智能、优化和深度强化学习。