结合可测量任务表示学习的课程强化学习

《Neural Networks》:Curriculum Reinforcement Learning with Measurable Task Representation Learning

【字体: 大 中 小 】 时间:2026年04月27日 来源:Neural Networks 6.3

编辑推荐:

  自动课程生成方法ACRL通过任务表示学习将非欧几里得任务空间映射到潜在空间,利用变分自编码器编码奖励和状态转移,实现任务相似度度量与自动课程生成,实验表明其优于插值法和GAN方法。

  
作者:温永艳、李思远、傅明建、杨一勤、王迅、刘鹏
哈尔滨工业大学,中国黑龙江省哈尔滨市,150001

摘要

在课程强化学习(CRL)中,智能体通过一系列任务逐步积累知识,学习过程旨在利用这些知识最终解决具有挑战性的目标任务。早期的CRL研究侧重于任务序列的编排,而近期研究则探索了自动课程生成的方法。在丰富的CRL文献中,基于插值的CRL范式是一个主要方向,它通过在使用有意义距离度量(即能够衡量任务相似性的度量)的情况下,在初始任务分布和目标任务分布之间自动生成中间任务。然而,在具有挑战性的导航任务中,非欧几里得背景(任务)空间使得这一假设不再成立。为了在复杂任务中实现自动课程生成,我们提出了一种基于可测量任务表示学习的新型自动课程生成方法。为了更好地衡量任务相似性,我们建议将任务空间转换为潜在空间。通过使用变分自编码器结构对奖励和状态转换进行编码,我们获得了具有任务相似性度量属性的潜在任务表示,两个接近的任务嵌入在奖励和状态转换方面是相似的。基于学习到的任务表示,我们进一步开发了一种自动课程生成方案,能够生成与目标任务越来越相似的新任务。我们在多种具有挑战性的导航任务中评估了我们的方法,实验结果表明,所提出的方法优于基于插值和生成对抗网络的现有CRL方法。

引言

强化学习(RL)作为一种有前景的学习范式,在具有挑战性的序列决策任务中得到了广泛应用,包括玩视频游戏(Mnih等人,2015年)、下棋(Silver等人,2018年)和机器人手控(Akkaya等人,2019年;DeFazio等人,2023年;Zhu等人,2019年;Zhuang等人,2023年)等应用。然而,处理具有稀疏奖励的长视距任务是一个挑战,因为智能体必须执行一系列正确的动作才能获得正面奖励,这使得探索在实践中变得困难。例如,在迷宫环境中,智能体只有在到达目标位置时才能获得正面奖励。为了解决这个问题,课程强化学习(CRL)(Narvekar等人,2020年)使智能体能够在难度逐渐增加的任务序列(课程)中学习,积累知识,并最终解决具有挑战性的目标任务。
课程学习(Bengio等人,2009年)通过将学习样本按有意义的顺序排列来加速困难任务的学习过程。例如,在视频游戏中,玩家通常从简单的初学者级别开始。随着游戏的进行,级别逐渐变得更加具有挑战性。与难度逐渐增加的级别序列不同,直接面对和克服最困难的级别可能会非常困难。类似地,在CRL中,策略最初在简单任务上训练,然后逐步转移到更复杂的任务上,逐步增加任务难度或环境复杂性。由于CRL方法能够在任务序列中积累知识并将其转移到新任务中,因此CRL方案可以逐渐学习出解决具有挑战性目标任务的策略,而这对于从零开始学习的方法来说是不可行的。
CRL中的一个关键问题是自动课程生成。一个理想的课程可以指导智能体有效地自主练习中间任务并解决目标任务,而一个糟糕的课程可能太简单、太困难或与目标任务无关。然而,如何为给定环境生成课程尚不确定,这导致了各种旨在自动化这一过程的方法的出现。一种流行的自动课程生成范式是任务分布插值(Huang等人,2022年;Klink, Abdulsamad, Belousov, D’Eramo, Peters, Pajarinen, 2021年;Klink, Abdulsamad, Belousov, Peters, 2020a;Klink, D’Eramo, Peters, Pajarinen, 2020b;Klink, Yang, D’Eramo, Peters, Pajarinen, 2022年)。基于任务插值的方法通过在当前任务分布和目标任务分布之间插值来生成新任务,并期望生成的新任务与目标任务更相似。具体来说,插值的距离度量是KL散度(Klink, Abdulsamad, Belousov, Peters, 2020a;Klink, D’Eramo, Peters, Pajarinen, 2020b)或Wasserstein距离(Huang等人,2022年;Klink等人,2022年)。当上下文(任务)空间中的距离能够衡量任务难度时,这些方法在实验中表现良好。然而,它们假设任务之间的距离可以通过欧几里得距离度量来衡量,这在具有复杂几何结构的环境中可能会遇到限制。例如,如图1所示,在一个简单的迷宫中,从初始位置到目标的直线路径可能会被墙壁阻挡,从而使中间任务变得不可行。
为了克服CRL中的上述挑战,我们通过将上下文空间转换为可测量的潜在空间来估计任务相似性。我们提出了基于自动课程表示学习(ACRL)的新型自动课程生成方法。由于任务是用马尔可夫决策过程表述的,我们建议通过状态转换和奖励来衡量任务之间的相似性。因此,我们提出了一种变分自编码器(VAE)(Kingma和Welling,2013年)任务表示学习方法,该方法将不同任务中收集的轨迹编码到潜在空间中作为嵌入,解码器将这些嵌入恢复到下一个状态和奖励。在提出的方法中,潜在空间表示(嵌入)能够衡量任务相似性。此外,一个额外的任务解码器将嵌入映射回上下文空间,以便我们可以生成新任务并处理参数化和经验分布。通过同时使用策略进行学习,我们可以生成从源(初始)分布到目标的中间任务分布,从而形成课程。最后,由于我们的方法用于生成RL智能体训练的课程,因此它与任何现有的RL算法兼容,例如PPOSchulman等人(2017年)和SACHaarnoja等人(2018年)。最后,我们注意到ACRL假设一个参数化的上下文空间,其中每个上下文都由环境的数值参数表示。这一假设确保了上下文可以嵌入到潜在空间并通过任务解码器重建。我们的主要贡献如下:1.
我们提出了ACRL,一种自动课程RL框架,它在源任务分布和目标任务之间生成中间任务分布。为了促进课程的自动生成并实现更平滑的中间分布,我们使用任务表示将上下文映射到潜在空间,确保了更无缝的度量。
  • 2.
    我们提出了一种任务表示学习方法,用于衡量任务相似性。该方法能够将上下文空间映射到潜在空间,使其适用于包括非欧几里得度量在内的各种度量空间。
  • 3.
    通过实证演示,我们展示了与现有CRL基线相比,我们的方法在具有复杂几何结构的各种具有挑战性的导航任务上具有更高的学习效率和渐进性能。
  • 在第2节中,我们简要介绍了与我们的工作相关的背景和符号。然后,在第3节中,我们讨论了相关工作。接下来,在第4节中,我们详细阐述了我们的方法论和实现细节。在第5节中,我们展示了我们的实验结果,通过与基线的比较证明了我们方法的有效性。最后,在第6节中,我们总结了我们的工作,提出了结论,并讨论了某些限制和未来研究的潜在方向。

    背景

    上下文强化学习(Hallak等人,2015年)是基本RL问题的扩展。与单任务RL相比,上下文马尔可夫决策过程(CMDP)将马尔可夫决策过程(MDP)的范围扩展到了多任务设置。在这项研究中,我们关注一个折扣的有限视距CMDP,它可以表示为一个元组:
    M=(S, C, A, R, P, p0, ρ, γ, HSAR:S×A×C?R
    在这里,S是状态空间,C是动作空间,R:S×A×C?R

    课程强化学习

    课程学习旨在提高困难任务的学习效率,并已在各种应用中取得成功(Bengio等人,2009年;Sutskever等人,2013年)。在RL领域,课程提高了学习效率,并有助于解决更具挑战性的任务(Narvekar等人,2020年)以及转移策略以处理以前未见过的任务(Narvekar等人,2020年)。

    基于任务表示学习的课程生成

    在本文中,我们的目标是从初始任务分布和目标任务构建中间任务分布。第4.1节描述了用于任务表示学习的技术。第4.2节介绍了基于这种表示学习的自动课程生成方法。最后,第4.3节提供了该方法的实现细节。

    实验

    在本节中,我们通过评估几个实验来回答以下问题:1)ACRL能否提高强化学习的学习效率?2)ACRL在提高RL性能方面与现有基线算法相比如何?3)ACRL在训练过程中可以生成什么样的课程任务分布?
    为了回答第一个和第二个问题,我们对各种广泛使用的RL任务进行了算法评估,并将其性能与现有算法进行了比较

    结论

    在这项工作中,我们介绍了ACRL,这是一种新颖的课程RL框架,旨在根据策略学习过程生成中间任务并加速目标任务的学习效率。利用任务表示学习的能力,我们编码了策略为特定任务采样的轨迹,以获得具有可测量任务相似性的任务表示。通过这些任务表示,我们可以估计任务之间的相似性和探索

    CRediT作者贡献声明

    温永艳:撰写——原始草稿、可视化、验证、软件、资源、方法论、调查、形式分析、数据整理、概念化。李思远:撰写——审阅与编辑、监督、概念化。傅明建:撰写——审阅与编辑。杨一勤:撰写——审阅与编辑。王迅:撰写——审阅与编辑。刘鹏:撰写——审阅与编辑、监督、资金获取。

    利益冲突声明

    作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。

    致谢

    我们感谢国家自然科学基金重点计划(项目编号:62306088)、黑龙江省自然科学基金(项目编号:YQ2024F007、2024QNRC001、YESS 20240415)以及Songjiang实验室(项目编号:SL20230309)对这项工作的支持。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号