《Neurocomputing》:AutoTraj: Autoregressive trajectory synthesis for OOD task adaptation in offline meta-RL
编辑推荐:
离线元强化学习通过预收集多任务数据实现零样本适应,但存在静态数据覆盖不足和简单拼接政策架构不优的问题。本文提出融合超网络政策生成与自回归扩散轨迹合成的统一框架,前者通过特征提取与任务调制分离提升学习效率,后者基于条件扩散模型生成时序连贯的增强轨迹数据,二者协同实现鲁棒的任务表征学习与高效自适应控制。实验表明在稀疏奖励导航和复杂运动控制任务中,本方法显著优于现有基线。
李正伟|林振阳|陈宇柔|刘志勇
中国科学院大学(UCAS)人工智能学院,北京,100049,中国
摘要
离线元强化学习(OMRL)通过利用离线多任务数据集,为实现零样本适应提供了一条有前景的路径。然而,现有方法受到静态数据集覆盖范围有限的限制,通常无法适应分布外(OOD)任务。解决这一限制并非易事,因为它需要多样化的、时间连贯的数据来建立稳健的任务表示,以及能够高效泛化的自适应策略架构。受此启发,我们提出了一个统一框架,将基于超网络的自适应策略生成与新颖的自回归扩散轨迹合成机制相结合,以促进对OOD任务的有效零样本策略适应。具体而言,我们采用了一种超网络架构,该架构将通用特征提取与任务特定调制结构分离,以提高学习效率并实现任务特定控制。关键在于,由于这种自适应策略依赖于稳健的任务表示来生成OOD变化下的任务特定控制参数,我们利用条件扩散模型根据前一阶段的序列状态表示自回归地合成多样化、时间一致的轨迹。然后利用这些合成轨迹来改进任务表示的学习。广泛的实验表明,我们的方法显著提升了学习效率和零样本OOD适应性能,超越了现有的最佳基线。
引言
在现实世界场景中部署自主代理——例如自动驾驶[1]、[2]、[3]和复杂的机器人操控[4]、[5]、[6]——通常需要具备对干扰的鲁棒性和在变化条件下的有效协调能力。这些挑战激发了关于抗干扰无人机控制[7]、基于游戏的非线性多智能体系统强化学习反向传播[8]、专家知识辅助的群体机器人决策[9]以及在不确定性下的弹性微电网电压调节[10]的广泛研究。在这种情况下,零样本适应尤为重要,因为代理必须在没有任务特定数据收集或在线参数更新的情况下,在第一个剧集中有效地执行新任务[11]、[12]。这一要求自然需要一个闭环决策框架;与基于监督学习的预测器相比,强化学习(RL)直接优化长期目标,使其成为自适应决策的原则性范式。
为了实现这种快速适应,最近的研究转向了基于上下文的元强化学习(meta-RL)方法[13]、[14]、[15]、[16],这些方法从交互历史中推断任务属性并即时调整策略。为了规避实时数据收集的风险和成本,离线元强化学习(OMRL)进一步扩展了这一范式,利用预先收集的多任务数据集。例如,离线元强化学习已被用于高速铁路的主动受电弓控制[17]。然而,现有方法存在一个关键限制:它们主要在来自与训练数据相同任务分布的测试任务上进行评估。因此,当暴露于偏离训练先验的OOD任务时,这些方法的性能会严重下降。
这种在OOD任务中的脆弱性源于两个根本挑战。首先,从数据角度来看,静态离线数据集的覆盖范围不可避免地有限,缺乏在显著分布变化下仍然有效的稳健任务表示所需的多样性。除了数据覆盖范围的限制之外,现有方法还受到次优策略架构的阻碍。大多数现有的OMRL方法只是简单地将推断出的任务表示与环境状态连接起来作为策略的输入[13]、[15]、[18]。这种简单的融合未能捕捉任务间的共性或利用任务特有的属性,从而阻碍了任务特定策略的生成,限制了学习效率。因此,这种基于连接的策略在遇到新任务时往往难以泛化,因为它们无法有效提取任务间的共性并实现任务特定控制。为了解决这些挑战,我们的总体见解是,稳健的适应需要协同作用:利用增强的轨迹来确保稳健的表示学习,然后驱动一个能够有效利用这些表示进行零样本适应的结构解耦策略。
然而,实现合成连贯轨迹以进行增强的第一个目标仍然是一个非平凡的挑战。虽然启发式技术(如噪声注入[19])在标准RL中有效,但它们通常会破坏轨迹级别的一致性,使轨迹在物理上不一致。最近的研究转向了生成数据增强来解决这个问题,但像动态混合[20]或现有的基于扩散的方法[21]、[22]通常只生成短时间段的轨迹。这种碎片化对基于上下文的元强化学习方法[13]、[23]构成了重大瓶颈,因为这些方法依赖于编码全长交互轨迹来在训练期间推断任务表示。具体来说,由于碎片化片段无法捕捉准确推断所需的长期时间依赖性,生成时间连贯轨迹数据的挑战仍未解决。
为了弥合这些差距并实现稳健的零样本适应,我们提出了一个框架,将新颖的自回归轨迹合成机制与基于超网络的自适应策略相结合。首先,为了克服数据增强中的一致性瓶颈,我们引入了一个条件扩散模型来进行轨迹合成。与标准生成方法不同,我们提出了一种自回归合成策略:扩散模型依次生成轨迹片段,每个新片段都基于先前状态序列的潜在编码。这种机制确保了合成轨迹保持必要的时间连贯性。其次,利用从这些扩展数据中学到的稳健任务表示,我们通过采用超网络架构来实现自适应策略生成,从而解决了基于连接的策略的刚性问题。这种设计将共享行为与任务特定调制结构分离,使策略能够根据推断出的任务表示动态重新配置其参数。通过有机整合这两个组件——使用合成轨迹来增强任务推断,以及自适应策略来高效执行任务特定控制——我们的框架促进了对未见过的OOD任务的有效零样本适应。
我们在多种环境中评估了我们的方法,从奖励稀疏的导航任务到具有不同奖励结构和动态功能的具有挑战性的运动基准测试。实证结果表明,与现有的最佳基线相比,我们的方法在OOD适应方面表现更优。消融研究进一步证明了轨迹合成的必要性,阐明了增强规模对适应性能的影响,并评估了合成轨迹的质量。
我们的贡献可以总结如下:
•我们提出了一个统一的OOD适应框架,将基于超网络的策略生成与自回归轨迹合成相结合。关键在于,合成轨迹促进了稳健的表示学习,使策略能够实现高效的零样本适应。
•我们引入了一种自回归轨迹合成机制,采用逐段生成策略。通过明确地将每个新片段与其前驱条件化,这种设计保留了学习稳健任务表示所必需的轨迹连贯性。
•我们提供了广泛的实验,证明在OOD任务上我们的性能优于现有的最佳基线。此外,消融研究验证了轨迹合成的必要性,具体分析了增强规模和合成轨迹质量的影响。
本文的其余部分组织如下。第2节回顾了相关工作。第3节介绍了初步内容和问题表述。第4节详细介绍了我们提出的方法。第5节报告了实验设置和结果。最后,第6节总结了本文并讨论了局限性和未来方向。这项工作是我们会议论文[24]的扩展版本。原始研究为新任务引入了一个基础的在线适应框架。在这个扩展版本中,我们通过提出一种自回归轨迹合成机制,有效解决了OOD任务适应问题,大幅推进了方法论。此外,我们提供了新的实验结果,包括额外的消融研究和对我们方法的深入分析。
章节片段
离线元强化学习
元强化学习(Meta-RL)旨在通过利用类似任务分布的经验,使代理能够快速适应新任务。现有方法主要分为两类:基于梯度的方法[25]、[26]和基于上下文的方法[23]、[28]。这种基于上下文的适应范式也被应用于其他序列决策场景,例如少样本多跳知识图谱推理[29]。基于梯度的方法需要与环境进行在线交互
问题表述
我们使用马尔可夫决策过程(MDPs)[47]的框架来表述元强化学习问题。MDP被定义为一个元组,其中和分别表示状态和动作空间,是转移动态,是奖励函数,是折扣因子。我们假设一个任务分布,从中采样任务。在元强化学习设置中,任务共享相同的状态-动作空间,但在动态或奖励函数上有所不同。
在离线元强化学习设置中,代理
方法概述
我们的主要目标是提高代理的零样本适应能力,特别是在面对与训练先验显著偏离的OOD任务时。为此,我们提出了一个统一框架,将结构高效的政策学习与生成轨迹数据扩展相结合。我们的贡献主要是实证和算法上的:提出的自回归轨迹合成机制旨在解决OOD下的训练-测试不匹配问题
实验
在本节中,我们全面评估了我们的框架,重点关注其在分布内(ID)和分布外(OOD)任务上的零样本适应能力。我们的研究解决了四个主要研究问题:
1.我们的方法是否在显著分布变化下有效提高了零样本和跨剧集的适应性能?
2.自回归轨迹合成和自适应策略生成各自的贡献是什么
结论和未来工作
在这项工作中,我们提出了一个用于离线元强化学习的统一框架,解决了OOD任务适应的挑战。认识到标准方法受到静态数据覆盖范围和单一策略架构的限制,我们提出了结构解耦的政策学习和生成轨迹合成之间的协同作用,其中合成的轨迹促进了稳健的表示学习,以支持任务特定策略的适应。具体来说,我们
CRediT作者贡献声明
李正伟:撰写——原始草稿、软件、方法论、概念化。林振阳:撰写——审阅与编辑。陈宇柔:撰写——审阅与编辑。刘志勇:撰写——审阅与编辑、监督、资金获取。
作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。
致谢
这项工作得到了中国国家重点研发计划(项目编号2025YFE0216600)的支持。
李正伟于2022年在中国西安电子科技大学获得自动化学士学位。他目前在中国科学院大学人工智能学院和中国科学院自动化研究所的多模态人工智能系统国家重点实验室攻读计算机应用技术博士学位。他的研究兴趣包括强化学习和在线适应