面向高效自适应控制的固定储层动力学强化驱动调制

《Neurocomputing》：Reinforcement-driven modulation of fixed reservoir dynamics for efficient and adaptive control

　　

• •
  将基于上下文的回声状态网络扩展为动态调制的储层网络。
• •
  强化学习通过低维信号调制固定的储层动力学。
• •
  实现无需重新训练LfD权重的适应。
• •
  在新目标和约束下提升泛化能力。
• •
  适应成本与任务复杂度解耦。
• •
  在保留已展示技能的同时降低计算开销。

引言

从示教中学习（LfD）提供了一种通过模仿专家策略来学习任务控制器的简便框架，无需手动设计控制器[1]、[2]。特别是，储层计算（RC）和回声状态网络（ESNs）[3]提供了一种轻量级且计算高效的轨迹和动力系统学习方法，可用于通过LfD框架获取机器人技能[4]。纯由LfD学习的策略通常对训练数据未覆盖的情况泛化能力有限，往往需要进一步的示教和重新训练才能扩展技能。在这种情况下，强化学习（RL）可以利用奖励信号来扩展基于LfD的行为策略，而无需完整的示教。然而，使用RL适配现有的LfD策略通常需要重新优化LfD-RL组合系统的整个参数集。尽管这种方法为扩展现有LfD基础技能提供了可行途径，但由于RL通常在高维空间中运行，计算成本高昂，且容易发生灾难性遗忘，导致原始示教行为丢失。

为解决上述局限，我们提出了一种模型，能够在无需重新训练或额外示教的情况下，将预训练的基于RC的LfD策略高效适配到新任务需求。具体而言，我们引入了动态自适应储层计算（DARC）模型，该模型利用储层动力学将基础技能的稳定获取与其后续的自适应调制分离开来。

DARC模型分为两个不同阶段运行。首先，在储层学习阶段，一个基于上下文的回声状态网络（CESN）——一种具有固定上下文输入的储层计算机[4]——从示教中学习基础策略。此步骤产生一个由固定循环神经网络（即储层）表示的技能库，其上下文输入编码目标或任务，其学习的读出权重生成相应行为。其次，在强化学习阶段，RL智能体学习动态调制此预训练网络以适应新的条件、目标或任务，通过控制上下文输入来实现。关键在于，RL智能体不修改任何预训练网络权重，而是学习一个策略来生成低维上下文信号以调制储层动力学。这使得系统能够生成满足新目标或约束（由奖励函数指定）的新行为，同时保持原始示教技能不变，因为第一阶段学习的权重未被修改。DARC的核心创新在于将从示教中学习的储层动力学视为固定的技能基底，通过低维、强化学习驱动的上下文调制来适配，而非修改策略本身。这种设计将技能获取与技能适应分离开来，由此产生的计算效率和对先前获取行为的保持是该架构选择的自然结果。我们的方法具有三个关键优势：(1) 高效性，因为RL优化局限于低维动作空间，实现了快速适配；(2) 稳定性，原始LfD策略保持不变，因此避免了灾难性遗忘；(3) 灵活性，单个预训练技能可引导执行多种任务，无需额外示教。为展示这些优势，我们在带有障碍物规避的机器人抓取任务上对DARC进行了评估，与竞争性基线进行比较，并进一步评估了其迁移到轨迹跟踪任务的能力。我们还在3D抓取放置任务上对DARC进行了评估，使用7自由度机械臂，在$$维上下文调制下生成$$维的关节和夹爪指令，并与不使用储层先验的直接RL控制器进行比较。结果表明，DARC在显著更低计算成本下实现了比独立LfD和基线更高的精度和更强的泛化能力，同时展示了从静态抓取到动态轨迹跟踪的有效迁移。此外，3D任务结果表明适配成本与执行器数量保持解耦。

章节摘要

相关工作

储层计算应用。储层计算（RC）是一种通用学习框架，其中非线性动力系统（通常实现为随机循环神经网络）被用于自主学习生成目标时间序列，或通过仅训练一个将储层状态转换为输出的读出层来实现输入序列到目标序列的映射[5]。从动力系统角度来看，RC的计算能力源于其固有的瞬态

问题陈述

我们考虑从初始示教中综合控制策略的问题，该策略可扩展到未见过的任务条件并在其之外进行泛化。我们将技能学习问题定义为元组$$，其中$$表示任务条件空间（如目标、障碍物或环境参数），$$表示由状态-动作序列$$组成的示教轨迹空间，$$是通过监督学习从示教对$$中获得的基策略，其中$$，而$$表示

方法

所提出的DARC模型由两阶段学习组成，将基于储层的从示教学习（LfD）与强化学习（RL）结合，以将基策略的能力扩展到原始示教未涵盖的范围。在第一阶段，基于上下文的回声状态网络（CESN）[4]从示教中训练以建立基础技能。在第二阶段，RL智能体学习动态生成上下文输入以调制储层动力学，引导

结果

本节评估DARC在带有障碍物的抓取任务上与ACNMP基线的性能表现。模型能力的关注点包括：(i) 时间和数据效率，(ii) 对遗忘的鲁棒性，(iii) 超出LfD数据的扩展能力，(iv) 在分布外目标上的性能。此外，我们展示了DARC如何将获取的静态目标技能迁移到轨迹跟踪任务。

为构建基LfD技能，ACNMP和DARC模型均使用初始LfD学习

结论

我们提出了动态自适应储层计算（DARC）框架，该框架将强化学习与基于储层的LfD集成，实现无需额外示教的自适应控制。通过让RL策略调制储层动力学，DARC实现了高效的低维RL训练，同时保持初始LfD技能，无需示教轨迹。在带有障碍物的抓取任务上的实验结果表明DARC

CRediT作者贡献声明

Zahra Koulaeizadeh：写作-审阅与编辑，写作-初稿，可视化，验证。Minoru Asada：指导。Erhan Oztop：写作-审阅与编辑，指导。

利益冲突声明

作者声明不存在可能影响本文所报告工作的已知竞争性经济利益或个人关系。

Zahra Koulaeizadeh 毕业于伊朗乌尔米耶大学计算机工程专业，获学士学位；并毕业于土耳其伊斯坦布尔奥斯耶金大学人工智能专业，获硕士学位。她目前是奥斯耶金大学计算机专业的博士生。她的研究兴趣包括机器人学习、强化学习和类脑机器学习。

Zahra Koulaeizadeh|Minoru Asada|Erhan Oztop