SPECI：基于分层连续模仿学习的机器人操控技能提示系统

《IEEE Transactions on Cognitive and Developmental Systems》：SPECI: Skill Prompts based Hierarchical Continual Imitation Learning for Robot Manipulation

机器人操作终身适应的技能引导分层持续模仿学习框架通过多模态感知、动态技能提取与执行模块实现高效知识迁移。实验验证其跨任务性能优于现有方法。

　　

摘要：

在动态且结构不明的环境中，现实世界的机器人操控需要具备对不断变化的对象、场景和任务的终身适应能力。传统的模仿学习依赖于静态的训练范式，这些范式并不适合实现终身适应。尽管连续模仿学习（Continual Imitation Learning, CIL）能够在保留已学习知识的同时实现任务的逐步适应，但当前的CIL方法主要忽视了机器人操控的固有技能特性，或者依赖于人为定义的、僵化的技能规则，从而导致跨任务知识转移效果不佳。为了解决这些问题，我们提出了基于技能提示的分层连续模仿学习（Skill Prompts-based HiErarchical Continual Imitation Learning, SPECI）框架，这是一种全新的端到端分层CIL策略，专为机器人操控设计。SPECI框架包括一个多模态感知与融合模块，用于处理异构感官信息；一个高级技能推理模块，用于动态提取和选择技能；以及一个低级动作执行模块，用于生成精确的动作指令。为了在技能和任务两个层面实现有效的知识转移，SPECI通过可扩展的技能代码库和基于注意力机制的技能选择系统，实现持续的隐式技能获取与重用。此外，我们还引入了模式近似（Mode Approximation）技术，为最后两个模块添加了特定于任务和跨任务的参数，从而增强了任务层面的知识转移能力。在多种操控任务上的广泛实验表明，SPECI在所有评估指标上均显著优于现有的CIL方法，展现出出色的双向知识转移能力和整体性能优势。实现代码可访问地址：https://github.com/Triumphant-strain/SPECI。