《Pattern Recognition Letters》：TSF-IL: Multimodal imitation learning with temporal-stage fusion
编辑推荐：
•引入阶段感知融合，将任务阶段注入IL以实现结构化执行。•提出时间感知融合，编码任务进度并消歧相似状态。•将阶段融合与时间融合结合为TSF-IL，取得了最先进的性能。引言近年来，模仿学习在机器人操作领域经历了快速发展。模仿学习的核心理念是直接从专家示范中学习策略模型，从而避免
- •
引入阶段感知融合，将任务阶段注入IL以实现结构化执行。
- •
提出时间感知融合，编码任务进度并消歧相似状态。
- •
将阶段融合与时间融合结合为TSF-IL，取得了最先进的性能。
引言
近年来，模仿学习在机器人操作领域经历了快速发展。模仿学习的核心理念是直接从专家示范中学习策略模型，从而避免了强化学习中昂贵的奖励工程设计和试错式探索[1]。这降低了训练成本，并实现了细粒度操作技能的高效获取，促进了其在工业和服务应用中的广泛采用[2]、[3]、[4]。
在现有的模仿学习方法中，基于Transformer的行为克隆方法，如基于Transformer的动作分块（ACT），以及基于扩散的序列生成模型，如扩散策略（DP），代表了两种广泛使用的策略公式。ACT通过注意力机制以自回归方式建模动作序列，以捕捉长程依赖关系[5]，而基于扩散的策略则通过迭代去噪生成动作轨迹[6]。近期的蒸馏方法将这一生成过程简化为单步[7]。尽管这些方法行之有效，但它们通常仅依赖视觉观测和本体感觉状态作为输入。这样的设计未能充分利用与任务相关的额外信息，可能会不利影响长时程和多阶段操作任务的鲁棒性。
事实上，除了视觉输入之外，人类还会使用其他信息来提高模仿学习的效率，尤其是在学习复杂和长时程任务时。先前的工作通过增加三维点云或深度信息来提升空间感知[8]，使用历史和轨迹缓冲区来保留动态上下文[9]，或者引入语言和文本描述来传达高层目标和约束[10]、[11]。与重量级传感器模态相比，文本相对轻量，便于添加，并且能够以更为紧凑的格式表达任务意图、对象属性和过程约束。因此，近期研究开始利用视觉-语言模型（VLM）和通用策略，将文本语义注入模仿学习策略中[12]、[13]、[14]。然而，现有流水线通常将文本视为静态标签，要么与视觉特征拼接，要么用于简单条件化。这样的公式忽视了文本信息在塑造时序序列和指导逐步决策中可以发挥的动态作用[15]。同时，稠密三维输入和长历史缓冲区引入了额外的传感、存储和计算需求，这不利于实时部署[8]、[9]。事实上，人类在模仿动作时经常使用的关键调节手段——如时间和阶段信息[16]——在模仿学习研究中仍未得到充分探索。
在本工作中，我们提出了一种多模态模仿学习框架，通过显式地将时间和阶段信息纳入策略执行来提高任务成功率。具体而言，所提出的方法通过指令信号增强视觉观测，该信号编码任务进度，从而为动作生成提供全局时间上下文。此外，一个轻量级的阶段识别模块根据观测预测当前任务阶段，并将阶段特定的语义线索注入策略，从而实现阶段条件化的决策。基于此设计，我们实证地展示了在长时程模仿学习中显式建模任务进度和阶段语义的好处。本工作的主要贡献总结如下：
- (1)
引入了一种全局时间感知指令融合机制，其中时间信息被有效地整合到策略模型中，实现了稳定且具有时序基础性的策略调节。
- (2)
设计了一种阶段感知的语义引导策略，以适度的计算代价为策略提供阶段级线索，从而提高了任务执行性能。
- (3)
我们将所提出的时间和阶段机制整合为一个统一的多模态模仿学习框架，即TSF-IL，该框架在仿真和真实机器人操作任务中持续提高了任务成功率。
章节摘要
用于策略学习的多模态融合
将多模态信息整合到模仿学习（IL）中，可以显著提高鲁棒性、适应性和泛化能力。在机器人学习中，额外的模态包括用于丰富空间感知的深度或点云数据[8]、用于关节状态感知的本体感觉反馈[5]、用于接触丰富操作的触觉感知[17]，以及用于传达高层语义意图的文本描述[18]、[19]。常见的融合策略包括早期融合（直接特征
模型架构
如图1所示，TSF-IL将时间感知的视觉特征、阶段感知的语义引导和机器人关节状态整合到一个基于Transformer的策略中用于动作预测。视觉观测提供主要的空间信息，而时间信号和阶段信号则分别补充了全局任务进度和当前阶段线索。在执行过程中，时间信号根据当前策略步骤进行更新，而阶段引导则从
仿真实验设置
仿真实验在MuJoCo平台上进行，涉及六个双臂操作任务，包括来自ACT的插入和转移任务，以及堆叠、提取、恢复和转移&恢复任务[31]。在数据收集过程中，阶段边界由与预定义操作步骤完成相关的任务特定仿真事件定义，例如成功抓取、物体转移、放置到目标区域以及机器人复位。当
结论
在本信中，我们提出了一种基于视觉和指令的多模态模仿学习框架，用于机器人操作。该框架将全局时间感知指令融合与阶段特定语义引导相结合，以使动作生成与任务进展对齐。在仿真和真实环境中的实验表明，在多种双臂操作任务中，该方法相较于评估的模仿学习基线方法取得了持续的提升。
尽管当前实验涵盖的任务
作者贡献声明
谭建伟： 撰写-审阅与编辑、撰写-初稿、方法学、调查研究、形式化分析、数据管理、概念构思。谢军： 资源、项目管理、方法学、数据管理。林桓旭： 验证、软件、资金获取、数据管理。王志诚： 撰写-审阅与编辑、资源、调查研究。马晓光： 撰写-审阅与编辑、验证、监督指导、调查研究、资金获取、概念构思。
利益冲突声明
作者声明不存在已知的可能影响本论文所报告工作的竞争性经济利益或个人关系。
致谢
本工作部分由湖南省重点科技研究基金（资助号2024QK2001）、广东省基础与应用基础研究基金（资助号2022A1515140121）以及东北大学佛山研究生院创新启动基金（资助号200076421002）支持。
谭建伟|谢军|林桓旭|王志诚|马晓光
