偏斜轨迹演示下的自监督多模态模仿学习

《Neural Networks》：Self-Supervised Multi-modal Imitation Learning under Skewed Trajectory Demonstrations

　　

• •
  通过动力学表示缓解多模态模仿学习中的轨迹分布偏差。
• •
  从未标记轨迹中提取动态行为特征以丰富表示。
• •
  增强潜在变量的可分离性并解缠偏斜的行为模式。
• •
  为偏斜的多模态演示建立事后基于视频的评估。

引言

在部署的具身系统中，行为通常通过两个互补的来源进行记录和审查，即由状态 - 动作对组成的轨迹及其相应的视频。对这些视频的理解和评估构成了验收测试和审计的实际基础，然而许多实际工作流程缺乏可行的奖励函数，这限制了可靠的评估和鲁棒的控制 (Tang et al., 2025)。强化学习在复杂任务上取得了令人印象深刻的结果 (Huang et al., 2024)，但其对奖励设计的依赖阻碍了在奖励指定成本高、不安全或不可行的环境中的应用。模仿学习通过直接从专家演示中学习策略从而绕过奖励瓶颈，提供了一种替代方案 (Foster et al., 2024)。

自诞生以来，生成对抗模仿学习 (GAIL) (Ho and Ermon, 2016) 已在不同领域得到广泛应用。然而，真实世界的演示（如机器人控制和人类运动 (Yao et al., 2024)）通常由耦合在一起的多行为模式组成。这种行为多样性不仅仅是一种理论上的好奇；它对于智能体在实际应用中的适应性至关重要。最近，像 InfoGAIL (Li et al., 2017) 和 ACGAIL (Lin and Zhang, 2018) 这样的方法尝试通过引入潜在变量或辅助分类器来解缠不同的行为模式，这些方法对轨迹分布偏差敏感，并且需要平衡的模式覆盖以防止模式崩溃 (Wang et al., 2024)。Triple-GAIL (Fei et al., 2021) 进一步设计了一个辅助技能选择器，通过使技能选择器和生成器协同工作，在不同环境中选择适当的行为模式。然而，一些演示在现实中很少发生或难以获取，导致轨迹分布偏差 (Yang et al., 2024)。此外，专家行为模式之间的本质区别往往不是反映在单个时间步的静态姿态上，而是反映在关节角度、力和速度等特征随时间演变的动态过程中，这进一步加剧了建模挑战 (Cai et al., 2025)。为了实现高保真模仿，有必要能够准确捕获和重现时间动态的变化模式。然而，大多数现有方法 (Fu et al., 2023) 仍然依赖静态状态 - 动作快照，这使得它们难以有效地建模和重构时间动态过程。

为了解决这些挑战，我们提出了自监督多模态生成对抗模仿学习 (SSM-GAIL)，这是一个新颖的模仿学习框架，旨在通过引入具有三个关键创新的自监督预训练阶段，来解决多模态专家演示中的时间建模和轨迹分布偏差问题。首先，在对抗模仿学习 (AIL) 阶段之前，我们增强判别器并添加一个解码器，通过重构多步未来状态并使用 MSE 损失进行自监督预训练。这个预训练步骤将丰富的时间信息注入到学习的表示中，使模型能够捕获区分不同行为模式的细粒度动态线索，并为后续的解缠任务提供坚实的基础。其次，在 AIL 期间，我们将 InfoNCE 对比损失 (Koromilas et al., 2024) 应用于判别器的相同中间特征，明确促进潜在空间内的模态内聚类和模态间分离。这直接解决了典型的模式混淆和模式崩溃问题，导致更鲁棒和可解释的多模态策略学习，即使在分布偏差下也是如此。第三，为了进一步减轻演示不平衡的不利影响，我们引入了一种频率感知动态缩放因子 (DSF)，根据小批量模式频率重新加权模式条件学习信号。由于缩放因子与经验模式计数成反比，未充分代表的模式在模式条件奖励计算中接收更大的权重，从而改善了偏斜演示下稀有行为的覆盖范围。我们在一系列具有挑战性的多模态环境中评估了 SSM-GAIL，包括 Mujoco (Todorov et al., 2012) 和 PandaGym (Gallouédec et al., 2021)。虽然模仿学习中的评估通常依赖特权状态或奖励，但现实世界的审计最终是以视频为中心的。[id=R1] 因此，我们额外报告了一种互补的事后评估，该评估将短运行导出为视频，并通过在预训练的视频特征空间中将生成视频分配给其最近的专家模式原型来计算视频 - 模式原型一致性准确性 (VMPCA)。预定义的模式标签仅用于将生成的运行与相应的专家视频原型集关联。

本研究的主要贡献如下：

• •
  我们提出了一种自监督预训练框架，通过首先从专家演示中学习感知动力学的表示，来缓解多模态模仿学习中的轨迹分布偏差。
• •
  我们利用从未标记轨迹中提取的动态行为特征来丰富策略和判别器表示，从而实现对多样化行为模式更全面的探索和覆盖。
• •
  我们通过将对比表示学习嵌入判别器中，增强潜在变量的可分离性，更清晰地解缠多个偏斜的行为模式，产生更具模式感知能力的决策边界。

本文其余部分组织如下。在第 2 节中，我们回顾了生成对抗模仿学习、从多模态演示中学习以及演示中的轨迹分布偏差。在第 3 节中，我们介绍了模仿学习的理论基础及其对抗扩展。在第 4 节中，我们提出了算法 SSM-GAIL，随后进行了理论分析。第 5 节详细展示和分析了实验结果。结论在第 6 节中说明。

章节摘要

相关工作

在本节中，我们回顾了生成对抗模仿学习、从多模态演示中学习以及演示中的轨迹分布偏差。

预备知识

模仿学习旨在利用专家演示学习智能体的策略 π_θ 以近似专家策略 π_E。我们将模仿学习中的智能体策略学习任务建模为马尔可夫决策过程 (MDP) (Park and Levine, 2023)。此 MDP 表示为五元组 $〈\mathcal{S},\mathcal{A},\mathcal{P},\mathcal{R},\gamma 〉$，其中状态空间 $\mathcal{S}$ 和动作空间 $\mathcal{A}$ 均假定为有限集。转移概率 $\mathcal{P}(s_{t+1}|s_t,a_t)$ 表示环境的动力学，其中动作 a_t 由...

方法论

在本节中，我们介绍 SSM-GAIL 框架（如图 1 所示），以及理论证明讨论和分析。

实验设置

实验环境。 我们通过在各种环境中进行任务实验来验证我们的方法，包括简单的 2D 圆圈绘制任务 (Li et al., 2017)、PandaGym 机械臂控制任务 (Gallouédec et al., 2021) 和四个 MuJoCo 机器人控制任务 (Todorov et al., 2012)。

• •
  2D-Trajectory. 2D-Trajectory（图 2(a)）表示物体在 2D 平面上的运动，其中专家演示包括通过改变中心、半径等参数生成的四种轨迹模式，

结论

在本工作中，我们提出了 SSM-GAIL，这是一个新颖的模仿学习框架，利用自监督预训练和对比学习，从高度偏斜的专家演示中稳健地解缠和模仿多样化行为模式。基准环境中的大量实验表明，SSM-GAIL 在大多数任务中普遍优于基线方法，并在严重的分布偏斜下保持竞争力。

[id=R1]为了补充基于状态的评估，我们额外

CRediT 作者贡献声明

赵亚文： 写作 – 初稿，验证，方法论，调查，数据整理，形式分析。 陈玥： 可视化，数据整理。 朱飞： 写作 – 审查与编辑，方法论，资金获取，概念化。

利益冲突声明

作者声明他们没有已知的竞争性经济利益或个人关系可能影响本文中报告的工作。

赵亚文 | 陈玥 | 朱飞