基于强化学习的动作专家预训练:无需大规模示范数据的高效视觉-语言-动作模型构建

《Frontiers in Neurorobotics》:ActionX: pre-training action experts with reinforcement learning for vision-language action models

【字体: 大 中 小 】 时间:2026年04月14日 来源:Frontiers in Neurorobotics 2.8

编辑推荐:

  当前视觉-语言-动作(VLA)模型严重依赖大规模人类示范数据进行预训练,导致数据收集和训练成本高昂。为解决此问题,研究人员开展了题为“ActionX: 通过强化学习预训练动作专家用于视觉-语言-动作模型”的研究。他们提出了一种两阶段训练框架,先通过强化学习(RL)预训练动作专家,再结合冻结的预训练视觉-语言模型(VLM)主干进行端到端微调。实验结果表明,该方法在LIBERO和Meta-World基准测试及真实机器人操作场景中,仅需少于100个专家示范,即可实现比当前最先进VLA模型高16%的成功率。这项研究显著提升了VLA模型的训练效率,为数据高效型的机器人操作学习提供了新思路。

  
想象一下,你希望家里的机器人帮你从冰箱里拿一瓶饮料。你只需要说一句“请把冰箱里的可乐拿给我”,它就能理解你的话,看到冰箱里的场景,并规划出一系列抓取、移动、递送的动作来完成这个任务。这背后依赖的正是近年来快速发展的视觉-语言-动作(Vision-Language-Action, VLA)模型。这类模型能将语言指令、视觉感知和动作生成融为一体,是实现语言驱动机器人操作的关键。然而,现实很“骨感”。要让一个VLA模型变得如此“聪明”,现有的方法通常需要一个“海量”的喂养过程——收集成千上万次人类操作机器人的示范数据来训练它。这就像教一个婴儿学走路,但要求必须录制数万小时不同人走路的视频作为教材。其成本之高、耗时之长,常常让普通研究团队望而却步。更棘手的是,即使花费巨大代价完成了这种大规模预训练,当机器人需要学习一个具体的搬箱子或拧瓶盖的新任务时,仍需用专门的少量数据进行“微调”。这个过程往往会“覆盖”掉模型在预训练阶段学到的广泛适应能力,导致其在实际多样场景中的表现大打折扣。这正是当前VLA领域面临的核心矛盾:既难以承受大规模数据收集之重,又无法回避任务特定微调对泛化能力的损害。那么,有没有一条更高效的路径,能够减少对海量示范数据的依赖,同时让模型在具体任务上学得更快、表现更好呢?
为了回答这个问题,一项题为“ActionX: 通过强化学习预训练动作专家用于视觉-语言-动作模型”的研究登上了《Frontiers in Neurorobotics》期刊。研究团队的核心洞察非常巧妙:既然最终免不了要对特定任务进行微调,何不将视觉-语言模型(VLM)和负责输出具体动作指令的“动作专家”(Action Expert)分开训练,而非一开始就捆绑优化?预训练的VLM(如InternVL3-1B)已经具备了强大的视觉和语言理解泛化能力,那么瓶颈就在于如何快速获得一个能生成合理机器人动作的“专家”。传统方法用人类示范数据来教动作专家,而这项研究则另辟蹊径,请出了人工智能的另一位“教练”——强化学习(Reinforcement Learning, RL)。
研究人员开展的核心研究是提出并验证了名为ActionX的两阶段训练框架。该研究主要运用了几个关键技术方法:首先,采用了基于流匹配(Flow Matching)的动作专家模型架构,该模型通过去噪过程预测连续机器人动作。其次,在预训练阶段,创新性地冻结预训练的VLM主干,仅使用强化学习(具体采用近端策略优化PPO算法)在模拟环境中对动作专家进行训练,学习任务相关的动作分布。第三,设计了一种针对动作块(由动作专家一次推理生成的一组连续动作)的PPO学习策略,并采用了评论家(Critic)网络预热技术以稳定训练。最后,在微调阶段,使用少量(整个训练阶段少于100条)真实机器人专家示范数据,对VLM主干和动作专家进行全参数联合监督微调。研究使用的模拟仿真数据来自LIBERO和Meta-World基准测试集,真实机器人实验则涉及单臂和双臂操作平台。
研究结果:
1. 模拟实验验证高效性:
研究在LIBERO和Meta-World两个权威机器人操作仿真基准上进行了全面测试。在LIBERO数据集的四个子集(目标导向、物体中心、空间关系、长视野任务)上,ActionX的平均任务成功率达到91.5%,超越了之前最先进的SmolVLA模型(88.8%)。特别是在最具挑战性的长视野任务子集上,ActionX取得了83%的成功率,相比SmolVLA提升了6个百分点。在包含50个任务的Meta-World基准上,ActionX的平均成功率达到81.3%,比SmolVLA高出13.1个百分点,且在中等、困难和极难任务上优势尤为明显。这些结果表明,ActionX仅通过强化学习预训练动作专家和少量微调,就能达到甚至超过那些依赖大规模专家数据预训练的VLA模型的性能。
2. 真实机器人实验展现实用性:
为了验证方法的现实可行性,研究在单臂和双臂真实机器人平台上进行了测试,任务包括“抓取放置”、“打开盒子”和“双手抓取水瓶”。所有任务在微调阶段使用的专家示范数据均少于80轮。实验结果显示,ActionX在各项任务上均取得了最高的成功率。尤其是在需要双臂协作的“打开盒子”长视野任务上,ActionX的成功率达到69%,显著高于其他对比方法。这证明了该方法学到的策略能有效迁移到复杂的实体机器人操作中。
3. 消融实验揭示核心机制:
  • •
    动作专家预训练策略有效性:通过对比“无预训练”、“监督学习预训练”和“强化学习预训练”三种策略后续的微调效果,研究发现RL预训练能极大加速模型收敛,并显著提升最终性能。在LIBERO-Spatial子集上,无预训练的策略完全无法学习(成功率为0),而RL预训练策略最终达到了95%的成功率。在长视野任务上,RL预训练带来了超过50%的性能提升。这证实了RL预训练为动作专家学习更鲁棒的基础动作分布先验,从而在后续联合训练中能为VLM提供更准确的反馈。
  • •
    手腕方向灵活性分析:在真实机器人“打开盒子”任务中,分析了关键动作块执行时机器人手腕俯仰和偏航角的分布。结果显示,相比于仅用监督微调(SFT)学到的策略,ActionX策略在执行关键操作时,手腕姿态呈现出更广泛、更多样的分布。这说明RL预训练使机器人能够探索更灵活的操作姿态,可能有助于完成更灵巧的操控。
研究结论与讨论:
本研究表明,ActionX作为一种新的VLA模型训练策略,能够在无需大规模专家示范数据的前提下,达到最先进的机器人操作性能。这一成就得益于其创新的动作专家预训练范式,该范式在预训练阶段将VLM主干与动作专家模块解耦,通过强化学习专注于学习任务层面的通用化动作分布。模拟和真实机器人实验均证明,该方法能显著提高长视野操作任务的成功率,验证了其有效性。研究还通过消融实验深入分析了RL预训练对加速收敛、提升最终性能(尤其是在空间推理和长视野任务中)的关键作用,并揭示了其能促使机器人探索更灵活操作姿态的机制。
这项研究的重要意义在于,它为VLA模型的高效训练开辟了一条新路径,大幅降低了对昂贵、耗时的大规模示范数据收集的依赖,同时提升了模型在复杂任务上的性能。这使更广泛的研究团队能够以更可行的成本开展先进的机器人学习研究。未来工作可以着眼于增强动作专家在预训练阶段的泛化能力,类似于婴儿在完成有意义的任务前先学会控制自己的肢体,从而为单个或多个具身智能体开发出更通用的动作专家模型。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号