FlowVLA:面向视觉-语言-动作模型的基于视觉思维链的运动推理
《IEEE Transactions on Robotics》:FlowVLA: Visual Chain of Thought-Based Motion Reasoning for Vision-Language-Action Models
【字体:
大
中
小
】
时间:2026年09月18日
来源:IEEE Transactions on Robotics 11.1
编辑推荐:
摘要:
许多视觉-语言-动作(VLA)模型建立在通过下一帧预测训练的内在世界模型之上("V_t → V_{t+1}")。然而,这种范式试图直接预测未来帧的外观,而没有对潜在的动态规律进行显式推理。这种缺乏显式运动推理步骤的做法往往会导致不符合物理规律的视觉预测以及低效的策略
摘要:许多视觉-语言-动作(VLA)模型建立在通过下一帧预测训练的内在世界模型之上("V_t → V_{t+1}")。然而,这种范式试图直接预测未来帧的外观,而没有对潜在的动态规律进行显式推理。这种缺乏显式运动推理步骤的做法往往会导致不符合物理规律的视觉预测以及低效的策略学习。为了解决这一局限,我们提出了"视觉思维链"(Visual Chain of Thought),这是一种迫使模型在生成未来帧之前先对运动动态进行推理的范式。我们通过提出FlowVLA来实例化这一范式,FlowVLA是一个自回归Transformer,它将上述推理过程显式地体现为"V_t → F_t → V_{t+1}",其中F_t是中间的光流预测,本质上编码了运动信息。通过强制模型首先遵循F_t所编码的运动计划,这一过程将动态预测的预训练目标与下游的动作生成任务对齐。我们在具有挑战性的机器人操作基准测试以及真实机器人平台上进行了实验。我们的FlowVLA不仅能够生成更具一致性和更符合物理规律的视觉预测,还以大幅提升的样本效率实现了最先进的策略性能,为VLA中的世界建模指明了更具原则性的基础方向。我们的项目页面是 https://irpn-lab.github.io/FlowVLA/。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号