SIRModel:学习空间中间表示,以参数高效的方式微调用于操作的视觉语言模型
《AI》:SIRModel: Learning Spatial Intermediate Representation to Parameter-Efficiently Fine-Tune a Vision Language Model for Manipulation
【字体:
大
中
小
】
时间:2026年08月29日
来源:AI 6.5
编辑推荐:
摘要
长期视野下的机器人操控需要一种策略,将任务层面的语义推理与三维交互几何结构联系起来。现有的视觉-语言-动作策略通常从视觉标记中隐式获取几何信息,或者在图像平面上引入确定性中间变量,这些方法依赖于昂贵的人工标注和训练
摘要
长期视野下的机器人操控需要一种策略,将任务层面的语义推理与三维交互几何结构联系起来。现有的视觉-语言-动作策略通常从视觉标记中隐式获取几何信息,或者在图像平面上引入确定性中间变量,这些方法依赖于昂贵的人工标注和训练成本。本文提出了一种基于空间高斯引导的层级框架,该框架利用有序的3D高斯交互区域作为视觉-语言推理与动作生成之间的显式规划接口。该框架能够有效地调整预训练的视觉-语言模型以适应机器人操控任务。首先,一个自动的几何增强流程将原始的机器人演示视频转换为早期、中期和后期的高斯监督数据,这一过程包括前景提取、度量深度估计、稳定相机聚合、末端执行器定位、3D空间转换以及时间分组,无需人工进行3D交互标注。生成的高斯表示提供了结构化的空间指导,其协方差表征了交互区域的范围和变化性,而不仅仅是完全校准的物理不确定性。其次,一个共享的视觉-语言框架预测结构化的子任务和高斯交互区域,而条件扩散执行器在这些语义和几何条件下生成未来的动作片段。轨迹与高斯似然的优化目标明确鼓励生成的动作与预测的空间交互计划之间的一致性。在由LHManip和RH20T数据集混合而来的真实机器人数据集上的实验表明,与使用相同视觉-语言框架的直接VLA方法相比,我们的方法将轨迹跟踪成功率从55.7%提高到了70.8%。在LIBERO平台上进行的闭环仿真评估中,即使冻结80%的框架参数,也能实现85.3%的平均任务成功率,这证明了显式3D交互表示在空间推理和长期视野操控中的有效性。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号