恢复正确的流:视觉-语言-动作策略的免训练分布外鲁棒性

《Entropy》:Restoring the Right Stream: Training-Free OOD Robustness for Vision–Language–Action Policies

【字体: 大 中 小 】 时间:2026年09月03日 来源:Entropy 2.1

编辑推荐:

  视觉-语言-动作(VLA)策略在适度的分布偏移下仍然脆弱。在LIBERO-Plus上,能够以高成功率解决干净任务的当代模型,在相机视角或机器人初始姿态受到扰动时,成功率可能降至30%以下。大多数免训练测试时补救方法通过图像流解决此问题,例如通过增强、净化或选择

  
视觉-语言-动作(VLA)策略在适度的分布偏移下仍然脆弱。在LIBERO-Plus上,能够以高成功率解决干净任务的当代模型,在相机视角或机器人初始姿态受到扰动时,成功率可能降至30%以下。大多数免训练测试时补救方法通过图像流解决此问题,例如通过增强、净化或选择视觉观测。在研究人员受控的评估中,这类方法仅将平均成功率提高了约三个百分点,且很大程度上未能解决机器人初始状态失败问题。本文在输入流层面研究该失败。VLA接收视觉token、本体感状态token和语言token;不同的扰动可能使不同的流偏离其训练流形。特别是,机器人初始状态扰动直接改变本体感token;因此,图像空间干预的杠杆作用有限。研究人员引入了门控逐流流形恢复(G-PSMR),一种用于冻结策略的免训练包装器。对于每个流,轻量级门检测流形外输入,并在策略前向传播前应用特定于流的恢复。研究人员用熵门控视觉共识和门控相对取向去偏实例化了该框架,后者保留了情节内的取向轨迹。在原始280集配对评估中,联合方法将总成功率提高了【数字缺失】个百分点,而仅图像方法提高了【数字缺失】个百分点,并将最脆弱因素从【数字缺失】提高到【数字缺失】。在1120个先前未评估的、清单不相交的任务实例上,状态恢复将机器人初始状态成功率从【数字缺失】提高到【数字缺失】;一项单独的预期指定的确认在600个新的门激活实例上产生【数字缺失】(【数字缺失】个百分点;【数字缺失】置信区间;【数字缺失】)。总之,原始的跨流结果和两项独立的状态流评估支持了将恢复与携带偏移的输入流相匹配的核心原则。
论文解读:恢复正确的流——VLA策略的免训练逐流OOD鲁棒性

视觉-语言-动作(Vision–Language–Action, VLA)模型正成为通用机器人操作的标准基础架构,其通过从预训练的视觉-语言骨干微调得到,将图像、语言和本体感映射为动作。在标准基准上,这些模型性能已很高,但鲁棒性远未解决。在LIBERO-Plus基准上,当代模型在相机视角或机器人初始姿态被扰动时,成功率可能从近乎满级降至30%以下。现有免训练测试时方法多集中于图像流,如增强、净化或选择观测,但受控评估显示这类方法仅将平均成功率提升约三个百分点,且无法解决机器人初始状态失败问题。机器人初始状态扰动直接改变
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号