基于动作与语言条件的具身控制视频评估

《Sensors》:Action- and Language-Conditioned Video Assessment for Embodied Control

【字体: 大 中 小 】 时间:2026年08月09日 来源:Sensors 4.0

编辑推荐:

   摘要

  

摘要

需要执行多步骤自然语言指令的基于视觉的实体智能体,需要能够评估整个任务流程中进展情况的反馈机制。传统的方法通常依赖最终帧匹配或连续嵌入相似度,而这些方法可能忽视了判断指令是否已完成所必需的中间状态变化。我们提出了ALVA(动作与语言条件下的视频评估)这一轨迹评估方法,它根据视觉观察结果、已执行的动作序列以及自然语言指令来开展评估。该方法首先利用预训练的视觉语言模型(VLM),根据已执行的动作对帧与帧之间的视觉变化进行总结,然后再根据指令要求对总结结果进行评估,从而得出离散的轨迹级进展分数。在模拟的3D家庭环境中,ALVA展现出较为保守的评估方式,误报率几乎为零。当作为闭环策略优化的最终反馈时,它比传统的静态图像及嵌入式视觉基线方法能提供更有效的反馈,同时也能缩小与真实情况之间的性能差距。这些结果表明,基于动作和语言条件的视频评估是一种适用于此类模拟实体控制任务的、具有可解释性的反馈机制。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号