编辑推荐:
摘要在连续环境中的视觉语言导航(VLN-CE)要求智能体能够理解指令并执行精确的底层动作。现有方法主要依赖在路径点处记录的姿态序列,这类表示方式只能粗略展现智能体沿轨迹的运动情况,无法体现其在路径点之间的细微自我运动。本文提出Motion-VLN框架,该框架利用光流明确建模路径点
摘要
在连续环境中的视觉语言导航(VLN-CE)要求智能体能够理解指令并执行精确的底层动作。现有方法主要依赖在路径点处记录的姿态序列,这类表示方式只能粗略展现智能体沿轨迹的运动情况,无法体现其在路径点之间的细微自我运动。本文提出Motion-VLN框架,该框架利用光流明确建模路径点间的运动。我们设计了自我运动数据增强阶段,通过教师模型和基于模拟器的导航器生成高质量观测视频。运动感知模块则通过自适应门控机制动态融合RGB特征与光流信息。为监督学生模型的运动对齐,我们设计了分层运动对齐损失函数,用于评估预测光流序列与真实光流序列之间的全局及局部相似性。在R2R-CE和RxR-CE数据集上的大量实验表明,Motion-VLN取得了最先进的性能,在成功率以及按路径长度加权的成功率方面都有显著提升。相关代码可在以下地址获取:
Tong-Gao-dream/Motion-VLN引言
在连续环境中的视觉语言导航(VLN-CE)[22]是迈向真实具身人工智能的重要一步。与经典离散环境不同,在那里智能体通过执行高层动作在预定义的路径点之间瞬移[5],而VLN-CE要求智能体在环境中通过连续的底层动作移动,从而实现与环境的感觉交互。在这种环境下,智能体需要根据视觉反馈不断调整自己的动作。然而,为了准确理解环境对其动作的反应变化,智能体需要对自身的自我运动有精准的认识,而这在常规观测数据中往往是隐含的。
目前现有的VLN-CE方法[1]、[2]、[20]通常只关注智能体在路径点处的姿态。它们利用导航轨迹上各路径点记录的姿态序列来表示智能体在环境中的自我运动。这些姿态序列仅包含智能体在路径点处的位置和方向信息,因此智能体无法准确感知相邻路径点之间的运动轨迹,如图1(a)所示。由此可见,姿态序列只是智能体自我运动的粗略表示。正因为如此,现有方法只能从一系列视觉观测数据中间接推断智能体在相邻路径点之间的细微运动,这可能会限制智能体的跨模态空间推理能力。
为了解决这一问题,我们引入光流来表示智能体在路径点之间的细微自我运动。光流可以通过对相邻路径点的视觉观测获得,它能够帮助智能体感知路径点之间的细微自我运动,如图1(b)所示,因为光流能够记录物体与观察者之间的相对运动[17]。在VLN-CE场景中,场景仅由静态物体构成,智能体则充当观察者,因此基于智能体视觉观测计算得到的光流便能代表其自我运动。
基于这一思路,我们提出了一种新的运动感知预训练阶段,旨在让智能体具备表示细微自我运动的能力。不过,现有的VLN-CE数据集[22]中缺乏细微自我运动的监督标签。为了解决数据不足的问题,我们设计了自我运动数据增强阶段。在该阶段,我们会选取SPL值为1的高质量导航轨迹,并基于这些轨迹录制观测视频。这些观测视频可用于监督智能体学习细微的自我运动。此外,我们还提出了分层运动对齐模块,该模块能够计算局部和全局相似度,从而衡量基于预先录制的观测视频与导航过程中实际观测视频计算得到的光流序列之间的差异。由于学会了细微的自我运动,智能体能够形成更稳健的导航策略,并在两个VLN-CE数据集(R2R-CE、RxR-CE)上取得最先进的性能。
综上所述,我们的主要贡献如下:
- •
我们引入光流来明确表示智能体的细微自我运动,提升了其运动感知能力。具体而言,我们设计了一个运动感知模块,能够动态融合RGB特征与光流特征,从而弥补粗略姿态序列的不足。
- •
我们构建了增强型的自我运动数据集,以便让智能体学习细微的自我运动。
- •
我们设计了分层运动对齐模块,用于确保预测光流序列与真实光流序列之间的一致性。
章节节选
连续环境中的VLN
在VLN任务中,智能体在离散环境和连续环境中的行为存在差异。在离散环境下的VLN任务中,环境会被预先表示为环境地图,智能体从模拟器中获取路径点信息,然后通过传输在路径点之间移动[5],这意味着智能体无法感知路径点之间的移动过程。而在连续环境下的VLN任务[22]中,则不存在环境地图,智能体需要通过执行底层动作来
方法
概述。如图2所示,我们提出的Motion-VLN框架旨在让智能体具备明确的细微自我运动感知能力。该框架包含三个逐步推进的阶段:(a)自我运动数据增强阶段,如3.1节所述,该阶段会构建一个名为自我运动数据集的高质量数据集,其中包含各类观测视频;(b)运动感知预训练阶段,该阶段利用光流作为监督信号,使学生模型的自我运动与真实值保持一致;
实验
我们在R2R-CE和RxR-CE数据集[22]上对Motion-VLN进行了测试,内容包括实验设置、与现有最先进方法的对比以及消融实验分析。此外,还进行了定性分析、特征对齐可视化研究,以及对自适应门控机制的动态分析。
结论
我们提出了Motion-VLN框架,该框架通过引入光流,能够明确建模VLN-CE场景中的细微自我运动。我们的方法包含三个阶段:自我运动数据增强阶段,为选定的场景添加观测视频;运动感知预训练阶段,用于训练学生模型以理解自我运动;微调阶段,则用于进一步优化学生模型。在R2R-CE和RxR-CE数据集上的实验表明,所提出的方法取得了最先进的性能,且在多个指标上都有显著提升
CRediT作者贡献说明
高桐:写作——审稿与编辑,写作——初稿撰写,可视化,验证,方法论,数据整理。王立春:写作——审稿与编辑。傅宇:可视化工作。刘子金:可视化工作。江震:可视化工作。张天一:可视化工作。王嘉源:可视化工作。
利益冲突声明
作者声明,他们不存在任何可能影响本文研究成果的已知财务利益关系或个人关系。
致谢
本研究部分得到了中国国家自然科学基金(项目编号62376014、62441232)以及中国高校学科创新引智计划(项目编号2021JQR023)的支持。
高桐于2019年获得内蒙古科技学院学士学位,2023年同校获得硕士学位。他目前正在北京工业大学信息科学与技术学院攻读控制科学与工程专业的博士学位。他的研究兴趣包括视觉语言导航以及具身人工智能领域。
Tong Gao|Lichun Wang|Yu Fu|Zijin Liu|Zhen Jiang|Tianyi Zhang|Jiayuan Wang
中国北京市多模态认知计算与智能软件技术北京市重点实验室,北京市