摘要
在连续环境中，视觉与语言导航（VLN-CE）需要具身化的代理将自然语言指令转化为在部分可观测性条件下的可靠长距离运动决策。尽管多模态大型语言模型（LVLM）具有强大的语义理解和推理能力，但当直接应用于VLN时仍面临挑战，因为它们缺乏明确的空间定位能力、具身化记忆以及对几何形状和可达性约束的认识，这会导致在复杂场景中出现感知错位和决策错误。为了解决这些问题，我们提出了STAMP（一种基于时空锚点的运动规划框架），用于零样本VLN-CE任务。STAMP采用分层设计，将高级语义推理与低级运动执行分离，使预训练的LVLM能够在结构化的、以导航为导向的抽象层面上进行操作。其核心创新在于多模态时空锚点机制，该机制明确编码了与指令相关的地标、动作语义、深度感知的几何信息以及历史导航上下文，并结合了一个明确的导航链推理过程，将决策过程限制在关键导航线索上。此外，STAMP还逐步构建了一个支持在线回溯的拓扑地图，从而在不确定性条件下实现稳健的规划。大量实验表明，所提出的STAMP框架在VLN-CE基准测试和真实世界场景中表现出与最先进零样本方法相当的性能。
