AnchorNav：基于锚点协同验证与语义空间先验的免训练物体目标导航

《Neurocomputing》：AnchorNav: Training-Free Object-Goal Navigation via Anchor Co-Verification and Semantic Spatial Priors

　　

# 摘要

具身物体导航旨在使自主智能体能够探索复杂的未知环境并精确定位目标物体，是高级机器人任务执行的基础能力。然而，复杂的室内环境对目标物体定位提出了双重挑战。首先，目标物体容易受到遮挡、视角变化和背景干扰的影响，使精确定位本身具有固有的困难性。其次，当同一类别的多个实例在同一场景中并存时，仅凭外观匹配不足以识别正确的目标，需要对候选目标周围环境与指令指定的锚点集合进行联合验证，这对智能体的空间推理能力提出了更高的需求。为应对这些挑战，我们提出了AnchorNav，一个零样本物体导航框架，该框架遵循由粗到细的层次化决策结构，将导航任务分解为三个功能解耦的层次，即感知层、认知层和决策层。通过对目标实例识别与周围锚点约束满足的联合验证，该框架在复杂室内环境的多候选场景下实现了对正确目标实例的精确定位。感知层采用由粗到细的级联检测流水线，融合开放词汇检测模型与视觉语言模型，实现渐进式目标识别。认知层将空间分类器与先验概率估计相融合，利用环境地标作为空间索引来引导搜索过程。决策层通过四场景处理框架协调探索、验证和导航策略，同时长程记忆模块在各时间步之间维持语义一致性。我们的方法在AcON-Bench的两个划分上均取得了卓越性能，即IIN-Enhanced和HSSD-Enhanced，在IIN-Enhanced上达到了67.0%的成功率（SR）和43.8%的 SPL，在HSSD-Enhanced上达到了66.8%的SR和38.9%的SPL，在两种评测设置下均展现出一致且具有竞争力的结果。

# 引言

具身人工智能（EAI）作为迈向通用人工智能（AGI）追求中的典范范式，旨在构建能够进行沉浸式物理感知、复杂认知推理以及与环境无缝交互的智能系统[1], [2]。在该领域中，具身导航作为连接高层语义感知与底层运动控制的基本枢纽，长期以来一直是机器人学和计算机视觉研究的焦点。一个具备强大自主导航能力的移动智能体不仅需要解码多模态人类指令，还必须能够在非结构化且复杂的室内环境中执行长程路径规划与自适应决策。此类能力对于提升从家庭服务机器人到灾害搜救和工业自动化巡检等实际应用的自主性水平至关重要[3], [4], [5], [6]。

物体目标导航（ObjectNav）是具身智能领域中的基础任务，要求智能体在先前未观测过的环境中导航至由语义类别指定的目标物体[7]。近年来，零样本物体导航（ZSON）在大规模视觉语言模型（VLM）的快速发展推动下获得了显著动力[4], [8]。与传统需要大量任务特定标注的监督方法不同，零样本方法利用基础模型（如CLIP[9]和BLIP[10]）的开放词汇潜力，能够在无专门训练的情况下泛化至任意语义目标。例如，Li等人[11]提出了GOAL，一种流匹配生成模型，该模型想象未观测区域的完整场景语义地图，并使用大语言模型蒸馏的空间先验作为训练监督，引导探索朝向最可能的目标位置。与此同时，Li等人[12]提出了一种跨空间锚点对齐机制，专门用于缓解空间特征衰减并在长期导航中维持一致性。

然而，传统的物体目标导航（ObjectNav）任务仅通过通用语义类别（如"床"或"椅子"）来定义目标，这本质上限制了智能体在单一环境中区分和选择同一类别多个共存实例的能力[13]。在真实且复杂的场景中，目标往往通过独特的细粒度属性或特定的空间排列来表征。例如，用户可能指示机器人找到"位于大厅右侧窗户旁的蓝色织物床"，而非任意一张床。这种从类别匹配到精确实例定位的范式转变，推动了语言驱动的零样本物体导航（L-ZSON）[14]的出现。L-ZSON要求智能体解析复杂的自然语言描述——涵盖颜色、材质和空间朝向——从而对细粒度视觉-语言对齐以及长期跨空间任务中目标一致性的维持提出了严格要求[15], [16]。

在实践中，识别正确的目标实例往往不仅需要对目标本身进行推理，还需要对其周围锚点物体进行推理。现实世界中的导航指令经常通过共现的上下文邻居来指定预期目标，即只有当实例周围上下文同时满足预指定的一组锚点约束时，该实例才被视为有效。考虑如下指令："找到书桌两侧有书架和落地灯的那张书桌。"如果任何书桌未能与其紧邻区域中的书架和落地灯共存，则该书桌将被明确排除，无论其本身与目标类别匹配得多精确。这种区别构成了基于关系共满足而非实例内在属性的根本性不同验证逻辑。我们将此任务称为锚点条件物体导航（AcON），这是语言驱动的零样本物体导航（L-ZSON）的指令条件实例级扩展。与类别级ObjectNav不同，AcON要求智能体通过同时满足目标外观约束和指令指定的锚点上下文约束来定位正确的目标实例。形式化地讲，锚点是指通过稳定的空间-语义关系来定位或验证目标实例的非目标物体。在我们的设置中，锚点在指令中被明确指定或可从其外部描述中恢复，并作为目标消歧的验证线索。当没有此类线索可用时，该任务退化为标准的单目标导航。

此外，真实的室内环境通常被划分为多种功能区域（如客厅、卧室、厨房和浴室），目标物体经常位于与智能体初始位置物理隔离的不同房间中[17]。此类跨空间导航场景要求智能体不仅具备细粒度识别能力，还需要强大的空间推理和长程规划能力，以在复杂拓扑布局中定位跨区域目标[18], [19]。在这些碎片化空间中维持目标特征一致性的迫切需求进一步加剧了任务的复杂性[20]。

在相关方法中，SG-Nav[21]和UniGoal[22]代表了处理细粒度、空间复杂导航任务的最新进展，并引入了在线3D场景图的构建[23]来编码物体、物体组和房间之间的层次关系。具体而言，SG-Nav从实时RGB-D观测中提取细粒度物体节点，并利用开放词汇分割模型将其语义属性与对应房间节点关联，从而建立三层拓扑结构[24]。基于此表示，它采用层次化思维链（CoT）提示来引导大语言模型（LLMs）遍历图节点和边，以在特定空间约束下推理目标位置[25]。UniGoal进一步通过将该范式中的目标描述表示为结构化的目标图，在场景图与目标图之间执行子图匹配来准确确定特定属性实例的观测状态，随后驱动一个复杂的多阶段探索策略[26]。

最近的研究还探索了更广泛通才型和全景式导航范式。OctoNav[27]开发了一个通才型具身导航框架，而PanoNav[28]则结合全景场景解析与动态记忆实现无地图零样本物体导航。这些方法扩展了零样本导航的范围，但并未明确解决AcON中考虑的实例级目标-锚点共满足准则。

然而，此类全局场景图方法存在固有的结构性局限。在每一步决策时，智能体必须持续维护并解析一个随探索范围单调增长的全局场景拓扑结构，导致计算复杂度和内存开销呈非线性增长，严重限制了此类方法在大规模环境中的可扩展性。更关键的是，这种全局匹配范式将所有场景区域视为等效的搜索空间，未能利用与目标物体相关的内在空间-语义先验，缺乏专用的局部上下文验证机制。一个有用的设计直觉是，高效的物体搜索通常受益于由粗到细的过程：首先筛选语义上合理的区域，然后在候选实例周围进行局部上下文验证。在AcON设置中，这一直觉体现为通过房间级语义先验优先筛选有希望的区域，然后仅对入围的候选目标执行锚点条件验证。通过大幅压缩有效搜索空间并过滤掉不相关的背景干扰项，这种由粗到细的机制在部分可观测、长程环境中实现了高效且鲁棒的目标定位。

受此观察启发，我们将锚点条件目标定位公式化为一个需要目标外观和锚点上下文约束共同满足的局部双条件验证问题。AnchorNav不依赖持续的全球场景图维护和匹配，而是围绕房间先验引导的探索和轻量级局部共验证来构建。本研究的主要贡献如下：

**(1) 锚点条件物体导航（AcON）的公式化与基准构建：** 我们将AcON公式化为L-ZSON的指令条件实例级扩展，在此中成功的定位需要同时满足目标外观约束和锚点上下文约束。为评测此设置，我们构建了AcON-Bench，由两个增强划分组成：基于HM3D的IIN基准构建的IIN-Enhanced，以及基于HSSD场景集合构建的HSSD-Enhanced。利用离散化多视角全景重建和基于VLM的感知-验证流水线，这些划分提供了以物体为中心的全景表示、显式的目标-锚点拓扑标注，以及供AcON评测的物理可到达长程任务片段。

**(2) 房间先验引导的局部共验证框架：** 我们不依赖持续的全局场景图维护和匹配，而是引入一个层次化框架，将房间级语义先验与轻量级局部目标-锚点共验证相结合，使智能体能够在长程部分可观测条件下实现高效的目标消歧。为解决开放词汇环境中物体分布固有的不确定性问题，我们提出了一种基于常识的物体-空间概率关联模型。通过利用大语言模型对物体功能和典型使用场景进行语义解析，该模型建立了目标在不同功能区域的先验概率分布。我们进一步引入环境地标作为空间类别的视觉指示器，促进从盲目搜索到结构化空间聚焦的范式转变，从而确保导航过程中的灵活性与鲁棒性。

**(3) 宏观到微观导航的层次化共验证架构：** 受由粗到细搜索直觉的启发，我们围绕一个统一的运作假设设计了一个模块化架构：通过将房间先验引导的探索与局部锚点条件共验证相结合，可以实现高效的实例级导航。因此，感知层、认知层和决策层并非作为孤立模块协调运作，而是作为一个特定于任务的机制，用于渐进式候选筛选、上下文验证和自适应导航执行。感知层采用融合开放词汇检测器与视觉语言模型的级联检测流水线，实现从粗粒度候选定位到细粒度属性验证的渐进式过渡。认知层利用知识融合逻辑赋予智能体结构化的环境理解能力。决策层通过原创的四场景处理框架协调前沿探索、视角规划和跨区域策略。通过将宏观区域定位与微观属性验证解耦，该架构有效地消除了全局搜索导致的冗余计算开销，确保了在长期、跨区域任务中的高决策效率和目标定位精度。

## 片段摘录：具身导航的多模态空间语义增强——基于IIN-Enhanced和HSSD-Enhanced的拓扑感知标注扩展

实例图像导航（IIN）基准基于Habitat模拟器实例化，使用HM3D数据集中的场景，是评估非结构化室内环境中实例级目标导航的关键协议[29], [30]。同时，HSSD-200[31]是一个独立构建的数据集，包含211个高质量合成3D场景，代表真实世界室内环境，涵盖18,656个多样化的物体模型，已被广泛用于具身导航研究。

## 环境感知与动态语义网格映射

鲁棒且实时的环境表示是机器人系统中自主避障和高效探索的基本前提。为弥合非结构化原始传感输入与可操作导航智能之间的鸿沟，我们提出了一个动态语义映射框架，促进从本地自我中心观测到全局一致的物体中心坐标系的转换。完整系统架构及其动态全局语义占据网格图构建：高效导航要求智能体超越几何推理，融入功能语义。例如，"卧室"或"厨房"等语义线索可显著优化搜索和重定位任务。我们提出了动态全局语义网格图（DGS-GridMap），一种统一表示，将几何可通行性与空间属性集成。它采用解耦的双层架构：几何层用于占据状态（未探索、占据、可通行），以及……

## 方法

本节详细阐述了所提出的AnchorNav框架，该框架专门设计用于解决大规模室内环境中部分可观测物体搜索（POOS）的严峻挑战。

如图5所示，核心设计理念旨在实现全局探索与局部利用之间的动态平衡。该架构通过将导航任务解耦为三个功能正交的分层来实现这一目标：**感知层**：负责实验设置我们的实验在Habitat-Sim仿真平台[7]、[37]、[38]上进行。我们在第2节所述的两个AcON-Bench划分上评估我们的方法，分别是IIN增强版（基于HM3D的IIN基准构建）和HSSD增强版（基于HSSD场景集构建）。我们的实验在AcON设置下评估AnchorNav。在此范式下，智能体在完全未知的室内环境中随机初始化，并接收包含细粒度描述的Conclusion本研究表明了一种用于目标导航的分层模块化架构，该架构将复杂的导航任务分解为三个功能独立的层次：感知、认知和决策，从而在系统逻辑中实现了高度的系统化和透明性。除了集成现有的感知和推理组件外，AnchorNav的核心贡献在于将锚点条件导航重新表述为一个局部协同验证问题，CRediT作者贡献声明Wenzhou Dong：验证。Liang Wu：写作——审稿与编辑。Mingyu Dai：方法学、调查研究、形式化分析、概念化。ChenXi Huang：概念化。Boyuan Zheng：项目管理。Zhenqing Cheng：资源。利益冲突声明作者声明他们没有已知的可能与本文所报告的工作产生冲突的财务利益或个人关系。Mingyu Dai于2022年获得吉林大学（中国长春）车辆工程学士学位，目前在车辆工程系攻读博士学位，研究方向为视觉与语言导航（VLN）和物体导航。Mingyu Dai|ChenXi Huang|Boyuan Zheng|Zhenqing Cheng|Wenzhou Dong|Liang Wu吉林大学国家汽车底盘集成与仿生重点实验室，中国长春