用于零样本物体导航的交互式3D场景图对齐

《Neural Networks》：Interactive 3D Scene Graph Alignment for Zero-Shot Object Navigation

　　

余赫|周康|田立芳

摘要

在未知、动态且复杂的3D环境中，仅依靠视觉输入进行导航对具身智能体而言仍是重大挑战。为解决这一问题，我们提出了I3DSG（交互式3D场景图），这是一种全新的感知框架，它能构建基于鸟瞰图的场景图，并融入几何布局、语义关系以及可执行的操作信息。通过整合开放词汇对象检测技术与大型语言模型，I3DSG将先验的常识知识与实时场景观测结果相结合，从而能够有效处理缺失的信息点，并确定在未知环境中的可行交互方式。此外，该框架还通过基于图的网格决策评分机制优化动作选择，这一机制利用全局空间上下文来实现一致的路径规划。在标准测试基准上的大量实验表明，与现有方法相比，I3DSG在成功率及SPL指标上表现更优。尤为重要的是，我们不仅在模拟环境中验证了该方法，还在实际环境中使用配备多视角RGBD相机的Scout ROS2机器人进行了测试，结果证明，即便存在传感器噪声和光照变化，I3DSG依然能在物理环境中有效发挥作用。代码和数据集可在 https://github.com/zhoukang12321/3DSG4Nav

引言

零样本对象导航旨在仅通过高级指令，引导具身智能体在从未见过的环境中找到特定类别的对象，相关研究包括Kim等人（2023年）、Lin等人（2024年）、Pchelintsev等人（2025年）、Singh等人（2023年）、Sun、Li、Di、Wei、Nie、Zhang、Zhan、Song和Fan以及Sun、Chen、Fan、Chen、Li、Tan在2024年的研究，还有Wu等人（2024年）和Zhou等人（2023年）的工作。零样本对象导航的成功取决于强大的视觉感知能力、语义推理能力以及空间感知能力，这些能力使智能体能够理解指令、高效探索，并沿着近乎最优的路径到达目标。现有的方法主要分为两类：端到端强化学习方法，如Shah等人（2023年）的研究，以及基于图或网格的规划方法，比如Wu等人（2024年）的方法。虽然端到端模型可以直接将RGBD输入映射为动作，但它们存在可解释性差、样本效率低以及泛化能力有限的问题。而基于图的方法虽然能构建用于路径规划的语义或拓扑地图，但往往依赖2D表示，从而忽略了重要的深度信息，导致在3D空间中无法准确定位目标。

当前基于图的系统的一个关键局限在于其静态节点选择策略：它们通常通过均匀采样的网格点或预定义的路径点来规划路径，未能充分利用那些具有丰富多方向观测信息的决策点，比如走廊交叉口，而这些位置本可以显著提升场景理解能力和动作选择效果。此外，尽管近期的一些研究整合了开放词汇检测技术，如Minderer等人（2022年）的研究，以及大型语言模型，如Bai等人（2025年）和Radford等人（2021年）的研究，试图将文本指令与视觉输入相关联，如Lin等人（2024年）、Rajvanshi等人（2023年）以及Zhou等人（2023年）的工作，但这些方法仍难以处理实例级别的歧义问题（例如，在多个杯子中区分“画有花朵的杯子”），而且也缺乏对3D空间关系的明确建模，而这正是实现精准定位所必需的。与那些主要为大型语言模型提供空间参考的现有3D场景图方法不同，我们的I3SG框架引入了一种全新的对齐机制，通过持续的环境互动，将3D视觉感知、场景图以及语言理解三者联系起来。我们提出的I3DSG（交互式3D场景图）是一种全新的零样本导航在线框架，它能够根据实时的RGBD观测结果构建动态的、可操作的3D场景图。与以往的2D或拓扑表示方法不同，I3DSG能够明确建模3D空间中的几何布局、语义关系以及交互可能性，从而使智能体不仅能判断物体的存在，还能了解可行的交互方式以及可通行的区域。我们的方法分为两个相互配合的阶段：首先，一个在线3D场景图构建器会将多视角的鸟瞰图特征与深度图相结合，生成一种节省内存的伪点云表示形式，这样就能在各个视角之间实现一致的开放词汇检测和几何定位，同时通过空间上下文来解决实例级别的歧义问题。其次，在作为空间推理引擎的大型语言模型的引导下，I3DSG能够在探索过程中识别出具有信息价值的交叉点，这些位置能够提供对多个可行区域的视野，进而被用作决策的依据。

至关重要的是，我们将导航问题重新定义为双重策略过程：（1）一个探索策略，用于预测交叉点周围长期感兴趣的区域；（2）一个判断策略，用于利用类别自适应阈值，动态评估所观察到的区域与目标指令之间的语义相似度。这两种策略都是在离散的动作空间中通过强化学习进行训练的，但它们是在连续的3D几何结构上运行的，从而在样本效率与空间精度之间取得了平衡。大型语言模型会接收以自我为中心的场景图描述以及区域级总结信息，这样它就能无需进一步微调，就将常识知识与现实世界的观测结果相结合。

我们在标准的零样本对象导航测试基准上对I3DSG进行了评估，更重要的是，我们还在实际室内环境中，使用配备多视角RGBD相机的Jackal机器人对该算法进行了测试。实验结果表明，I3DSG在模拟环境中的表现达到了当前最佳水平（以成功率和SPL指标衡量），更为重要的是，即便存在传感器噪声、光照变化以及不规则的布局，它依然能够在真实环境中保持出色的通用性。据我们所知，这是首个在模拟环境和真实物理环境中都经过验证的基于零样本3D场景图的导航系统。

本文的主要贡献如下：

• 1)
  我们提出了I3DSG，这是首个用于大规模未知环境中的零样本导航的交互式3D场景图框架，它能够在探索过程中逐步生成一致且无重复的指令。
• 2)
  我们设计了一种全新的大型语言模型定位机制，该机制借助3D场景图以及基于交叉点的区域描述，无需额外训练即可实现全面、细致的3D场景理解。
• 3)
  我们提出了一种双重策略导航架构，该架构能够克服传统3D感知型零样本对象导航方法存在的样本效率低和泛化能力差的缺陷，而且我们在模拟环境及实际应用中都验证了该架构的有效性。

章节节选

相关工作

我们从三个方面回顾了相关文献：零样本对象导航、用于具身智能体的3D场景图表示方法，以及基于视觉语言模型的导航技术。我们指出了先前研究中的局限性，这些局限性也为我们设计I3DSG提供了依据。

模型概述

我们在图2中介绍了我们方法的整体架构。该方法利用视觉语言模型来预测智能体需要导航到的位置。为此，我们首先从场景中提取对象标签或场景描述等上下文线索，然后利用这些线索来构建提示语，从而询问视觉语言模型智能体应如何探索环境。视觉语言模型则凭借其对环境中对象关系的常识性认知来为智能体提供指导。

实验设置

我们沿用了之前的实验设置，如Dang等人（2022年）和Dorbala等人（2023年）的做法，只使用分辨率为128×128、视野角度为120°的RGB相机。与使用全景输入的方法不同，我们还按照Liu等人（2023a）的方法，在智能体身上安装了分别位于左侧、右侧、前方和后方的四台相机。

我们的实验在真实环境中进行，这些环境包括Gibson Xia等人（2018年）构建的MP3D环境、Chang等人（2017年）构建的HM3D环境，以及Ramakrishnan等人（2021年）创建的虚拟环境。

结论

在未知、动态且复杂的3D环境中，仅依靠视觉解决方案进行导航确实面临诸多挑战。因此，良好的场景理解能力对于实现智能导航至关重要。然而，目前大多数研究方法都侧重于2D观测，缺乏对3D环境及几何特征的全面理解，这限制了它们的规划能力。在本文中，我们提出了一种基于3D感知的视觉导航方法，该方法采用了鸟瞰图场景图。通过构建3D

未标注引用

图4和图8缺少引用标注。

CRediT作者贡献说明

余赫：负责撰写原文初稿及可视化工作。周康：负责软件开发、资源收集以及数据整理工作。田立芳：负责资源收集以及形式化分析工作。

利益冲突声明

我们声明，我们与任何可能对我们的工作产生不当影响的其他个人或组织之间不存在任何财务或个人关系，而且我们也不在任何产品、服务或公司中拥有任何可能影响我们对题为“用于零样本对象导航的交互式3D场景图对齐”这篇手稿的观点或对其评审工作的专业或其他个人利益。