用于视觉语言导航的实例增强型语义地图

《Engineering Applications of Artificial Intelligence》：Instance-enriched semantic maps for Visual Language Navigation

　　

摘要

视觉语言导航旨在让具身智能体能够通过遵循自然语言指令在复杂环境中导航。近期方法构建了语义空间地图，并利用大型语言模型进行推理和决策。尽管取得了这些进展，现有系统仍缺乏实例级物体细节，且对不同用户查询的适应性不足，这限制了其在复杂室内环境中的可靠导航能力。为解决这些问题，我们提出了实例增强型语义地图这一统一框架，包含三项关键贡献：（1）实例级二维半丰富信息映射，该技术通过开放词汇泛化分割，基于颜色和深度观测构建地图，既能保留垂直差异并捕捉小型物体，又能存储丰富的语义属性及结合房间上下文的自然语言描述。（2）基于大型语言模型的强大查询处理能力，该机制可通过动态路由将查询分配给不同类型的专家模型，并通过分数级融合整合其输出，从而在多种查询表述下实现一致的目标选择。（3）高效的存储型语义表示方法，与三维场景图方法相比，其存储需求可降低约96%，同时仍能保留足够的空间信息以支持导航。所提出的二维半表示方法在预测归一化的曲线下面积指标上比三维基线方法高出27%以上。在导航实验中，与基线方法相比，该方法在各类查询类型下的物体检索效率提升了17%以上，导航成功率提升了23%以上。项目页面地址为：https://devtechproject123-collab.github.io/iesm_vln。

引言

在复杂且动态的环境中实现稳定运行，仍是自主机器人面临的核心挑战（Kawaharazuka等人，2024；Radosavovic等人，2024；Yang等人，2025；Zhang等人，2022）。克服这一挑战的关键在于让机器人能够理解并响应人类语言，从而解读高级意图并相应调整行为（Arumugam等人，2017；Huang等人，2023；Wang等人，2024）。在此背景下，视觉语言导航作为一种极具前景的技术应运而生，它能够让具身智能体在真实感极强的环境中遵循自然语言指令行事（Anderson等人，2018；Savva等人，2019；Kolve等人，2017）。视觉语言导航的核心设计难题在于如何表征环境，以便智能体能够同时进行空间推理和语言理解。近期方法借助预训练的视觉语言模型构建语义地图，无需针对特定任务进行微调即可实现零样本导航，这体现了开放词汇理解在具身智能体应用中的巨大潜力（Huang等人，2023；Jatavallabhula等人，2023；Werby等人，2024）。然而，如何将开放词汇推理与空间表征有效结合，同时兼顾语义表达能力与存储效率，依然是一个挑战。

早期的研究通常依赖图形结构的全景图（Anderson等人，2018；Fried等人，2018）或二维特征图。虽然这类表示方法能提供基础的语义线索，但它们本质上缺乏实例级细节以及垂直结构信息。因此，这类系统往往难以区分同一语义类别下的多个实例，也无法理解那些侧重属性描述的复杂指令。为解决这些几何限制，近期研究开始转向高精度的三维表示方法，包括分层场景图（Jatavallabhula等人，2023；Yin等人，2024）、体积重建技术（Liu等人，2024；Wang和Lee，2025）以及基于高斯函数的三维绘制方法（Dai等人，2024；Lei等人，2025）。尽管这些方法能提升空间语言推理能力，但它们会带来较高的存储需求，从而限制了其在大规模或长期机器人应用中的使用。

在本研究中，我们提出了实例增强型语义地图，这是一种用于零样本开放词汇视觉语言导航的统一框架，它将实例级语义细节与紧凑的二维半空间表示相结合。该框架通过多占用网格单元保留垂直差异，同时将存储成本控制在远低于完整三维表示的水平，从而实现了三维方法的表达能力与二维方法的效率之间的平衡。该框架还为每个实例添加了房间级上下文以及描述颜色、材质等视觉属性的文字说明，从而使语义理解能够超越单纯的分类标签层面。在此基础上，所提出的多类型专家融合检索模块通过查询自适应的专家路由和分数级融合机制，能够在结构多样的自然语言查询中实现稳健的目标实例选择。如图1所示，该框架由三个映射组件和一个基于MTEFR的导航组件构成，具体内容将在第3节详细介绍。

本文的主要贡献如下：

• •
  实例级二维半丰富信息映射：本文提出了一种全面的映射框架，可在实例级别存储多样化的语义属性，包括空间上下文、视觉属性、描述性文字以及房间级上下文等信息，从而通过更精准的物体理解和区分显著提升导航精度。这种二维半表示方法还能确保小型物体在映射过程中不会丢失，始终被准确保留。
• •
  基于大型语言模型的强大查询处理能力：所提出的MTEFR模块能够充分利用实例级别存储的多样化语义属性，通过查询自适应的专家路由和分数级融合机制，实现在不同结构类型的查询条件下都能进行稳健的目标实例选择，突破了传统关键词提取的方式，实现了基于融合的语义推理。
• •
  高效存储型语义表示：这种二维半表示方法将以实例为中心的映射与基于大型语言模型的文字描述相结合，与三维场景图方法相比，其存储需求大幅降低，同时仍能保留足够的空间信息以实现精准导航。

在Matterport3D（MP3D）、Replica以及Habitat-Matterport 3D Semantics（HM3DSEM）数据集上进行的大量实验验证了上述各项贡献。在第4.1节中，所提出的二维半映射方法实现了准确的实例级分割，其在各数据集上的预测归一化曲线下面积平均比三维基线方法高出27%以上，且能够可靠地保留小型物体。在第4.2节关于房间级分割的测试中，该方法通过利用结构先验有效降低了像素级噪声，在平均精度指标上比基于对比语言图像预训练模型的基线方法高出14%，在平均交并比指标上高出22%。在第4.3节中，与分层开放词汇三维场景图方法相比，该方法在各种查询类型下的物体检索效率平均提升了17%以上，导航成功率提升了23%以上，其中在基于描述和抽象内容的查询中提升效果最为显著，而消融实验也证实了包括MTEFR在内的各个模块都发挥了重要作用。第4.4节显示，与三维场景图方法相比，该方法的存储需求可降低约96%。

本文的其余部分结构如下：第2节回顾相关研究；第3节详细介绍实例增强型映射框架，包括二维半地图的构建、房间级分割、描述性文字生成以及基于MTEFR的目标导向导航功能；第4节展示在模拟环境中的实验结果；第5节则对全文内容进行总结，并指出未来的研究方向。

章节要点

视觉语言导航的空间表征

视觉语言导航系统所采用的空间表征决定了可用于解析语言指令的几何和语义结构。现有的空间表征方式从扁平的二维投影到完整的三维重建不等，每种方式都在存储效率与空间表达能力之间做出了不同的权衡。

二维表征方法（Liu等人，2023；An等人，2023；Wang等人，2023）会将高维视觉特征投影到平面之上，并将其存储在离散的网格结构中

研究方法

该研究采用多阶段处理流程，从RGB-D输入数据中生成以实例为中心的语义地图，从而为基于语言的导航提供支持。首先，利用视觉语言模型从颜色（RGB）输入数据中生成实例分割掩码，再将这些掩码在不同帧之间进行合并，从而构建出具有时间一致性的实例级二维半地图。其次，从合并后的实例中识别出建筑结构，进而生成房间分隔掩码，将该掩码与障碍物地图结合，通过视觉语言嵌入技术为不同房间分配标签，

实验分析

我们从多个角度对所提出的框架进行了评估。首先，我们测量了实例级二维半映射的准确性，其中还专门测试了小型物体的保留情况，并验证了二维半表示方法相较于二维映射的优势（第4.1节）。接下来，我们评估了房间级分割的质量（第4.2节）。随后，我们测试了在不同类型查询条件下的目标检索和导航成功率，并通过消融实验来量化包括MTEFR在内的各个模块的贡献程度

结论

本文提出了实例增强型语义地图，这是一种统一的框架，它整合了实例级二维半映射、房间级语义分割以及实例描述功能，旨在实现开放词汇导航。所提出的二维半表示方法在所有数据集上的预测归一化曲线下面积平均比三维基线方法高出27%以上，同时能够可靠地保留小型物体，且实例数量上的差异也显著更小，此外它的存储需求还降低了约96%。

CRediT作者贡献说明

Jiho Hong：写作——审稿与编辑，写作——初稿撰写，验证工作，方法设计，概念构思。 Eunae Kang：写作——初稿撰写，验证工作，方法设计，研究实施。 Sanghyun Kim：监督工作，项目管理，研究实施。 Young-Sik Shin：写作——审稿与编辑，写作——初稿撰写，验证工作，监督工作，项目管理，方法设计，概念构思。

利益冲突声明

作者声明，他们不存在任何可能影响本文研究结果的已知财务利益关系或个人关系。

Jiho Hong|Eunae Kang|Sanghyun Kim|Young-Sik Shin

韩国永仁市庆熙大学机械工程系，邮编17104