用于视觉导航的视觉与多模态知识图谱接地模型

《Neurocomputing》：Visual and multi-modal knowledge graph grounding model for visual navigation

　　王进|李聪|刘畅|王增凯|周康
国家电网湖北电力研究院，武汉，中国

**摘要**
尽管大型语言模型（LLMs）在语义理解、推理和未知环境中的空间感知方面表现出色，但它们往往难以感知个性化的物理布局并实时与环境互动。为了解决这一限制，本文提出了一种基于场景的多模态知识图谱（MKG），该图谱将LLMs与视觉感知模块相结合，以预测物体并生成实用的动作计划。我们进一步引入了一种分层式的视觉-语言-动作（VLA）导航策略，该策略结合了环境理解与长上下文视觉-语言模型（VLMs）的常识推理，以及基于拓扑图的强大低级策略，从而提高了导航性能和任务规划的完整性。在高层，长上下文VLM处理演示场景片段和多模态用户指令以识别目标帧。在低层，系统使用该目标帧和预构建的拓扑图在每个时间步生成具体的机器人控制命令。实验结果表明，MKG框架生成的动作规划在多个任务中的表现优于现有方法，突显了其在复杂室内环境中的有效性和实际应用潜力。

**引言**
机器人视觉导航技术取得了显著进展。早期系统通常要求用户在预映射的环境中指定精确的物理坐标，这限制了灵活性和可访问性。最近在视觉导航[15]和视觉-语言导航（VLN）[37]方面的进展使机器人能够解释开放词汇的自然语言指令（例如，“去沙发那里”），显著提高了人机交互的可用性和自然性。作为在世界上感知和行动的自主实体，代理依赖于导航作为在复杂、以人为中心的环境中互动的基础能力；因此，自然语言正成为人机协作的强大接口[17]。最近的研究将语义图谱、知识图谱和预训练的零样本视觉-语言模型（VLMs）结合起来，用于开放词汇场景理解。尽管取得了有希望的结果，但这些方法仍然难以在大型、未见过的环境中进行抽象和泛化；即使使用能够紧凑表示复杂场景并与VLMs接口的3D场景图，许多系统仍然受限于预定义或小规模环境。

**知识图谱（KGs）在视觉导航中的应用**
知识图谱（KGs）在视觉导航中获得了显著关注。杨等人[22]首次将KGs作为场景先验引入，编码目标之间的空间-结构关系以增强跨场景泛化能力。邱等人[14]提出了一种父-目标-子目标结构，根据与目标的空间距离来塑造奖励，指导房间级别的探索。权等人[23]提出了视觉图谱记忆（VGM），使用无监督表示嵌入导航历史和任务相关信息。徐等人[48]通过视觉-语言预训练将KGs与视觉感知对齐；NavTr[29]使用Transformer查询丰富状态表示；孟等人[30]结合了上下文感知图推理和生成对抗性模仿学习来建模对象关系并减轻非歧视性奖励；Agia等人[1]引入了Taskography来基准测试3D场景图上的符号规划；倪等人[33]提出了GRID来利用场景图进行全局上下文和指令分解。尽管有这些进展，许多方法仍然依赖于大量的重新训练和交互；特别是强化学习，存在收敛慢和训练成本高的问题。最近在无交互学习和模仿学习方面的努力有助于减少训练开销，但尚未完全解决开放词汇目标、长视野推理和大规模拓扑可达性之间的系统对齐问题。

**为了解决这些挑战，我们提出了一种以场景为中心的多模态知识图谱（MKG）和分层式的视觉-语言-动作（VLA）导航框架，将开放词汇指令与单目感知环境下的可执行控制相结合。一个可操作的、分层的场景知识层作为中介，将长上下文VLMs的高层常识推理与基于拓扑的强大低级控制联系起来。在高层，长上下文VLM处理演示轨迹和多模态用户指令，以检索目标视图并生成可解释的子目标序列。在低层，系统将目标视图与预构建的拓扑图结合，在每个时间步生成具体的控制命令。MKG通过将多房间/多层环境抽象为房间-功能区域-目标单元，并对开放词汇视觉-语言特征进行索引，实现了各层次之间的语义-结构对齐。节点按语义接近度进行聚类（例如，“遥控器”、“电视”和“沙发”作为一个功能单元）。在在线更新过程中，图注意力网络（GATs）执行邻域加权聚合，以强调与目标相关的结构并抑制噪声。通过连续测量当前簇和目标簇之间的语义距离，系统实时更新全局图状态和代理的自我状态，实现数据高效、可泛化的规划和控制，而无需大量的强化学习。MKG还可以通过LLM提示实例化和查询，支持可扩展的长视野规划。****

**新颖性和重要性**
所提出的MKG框架在三个关键方面与现有方法有根本不同。首先，与依赖于静态、预构建图结构的先前知识图谱方法（如VGM[23]和NavTr[29]不同，我们的MKG是通过实时视觉感知和开放词汇对象检测逐步构建的，能够在不预先训练特定场景布局的情况下动态适应新环境。其次，虽然最近的基于LLM/VLM的规划器（如SayNav[37]和L3MVN[49]主要使用语言模型进行高级推理而不提供可执行的保证，但我们的分层VLA架构明确将高级语义规划与基于拓扑的低级控制相结合，确保LLM产生的每个子目标都基于物理上可行的导航命令。第三，我们的BBAD机制通过在令牌级别分解Bellman备份来解决语言条件强化学习中的信用分配问题，这与传统的行为级方法不同，后者受到稀疏和延迟奖励的影响。这种细粒度的信用分配使得在标准强化学习难以处理的长期导航任务中实现更高效的样本学习。这些创新共同使MKG能够达到最先进的性能，同时保持可解释性和计算效率，为将开放词汇语言指令与可执行的视觉导航行为联系起来提供了原则性的解决方案。

**独特的设计原则**
在深入技术细节之前，我们首先强调我们的方法与现有方法的不同之处。传统的视觉导航系统通常遵循纯粹的学习范式（例如端到端强化学习或模仿学习）或纯粹的规划范式（例如使用语义地图的几何路径查找）。我们的MKG框架通过将LLMs的常识推理能力与知识图谱的结构化表示能力和基于拓扑的控制的实际可行性保证相结合，弥合了这一差距。具体来说：（1）语义-结构耦合：与将对象检测和场景推理视为独立阶段的方法不同，我们的MKG将开放词汇视觉特征与分层关系结构（房间-功能区域-对象）融合在一个统一的图表示中，使代理能够同时利用自下而上的感知和自上而下的语义先验。（2）基于指令的图注意力：我们不是使用通用的图神经网络，而是根据LLM嵌入的指令向量来条件化GAT更新，确保图传播动态强调与任务相关的实体并抑制干扰因素。（3）解耦的目标-动作预测：我们的Transformer解码器分别预测目标对象和导航动作序列，而不是从观察结果学习一个整体的策略映射，从而减少了组合复杂性，并实现了对新颖对象-目标对的零样本泛化。这些设计选择共同解决了将抽象语言命令与具体物理行为联系起来的根本挑战，这在之前的工作中尚未解决。

**我们在AI2-THOR[21]中评估了我们的方法。实验表明，所提出的基于MKG的规划实现了更快的目标定位、更高的数据效率和更高的成功率，在AI2-THOR基准测试中达到了最先进的性能，并显示出在复杂室内环境中的强大应用潜力。**

**我们的主要贡献如下：**
• 我们提出了一个适用于多房间环境的分层开放词汇场景图，形成了支持LLM/VLM驱动的提示、规划和导航的多模态知识图谱（MKG）。
• 我们设计了一个基于MKG的学习型导航流程，采用基于簇的控制策略，将长上下文VLMs的高级语义推理与基于拓扑的强大低级控制相结合，以支持向开放词汇目标的灵活导航。
• 我们系统地评估了多种VLMs在具身任务规划方面的表现，并进行了消融研究，以确定生成可执行动作的最有效视觉场景表示。

**视觉导航**
在视觉导航中，有三个关键组成部分：地图构建、定位和路径规划[26]。地图构建涉及代理创建环境地图，定位涉及代理确定其在地图上的位置，路径规划涉及代理根据当前上下文决定其动作。传统上，导航主要被视为一个几何问题，旨在绘制环境地图并使用该地图找到到目标位置的路径[5]。

**在我们的方法中**
在本节中，我们首先概述了构建多模态知识图谱数据集的程序。然后，我们阐明了如何使用大型语言模型来识别图中的节点。最后，我们深入探讨了如何通过图像获取和对象检测将精确的任务计划与视觉场景联系起来，以及选择导航路径的过程。

**高级规划器**
知识图谱揭示了实体之间的关系，广泛用于问答、推荐系统和信息检索等任务。在获得语义知识图谱并识别区域后，我们选择每个区域周围的搜索窗口。在这些搜索窗口内，我们将所有语义对象捕获为区域信息，如图5中的蓝色圆圈所示。我们利用大型语言模型的能力进行区域选择。

**数据集构建和实验设置**
我们使用Alpaca数据集进行了80,000次迭代进行微调，每次迭代涉及6个观察-动作对。在人类演示中，每个剧集通常包含大约50到100个时间步。因此，微调过程涵盖了我们数据集中总共77,000个剧集中的4800到9600个剧集。为了生成输出，我们按照这些步骤建立动作集的概率分布。对于视觉导航，我们...

**结论**
本文提出了一种多模态知识图谱（MKG）框架，它将高级语言指令与复杂室内环境中的基于视觉的导航的低级机器人控制联系起来。通过集成开放词汇对象检测、指令感知图推理和解耦的动作目标预测架构，我们的方法实现了可解释的、目标导向的导航，而无需大规模强化学习。MKG将场景表示为结构化...

**限制和未来工作**
我们的方法依赖于一个冻结的大型语言模型（LLaMa3）将语义知识编码到多模态知识图谱（MKG）中。虽然这实现了对新颖指令的零样本泛化，但也继承了LLM幻觉的风险——例如，将“凳子”误解为“适合坐的椅子”或生成虚假的功能关系（例如，“可以用钥匙打开微波炉”）。这样的错误可能导致代理追求不存在的目标或执行不安全的...

**作者贡献声明**
王进：撰写——原始草稿、方法论、调查。
李聪：项目管理、调查、资金获取。
刘畅：软件、资源。
王增凯：可视化、验证、监督。
周康：验证、数据整理、概念化。

**利益冲突声明**
作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。

**致谢**
我们感谢浙江省教育厅科学研究基金（授权号Y202558657）和湖北省高等教育协会教育研究项目（授权号2025XDY143）的支持。
李聪目前是中国武汉江汉大学人工智能学院的副教授，他的研究兴趣包括多模态情感计算、时空大数据分析、机器视觉和图像处理以及行为认知和计算建模。