结合基于上下文的场景补全网络的增强型分层场景先验学习方法，用于视觉语义导航

《IEEE Transactions on Cognitive and Developmental Systems》：Augmented Hierarchical Scene Prior Learning With Context-Based Scene Completion Network for Visual Semantic Navigation

视觉语义导航需解决未知场景中定位目标类物体的挑战，现有方法依赖即时视觉观察和神经网络存储场景先验，但存在重复探索、知识稀疏和决策错误问题。本文提出基于分层场景先验（HSP）的强化学习框架HSPNav，通过语义地图完成网络增强局部先验，利用常识关系图构建全局先验，结合注意力机制检索关联记忆，有效提升导航性能，并在MP3D、HM3D验证及仿真到现实迁移中优于基线方法。

　　

摘要：

视觉语义导航（VSN）要求智能体在从未见过的场景中导航到指定类别的目标对象。为了解决这个问题，智能体必须通过利用场景中对象的空间模式和语义共现关系来学习一种灵活的导航策略。现有的方法从即时视觉观测中提取场景先验，并将其固化在神经情节记忆或显式的场景表示中以实现灵活导航。然而，由于场景先验的遗忘和未被充分利用，这些方法存在重复探索、有效知识稀疏以及错误决策的问题。为了解决这些问题，我们提出了一种基于层次场景先验（HSPs）和深度强化学习（DRL）的新型VSN策略HSPNav。HSP包含三个组成部分：以自我为中心的语义地图为基础的局部场景先验（LSP）、基于常识关系图的全局场景先验（GSP），以及基于注意力的检索机制，该机制从GSP中检索与当前LSP密切相关的上下文记忆。此外，我们提出了一种带有上下文关联利用模块（CAE-SMCN）的语义地图完成网络，用于利用上下文关联对以自我为中心的地图进行未观察场景的推理，从而得到增强的LSP。在MP3D和HM3D上的大量实验表明，我们的HSP有助于场景先验和导航策略的学习，并且性能优于现有方法。最后，我们实现了导航策略的从仿真到现实的迁移，并证明了HSPNav能够很好地泛化到真实环境中。

引言

近年来，具身AI引起了广泛的研究兴趣，这得益于其在智能机器人领域的广泛应用前景。考虑这样一个场景：一个家庭服务机器人被要求在未见过的环境中从床上捡起枕头。这项任务不仅仅是简单的对象检测和路径规划，因为目标对象最初是隐藏在视线之外的。为了解决这一挑战，提出了视觉语义导航（VSN）[2]、[3]，也称为对象目标导航。这项研究旨在根据视觉观测将智能体导航到给定的对象类别实例。尽管未知场景意味着不熟悉和挑战，但在家庭场景中几乎不可能完全没有先验信息。例如，像人类这样的智能体通常依靠经验来推断家庭场景中对象之间的从属关系和共现关系，这些经验被用于辅助VSN。换句话说，人类通过长时间接触各种家庭场景，总结并记住了大量的场景先验，这些先验有助于定位和导航到指定对象。