学习属性注意力机制与回顾定位技术以实现实例对象导航

《Journal of Data and Information Quality》：Learning Attribute Attention and Retrospect Location for Instance Object Navigation

提出新型级联架构OAAG-ORLM解决实例级视觉导航问题，包含OAG动态编码实例关系，AAG差异化权重分配，ORLM增强轨迹相关性。实验证明其在AI2-THOR上的实例定位、导航和类别定位任务中优于基线，达到SOTA。

　　

摘要

视觉对象导航是具身智能任务中的一个经典问题，它要求智能体仅利用第一人称视角的视觉信息来找到指定的目标。有一些方法专门用于在同一类别中搜索对象，这类方法被称为“类别导航”。这与现实世界不同，在现实世界中，对象通常会带有“属于谁”的标签。因此，通过属性来区分对象的导航方式更符合实际需求，这种方法被称为“实例级对象导航”。然而，当前的实例级对象导航方法存在一些局限性。首先，不同的属性信息被混在一起，细粒度的特征关系被忽略，导致辨别能力减弱；其次，探索的路径与导航目标之间的关联不足，从而导致记忆能力下降。在本文中，我们从一个全新的视角提出了一种新的级联架构来解决这些局限性。我们的方法主要包括两种技术：对象-属性注意力图（OAAG）和目标回顾与定位模块（ORLM）。OAAG由对象感知图（OAG）和属性注意力图（AAG）组成，OAG用于编码所有实例之间的动态关系，而AAG则为不同的属性分配不同的注意力权重。ORLM使智能体能够回顾其探索过的区域，并增强对目标的相关记忆。我们将这两种技术结合在一起作为最终模型输出，并将其输入到深度强化学习A3C框架中。我们在AI2-THOR模拟器上对这两种技术进行了评估。实验结果表明，我们的方法优于其他相关研究，在三个具体任务（实例定位、实例导航和类别定位）上取得了最先进的结果。该项目可以在https://github.com/visee-sdu/Instance-Navigation找到。