DEOA-SLAM：适用于动态室内环境的实时物体辅助SLAM技术，尤其适用于资源受限的设备

《Displays》：DEOA-SLAM: Real-time object-aided SLAM for dynamic indoor environments with resource-constrained devices

动态环境对象辅助SLAM系统在资源受限平台上的实时语义地图构建与优化

　　

韩东晓|李宇文|陈帅

上海大学机电工程与自动化学院，智能制造与机器人技术上海重点实验室，中国上海201900

摘要

本文提出了一种实时对象辅助的视觉同时定位与地图构建（SLAM）系统DEOA-SLAM，该系统能够在资源受限的平台上（如移动机器人）高效地实现动态室内环境中的定位和语义映射。该系统将YOLOv5模型集成到ORB-SLAM2框架中，以检测动态和静态对象。通过结合深度信息，可以高效生成动态对象的语义掩码，在进行相机跟踪之前去除动态特征点。静态对象被跟踪并重建为椭球体模型，并在跟踪过程中不断优化这些椭球体模型。当基于特征的重新定位失败时，系统会采用对象辅助的重新定位算法来恢复相机姿态。最终生成的语义地图既包含稀疏特征点，也包含用椭球体表示的静态对象，其中动态特征点已被移除。在TUM RGB-D数据集的动态序列上进行了大量实验，证明了该系统在定位精度、实时性能和语义地图质量方面的有效性。此外，还构建了一个会议室数据集，用于评估DEOA-SLAM在现实世界中的SLAM和重新定位性能。得益于动态对象的去除、静态对象的重建和跟踪功能，DEOA-SLAM为资源受限设备在动态室内环境中的对象辅助语义SLAM提供了一种实时且鲁棒的方法。

引言

视觉同时定位与地图构建（SLAM）是机器人技术和无人机（UAV）的一项关键技术，它使设备能够利用视觉相机同时确定自身姿态并构建未知环境的地图[1]、[2]、[3]。传统的基于特征的视觉SLAM方法（如ORB-SLAM算法[4]）主要生成用于定位的稀疏地图，但对环境的理解有限。相比之下，对象辅助的语义映射通过使用对象作为导航和操作任务的标志来与环境中的各个元素进行交互[5]。语义地图中重建的对象模型还可以在相机发生大范围快速旋转或基于特征的重新定位失败时提高相机姿态恢复的鲁棒性。此外，与密集的语义地图相比，基于对象的映射方法所需的内存存储和计算成本要低得多[6]。

最近在对象辅助视觉SLAM方面的进展集中在如何将场景中特定对象的几何信息纳入语义映射中。例如，SLAM++[7]开发了用于构建体积地图的技术，其中使用特定对象的3D模型进行ICP配准以估计相机和对象的姿态。如果相机跟踪丢失，这些对象姿态可用于重新定位。除了使用3D模型表示对象外，还可以构建基于点云的对象级语义地图，通过神经网络识别对象，然后将其建模为规则形状[8]、[9]、[11]。例如，EAO-SLAM[10]提出了一种方法，将YOLOv3算法检测到的对象的边界框、语义标签和点云关联起来，然后将这些对象建模为椭球体和长方体，以便联合优化相机和对象的姿态。OA-SLAM[11]通过YOLOv5模型将检测到的对象近似为椭球体，从而在相机姿态丢失时提高重新定位的准确性和可靠性。尽管这些规则形状的表示不需要对象的3D模型，但椭球体或长方体姿态的偏差可能导致比ORB-SLAM算法[8]、[9]更大的定位误差。更重要的是，上述大多数对象辅助语义映射方法假设环境是静态的。然而，在实际应用中，如移动的人等动态对象可能会导致对象建模和跟踪的误差，而这在之前的研究中很少被探讨。

为了提高具有稀疏特征图的视觉SLAM的准确性，已经提出了检测和去除动态对象的方法。例如，运动一致性方法[12]、[13]、[14]、[15]利用连续帧之间的相机轨迹建立几何约束来检测动态对象。但是，当动态对象移动缓慢或静止时，跟踪可能会失败，因为很难将这些对象与背景区分开来。另一方面，深度学习算法可以利用神经网络高精度地检测和去除动态特征点。例如，DS-SLAM[16]采用SegNet网络[17]进行语义分割，以减少动态对象对SLAM结果的影响。Chang等人[18]和DGS-SLAM[19]将轻量级的YOLACT[20]实例分割网络与几何约束结合使用来检测动态对象。Mask-RCNN[21]和YOLO算法也被用于Dyna-SLAM[22]、Dynamic-VINS[23]、BY-SLAM[24]以及[25]、[26]中提出的SLAM系统。SG-SLAM[27]使用基于NCNN的对象检测网络进行动态特征过滤。DGM-VINS[28]结合了几何动态特征提取和基于点的时间实例分割网络来处理动态对象。此外，如SOLOv2[29]这样的分割网络也已被用于动态对象的去除。研究表明，这些带有深度学习模型的视觉SLAM方法可以对动态对象进行像素级分割，并显著减少跟踪误差，例如通过在TUM数据集的fr3序列中对多个动态场景进行测试。然而，请注意，这些分割网络通常需要较高的计算成本以实现实时操作[23]，例如[24]、[28]中的方法需要NVIDIA GTX 3080Ti或3070 GPU。

本工作的开发动机是随着对机器人技术和无人机（UAV）的定位和语义映射解决方案需求的增长。在这些场景中，环境是动态的，环境中的人员、宠物和其他对象可能会移动。设备可能会经历突然的大范围视角变化，例如由于绑架，环境中的光照也会发生显著变化。这些情况可能导致相机因基于特征的匹配和重新定位失败而丢失。此外，上述设备的计算能力可能难以支持这些像素级分割网络的实时部署。为了克服这些问题，本文提出了一种新的综合视觉SLAM系统——动态环境对象辅助SLAM（DEOA-SLAM），该系统以ORB-SLAM2算法为核心，并结合了YOLOv5算法进行对象检测。该系统可以在消费级硬件平台上部署，以构建室内环境的轻量级语义地图。地图包括稀疏特征点和用椭球体表示的静态对象，其中动态对象已被移除。据我们所知，本文提出了第一种结合高效动态对象去除和静态对象建模的对象辅助视觉SLAM方法，以改善动态室内环境中的相机跟踪和重新定位。对于动态特征去除，本文提出了一种基于深度信息的计算成本效益高的方法来生成动态对象掩码，以确保在资源受限平台上的实时性能。另一方面，检测到的静态对象被跟踪并重建为椭球体，并在基于特征的姿态估计因大范围视角变化而失败时用于恢复相机姿态。与[8]、[9]、[10]中的方法不同，所提出的方法消除了动态对象对静态对象重建的影响，并将静态对象模型从相机姿态和地图点的联合优化中排除，从而减少了由于对象建模不准确导致的姿态误差。最后，在带有移动人员的会议室场景中进行了实际测试，以验证所提出的方法的有效性。

本文的贡献可以概括如下。

• 1.
  为资源受限的设备提出了一种实时DEOA-SLAM系统，用于构建包含稀疏关键点和用椭球体表示的静态对象（其中去除了动态特征）的动态室内环境对象级语义地图。
• 2.
  开发了一种高效的算法，用于重建、细化并跟踪静态对象的椭球体模型，以便在相机因大范围或快速旋转而丢失时用于重新定位。
• 3.
  在TUM RGB-D动态序列和自收集的会议室数据集上的广泛实验表明，DEOA-SLAM在动态室内环境中实现了高定位精度、实时性能和鲁棒的语义映射。

系统概述

系统概述

如图1所示，所提出的DEOA-SLAM采用ORB-SLAM2框架[4]作为核心，该框架包括三个线程，分别负责跟踪、局部映射和循环闭合。有关ORB-SLAM2的更多详细信息，请参考[4]。

如图1所示，DEOA-SLAM的输入包括连续的RGB和深度图像帧，输出是一个基于对象的语义地图，其中包含稀疏关键点和表示静态对象的一系列椭球体。

轨迹精度和运行时间评估

所提出的DEOA-SLAM通过TUM RGB-D数据集[41]中的fr3_walking动态序列（包括fr3_walking_static（静态）、fr3_walking_xyz（xyz）、fr3_walking_rpy（rpy）、fr3_walking_halfsphere（half）序列进行了验证，在这些序列中，两个人在办公室场景中行走，数据由Asus Xtion相机采集。具体来说，静态序列中相机保持固定位置，xyz序列中相机沿x-y-z三个方向以相同方向移动，rpy序列中相机旋转

结论

为了解决动态室内环境中的视觉SLAM挑战，我们提出了DEOA-SLAM，这是一种基于ORB-SLAM2框架的实时对象辅助SLAM系统。该系统集成了YOLOv5算法进行对象检测。深度信息被用来生成动态对象的掩码，以便高效去除它们的特征点。静态对象被跟踪并重建为椭球体，以建立轻量级语义地图。这些椭球体不仅

利益冲突声明

作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。

致谢

本研究得到了国家重点研发计划（项目编号：2019YFB1310003）和国家自然科学基金（项目编号：51775322）的资助。