基于语义和几何约束的动态物体移除以及用于室内环境中视觉SLAM的密集映射技术

《Measurement》：Semantic and geometric constraints-based dynamic object removal and dense mapping for visual SLAM in indoor environments

　　• MSF-SLAM 是为在复杂动态环境中实现鲁棒的定位和地图构建而开发的。
• Dg-YOLO-SAM 被提出用于移除环境中的先前动态目标。
• PAC-LK 被引入以提高特征跟踪的可靠性。
• GCC 被利用进行密集映射，以有效消除重影伪像。

**引言**
随着机器人技术和人工智能的快速发展，移动机器人在工业自动化、医疗辅助和智能服务应用中展现了巨大潜力，这归功于它们的灵活性和自主决策能力。通过利用车载传感器，移动机器人能够实时感知、重建并与周围环境互动，从而实现精确的定位和自主导航。在这些关键技术中，SLAM 发挥了关键作用 [1]、[2]。SLAM 的目标是从传感器观测数据中同时估计传感器运动并逐步重建周围环境。其架构通常包括前端和后端：前端从图像或点云中提取视觉或几何特征以进行运动估计，而后端则整合闭环约束并进行全局优化以抑制累积漂移 [3]。得益于低硬件成本、紧凑的部署和高度便携性，视觉 SLAM 已被广泛应用于机器人感知和自主导航系统 [4]、[5]。

传统的视觉 SLAM 方法（包括 PTAM、ORB-SLAM2 [6]、ORB-SLAM3 [7] 和 LSD-SLAM [8]）通常遵循典型的前端/后端范式。前端通过特征关联或光度优化来估计帧间相机运动，同时构建局部地图；后端则通过非线性优化技术（如捆绑调整）联合优化相机姿态和地图点。尽管这些方法在静态环境中实现了显著的定位精度，但它们本质上依赖于观测场景是刚性且静止的假设 [9]。然而，在现实世界场景中，行人、车辆和非刚性目标等移动物体经常违反这一假设，从而导致特征对应关系错误和几何约束不一致 [10]。因此，动态区域不仅会引起严重的姿态漂移，还会被错误地融合到重建的地图中，从而导致明显的外观伪像和系统鲁棒性下降 [11]。

为了提高动态环境中的鲁棒性，现有的 SLAM 方法主要关注在前端视觉测距过程中抑制动态干扰。根据动态特征识别策略，这些方法可以分为基于几何的方法和基于学习的方法。基于几何的方法利用多视图几何约束或运动残差来识别动态特征。典型的方法包括使用极线几何、光流一致性或在随机采样一致性（RANSAC）框架中进行深度残差分析来剔除违反刚性运动假设的异常值 [12]、[13]。加权几何优化方法（如加权迭代最近点法）也被开发出来以减轻动态物体的影响 [14]。然而，当动态区域主导场景时，可靠的静态特征数量显著减少，导致定位稳定性和重建精度下降 [15]。

为了克服这些限制，深度学习越来越多地被引入 SLAM 方法中，以在跟踪和映射过程中明确检测和消除动态物体。例如 DynaSLAM [16] 和 DS-SLAM [17] 在定位性能上取得了显著改进。然而，这些方法通常依赖于对全分辨率图像进行计算密集型的像素级语义分割。此外，在未见过物体类别、严重运动模糊或物体运动不规则的情况下，分割精度往往会降低，导致边界模糊、掩码不完整以及时间掩码闪烁 [18]。现有的 SLAM 方法通常忽略了动态感知过程中的运动模糊和边界不确定性 [19]。因此，欠分割会保留违反几何约束的残余动态特征，而过度分割则会移除有效的静态背景特征，降低跟踪可靠性 [20]。因此，仅靠单帧分割不足以确保在高度动态环境中的鲁棒感知，尤其是在存在非刚性变形和遮挡的情况下 [21]、[22]。

为了进一步抑制分割掩码之外的残余动态干扰，先前的研究将时间运动一致性和多视图几何学结合到动态特征过滤中。在这些方法中，Lucas-Kanade (LK) 光流因其计算效率和显式运动表示能力而被广泛采用。现有方法利用 LK 光流通过运动不一致性分析来识别动态异常值。例如，Yang 等人 [23] 将 LK 跟踪与语义分割结合使用以剔除违反极线约束的特征，而 Theodorou 等人 [24] 提出了一种结合物体检测和光流一致性的双重验证策略。然而，LK 光流本质上依赖于亮度恒定性和局部线性化假设。在相机快速运动或物体非线性变形的情况下，这些假设经常被违反，导致跟踪发散或收敛到局部最小值。此外，仅基于光度一致性的过滤策略缺乏足够严格的时空几何约束。因此，残余动态特征仍可能将低频误差引入姿态估计，最终导致不可逆的轨迹漂移 [25]。

在动态密集映射中，大多数现有方法采用截断符号距离函数 (TSDF) 进行地图表示，并通过加权平均或贝叶斯更新来融合深度观测数据。这些方法通常假设高斯测量噪声是时间独立的 [26]。然而，动态物体引入的误差往往具有强烈? ??? ???? ??? ??? [27]。因此，在地图融合过程中，移动缓慢或暂时静止的物体可能会被错误地视为可靠的静态结构。如果没有同时强制执行几何一致性和时间稳定性，这些观测数据会逐渐融入全局地图，产生严重的重影伪像和重复结构。这些伪像会大幅降低地图质量，并对路径规划、障碍物避让和自主导航等下游任务产生不利影响。

为了解决上述问题，本文提出了一种鲁棒的动态 SLAM 框架，称为多阶段融合 SLAM (MSF-SLAM)，该框架基于 ORB-SLAM3 构建。通过集成动态感知物体检测、prompt 引导的分割、多阶段特征优化和基于置信度的密集映射，该方法有效抑制了动态干扰，并显著提高了复杂动态环境中的定位鲁棒性和映射一致性。优化的像素级动态掩码由动态引导的 YOLO-SAM (Dg-YOLO-SAM) 生成，以指导后续的 ORB 特征提取。然后应用预测性、适应性和一致性约束的 LK (PAC-LK) 对提取的特征进行识别和移除残余动态异常值。保留的静态特征用于姿态估计、局部地图跟踪和关键帧选择。对于每个选定的关键帧，相应的 RGB-D 观测数据、优化后的动态掩码和估计的姿态被传递到几何置信度耦合 (GCC) 中，评估深度残差和语义静态置信度以指导 TSDF 融合和密集地图构建。本文的主要贡献总结如下：
(1) 提出了 Dg-YOLO-SAM，用于准确高效地分割动态物体。YOLOv11n 用于检测动态物体，而 SAM2 实现 prompt 引导的零-shot 分割。此外，引入了一种基于梯度的时域细化策略以减轻边界模糊和掩码闪烁。
(2) 开发了 PAC-LK 以移除未被分割掩码捕获的残余动态特征。通过整合时间运动预测、自适应金字塔跟踪和双重一致性约束，实现了对弱动态异常值的鲁棒抑制，显著提高了前端跟踪的稳定性。
(3) 利用基于 GCC 的密集映射在动态重建过程中抑制重影伪像。联合建模多视图几何一致性和语义静态置信度以估计融合的静态可靠性权重，并将其进一步应用于 TSDF 更新和时空置信度演化。实现了结构更清晰、几何一致性更高的密集地图。

**相关工作**
传统的 SLAM 方法（如 ORB-SLAM2、ORB-SLAM3 和 VINS-Mono）通常在静态世界假设下开发，其中动态物体被视为观测噪声或异常值。在高度动态的场景中（如拥挤的城市街道或繁忙的室内环境），它们的性能会显著下降。大量动态特征违反多视图几何约束，导致严重的姿态漂移甚至跟踪失败。早期的动态 SLAM 方法主要...

**方法**
在 SLAM 中，行人、车辆和宠物等动态物体可能会引入错误的特征匹配，导致重建地图中的姿态估计漂移和重影伪像。在动态 SLAM 中，前端视觉测距 (VO) 的核心功能是准确识别和移除场景中的非刚性运动区域，确保特征跟踪的鲁棒性。基于 ORB-SLAM3，本文提出了一种集成 YOLOv11n 物体检测模块和 SAM2 的级联架构。

**实验与分析**
为了评估提出的 MSF-SAM 的有效性和准确性，对其与四种代表性的动态 SLAM 方法进行了定性和定量比较：ORB-SLAM3 [7]、DS-SLAM [17]、RED-SLAM [20]、DIF-SLAM [46]、RDS-SLAM [60]、YOLO-SLAM [61]、CA-SLAM [62]。MSF-SAM 的结果是在十次独立运行上的平均值。其他具有开源代码的方法在我们的实验设置下重新评估，否则则取自它们的原始出版物。

**结论**
本文提出了一种适用于动态环境的鲁棒 RGB-D SLAM 框架。开发了动态特征抑制模块 Dg-YOLO-SAM，通过精细的像素级分割来改善对非刚性运动和多尺度动态物体的感知。为了减轻由运动模糊引起的边界不确定性，引入了一种时空形态细化策略以提高分割一致性和边界精度。此外，提出的 PAC-LK 特征跟踪...

**作者贡献声明**
Shiyang Zhou：撰写 - 原始草稿、资源、方法论、概念化。Hailiang Zhao：撰写 - 原始草稿、方法论、概念化。Bowei Wan：可视化、验证、调查。Zhaojie Ju：撰写 - 审阅与编辑、软件、资源。Xuguo Yan：撰写 - 审阅与编辑、资源、项目管理。

**利益冲突声明**
作者声明他们没有已知的竞争性财务利益或个人关系，这些关系可能影响本文报告的工作。

**致谢**
本研究得到了国家自然科学基金（52205537、51805386）、国家重点智能制造装备与技术实验室（华中科技大学）开放基金（IMETKF2025024）、湖北省自然科学基金创新研究组项目（2024AFA026）和中国留学基金委（202408420109）的支持。

作者感谢编辑和匿名审稿人的帮助。

Shiyang Zhou | Hailiang Zhao | Bowei Wan | Zhaojie Ju | Xuguo Yan