在动态环境中实现鲁棒的视觉里程计：一种结合置信度引导遮蔽的混合方法

《Engineering Applications of Artificial Intelligence》：Towards robust visual odometry in dynamic environments: A hybrid approach with confidence-guided masking

动态视觉里程计框架MaskFlow-SVO通过端到端Transformer网络融合光流与视差预测相机运动，结合置信图与语义分割生成动态掩码抑制动态物体干扰，并采用多帧滑动窗口几何优化提升精度。

　　

陈谢|宁浩|韩浩轩|何凤华

哈尔滨工业大学控制与仿真中心，中国黑龙江省150001

摘要

动态视觉里程计是工程应用中的关键技术，包括安全自动驾驶和机器人导航。尽管传统的基于几何的动态视觉里程计方法可以实现高精度，但它们在低纹理动态环境中的鲁棒性往往不足。相比之下，基于学习的方法在这些条件下表现出更好的鲁棒性，但在精度上仍有欠缺。为了弥合这一差距，我们提出了一种新颖的动态立体视觉里程计框架，该框架将端到端学习与多帧几何优化相结合。具体来说，我们设计了一个轻量级的基于Transformer的网络，该网络利用光流和视差来预测度量化的自我运动。一个基于置信度的动态掩码，结合网络预测和语义先验，使网络能够专注于可靠的静态区域并抑制移动物体的影响。然后基于掩码注意力机制进行姿态估计。为了进一步提高精度，我们引入了一种滑动窗口优化方法来细化初始的粗略姿态。通过利用动态掩码，我们建立了可靠的匹配，并使用重投影因子、里程计因子和尺度因子来优化姿态。在多种公共数据集和自收集的数据集上的广泛实验表明，我们的方法在动态环境中实现了先进的精度和鲁棒性。

引言

视觉里程计（VO）在自动驾驶和机器人导航中发挥着基础性作用，它能够以较低的成本估计相机的自我运动。然而，在动态的真实世界场景中，尤其是城市环境中，移动的车辆、行人和其他物体打破了大多数VO方法通常假设的静态场景，这严重挑战了VO的性能。在动态环境中实现鲁棒且准确的VO对于安全导航至关重要，并且可以促进更广泛的实际应用。

传统的基于几何的VO系统使用关键点检测、匹配、跟踪和捆绑调整来估计相机的自我运动。这些流程严重依赖于静态场景特征，并通常使用随机样本一致性（RANSAC）来拒绝由动态物体引起的异常值（Mur-Artal和Tardós，2017年）。然而，当移动物体的数量增加时，基于RANSAC的方法仍然可能失败。为了解决这个问题，先前的工作要么使用语义分割去除移动物体上的关键点（Bescos等人，2018年），要么同时优化相机和动态物体的运动（Zhang等人，2020年；Bescos等人，2021年）。然而，这样的基于分割的方法可能会引入过度掩蔽，其中许多被掩蔽的物体可能是静态的。丢失的信息可能导致精度降低。此外，这些方法从根本上依赖于通过关键点检测和匹配来建立特征对应关系，这使得这些方法在低纹理环境中容易受到影响。

最近，随着深度学习的流行，越来越多的研究工作致力于推进基于学习的VO系统（Liu等人，2025年；Solodar和Klein，2024年）。这种范式的转变导致了新的架构，这些架构利用卷积神经网络（CNN）、循环神经网络（RNN）或视觉Transformer（ViT）从原始图像直接估计运动（Wang等人，2017年；Bian等人，2021年；Wu和Zhu，2024年）。同时，也有几项研究探索了从光流中进行姿态回归。在获得光流后，要么使用基于网络的姿态回归（Wang等人，2021年），要么通过可微分的捆绑调整层进行基于几何的优化（Teed等人，2023年）来估计姿态。这些基于学习的VO系统在低纹理环境中表现出更高的鲁棒性。然而，它们的精度仍然容易受到移动物体的影响，因为网络难以在动态环境中建模输入和姿态之间的关系。

为了解决这个问题，一些工作将基于注意力的模块集成到网络中，使姿态分支能够专注于具有显著特征的区域，同时抑制对动态物体的关注（Kim等人，2022年）。其他工作通过学习分割掩码并加权特征来减少动态物体的影响（Shen等人，2023年）。尽管这些工作提高了VO在动态环境中的鲁棒性，但它们在精度和效率之间难以取得良好的平衡，大多数网络由于架构庞大和运行速度慢而受到影响。此外，由于单目配置，它们大多数不具备尺度适应性，进一步限制了其在实际应用中的实用性。

在本文中，我们提出了一种混合立体视觉里程计（SVO）框架，名为MaskFlow-SVO，它结合了基于学习的自我运动估计的鲁棒性和基于几何的优化的精度。该系统能够在动态环境中提供准确且鲁棒的帧间相机自我运动估计，见图1。具体来说，考虑到光流和视差本质上编码了姿态估计所需的所有信息，而这些对应关系信息受视觉外观的影响不大。为了简化训练，我们的网络使用连接的光流和视差作为输入来预测度量化的轨迹。为了识别包含动态物体的区域，网络预测一个置信度图，该图进一步通过集成先验语义分割掩码细化为动态掩码。基于置信度的动态掩码可以有效避免过度掩蔽，从而减少信息丢失。为了利用更具区分性的特征并使网络轻量化，姿态编码器与置信度编码器共享。然后通过带掩码的视觉Transformer预测相机的相对运动。因此，我们在保持轻量级网络架构的同时，在动态环境中实现了准确且鲁棒的相机自我运动估计。为了进一步提高精度，我们随后进行了基于几何的多帧优化。我们在滑动窗口框架内随机采样像素作为关键点，并利用光流和动态掩码建立关键帧之间的鲁棒特征对应关系。优化结合了对抗不准确深度的重投影因子、提供先验约束的里程计因子以及限制姿态网络获得的度量尺度的尺度因子。总之，我们的主要贡献如下：

• •
  我们提出了一个轻量级的端到端基于Transformer的网络，该网络利用光流、基于置信度的动态掩码和掩码注意力机制，在动态环境中实现准确且鲁棒的立体相机自我运动估计。
• •
  我们提出了一个名为MaskFlow-SVO的混合框架，该框架结合了基于学习的姿态估计和基于动态的多帧优化，使用重投影、里程计和尺度因子。
• •
  在具有挑战性的动态数据集上的广泛定性和定量实验表明，我们的方法在精度上优于最先进的基于学习的方法，并且在动态环境中也比传统的几何方法表现出更高的鲁棒性。

本文的其余部分组织如下：第2节总结了相关工作。第3节介绍了在动态环境中的轻量级立体视觉里程计网络和基于光流的滑动窗口后端。第4节展示了在公共数据集和自收集的真实世界数据上的实验结果。最后，第5节总结了结论。我们在https://github.com/Anonymous-1115/MaskFlow-SVO上发布了我们的代码。

相关工作

相关工作

现有的基于几何的方法（Mur-Artal和Tardós，2017年）跟踪关键点并基于透视n点（PnP）估计帧间的相机自我运动。通过多帧关键点匹配，它们进一步在滑动窗口中优化姿态，并在序列结束时进行全局捆绑调整。由于基于几何的估计依赖于静态场景假设，动态物体可能会提供错误的信息。这些系统使用RANSAC来检测和拒绝异常值。

概述

MaskFlow-SVO的概述如图2所示。首先进行预处理，获取光流、视差和先验掩码。然后，神经网络生成一个反映输入光流和视差不确定性的置信度，以便进行准确的姿态估计。之后，从置信度和先验掩码计算出动态掩码。考虑到动态掩码，网络预测一个粗略的相对姿态。最后，在滑动窗口中通过利用...

实施细节

数据集。首先，我们在KITTI-Odometry数据集（Geiger等人，2012年）的序列{00-06, 08}和Complex Urban数据集（Jeong等人，2019年）的序列{39}上进行训练。我们确保训练集包含一定数量的动态物体。然后，我们在KITTI-Odometry数据集的定制和官方测试分割以及Complex Urban数据集的测试分割上进行测试。为了进一步展示泛化能力，我们还在更多未见过的场景上进行测试，包括KITTI-Tracking数据集、Argoverse2数据集

结论

我们提出了一种基于学习的立体视觉里程计MaskFlow-SVO，它在动态环境中超越了最先进的基于学习的VO方法。通过结合基于置信度的掩码、轻量级的基于Transformer的姿态估计器和动态感知的滑动窗口优化，我们实现了与传统基于几何的方法相当的精度，同时保持了对抗高度动态场景的鲁棒性。所提出的框架能够实现一致且度量化的自我运动

CRediT作者贡献声明

陈谢：写作——审阅与编辑，撰写——原始草稿，可视化，验证，软件，资源，方法论，调查，形式分析，数据策划，概念化。宁浩：写作——审阅与编辑，监督，项目管理，调查，数据策划，概念化。韩浩轩：调查，数据策划。何凤华：写作——审阅与编辑，监督，项目管理，资金获取，概念化。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。