GLEVO：基于全局上下文的局部几何增强方法，用于自动驾驶中的自监督视觉里程计，该方法通过一个基础模型实现

《Expert Systems with Applications》：GLEVO: Global-Context Guided Local Geometry Enhancement for Self-Supervised Visual Odometry in Autonomous Driving via a Foundation Model

　　

• •
  GLEVO 提出了一种基于视觉基础模型（VFMs）的自主单目视觉里程计范式。
• •
  GS-LGCA 和 GCFF 将全局语义和局部几何信息融合用于姿态估计。
• •
  RefineNet 以较低的开销纠正残余姿态误差。
• •
  在 KITTI、KITTI-360 和 Oxford RobotCar 数据集上取得了更好的结果。

引言

视觉里程计（VO）是自动驾驶系统的基本组成部分，它能够从视觉输入中持续估计自我运动和定位。随着人工智能的进展，基于深度学习的 VO 方法与传统几何驱动方法相比，表现出更高的性能和更强的鲁棒性（Bresson, Alsayed, Yu, Glaser, 2017; Cadena, Carlone, Carrillo, Latif, Scaramuzza, Neira, Reid, Leonard, 2016）。特别是，自我监督学习消除了对真实标签的需求，因此在 VO 领域受到了更多关注；在这种范式下，自我监督视觉里程计（SSVO）通过最小化光度一致性和几何重建误差来联合学习单目深度和相机姿态，通常使用深度估计神经网络（DepthNet）和姿态估计神经网络（PoseNet）。这种范式在 GPS 信号缺失或位置不确定的驾驶场景中提供了更好的可扩展性和泛化能力（Abaspur Kazerouni, Fitzgerald, Dooly, Toal, 2022; Phan, Kim, 2025）。

尽管取得了这些进展，当前的 SSVO 框架仍然面临几个关键挑战。首先，准确的深度估计仍然是一个主要瓶颈。大多数流程依赖于基于 CNN 的深度网络，如 Monodepth2（Godard, Mac Aodha, Firman, & Brostow, 2019），这些网络在镜面表面、复杂照明或远距离场景下难以推断出稳定的几何结构。深度估计中的误差会通过光度畸变直接传播到姿态估计中。其次，基于 CNN 的 PoseNet 架构的接收场有限，这使得它们对局部噪声、运动模糊和物体级动态敏感。结果，它们无法捕捉到远距离的语义依赖性和全局几何线索。此外，许多系统仅依赖于初始姿态预测，忽视了残余的光度偏差，特别是在快速运动条件或纹理稀疏区域，这进一步降低了鲁棒性和准确性（Simsek & Ozyer, 2025）。

最近，视觉基础模型（VFMs）在多种视觉领域展示了前所未有的泛化能力和语义一致性（Awais et al., 2025）。得益于大规模的自我监督预训练，这些模型能够捕捉到细粒度的空间关系和全局语义背景，从而可以从单目图像中推断出物理上一致的深度和结构线索（Rajapaksha, Sohel, Laga, Diepeveen, & Bennamoun, 2024）。然而，将它们的多层次结构先验有效集成到 SSVO 流程中仍然是一个未解决的问题。仅仅用 VFM 替换深度主干网络是不够的，因为领域差异和尺度不确定性往往会导致在真实世界驾驶场景中产生不稳定的深度预测。

为了解决这些挑战，我们提出了 GLEVO，这是一个基于 VFM 的自主视觉里程计框架，它引入了一种将基础模型表示融入自我监督姿态估计的新范式。GLEVO 结合了 Depth Anything-v2（Yang et al., 2024）以实现鲁棒的单目深度估计。此外，Depth Anything-v2 中的固定多层 DINOv2 特征作为 PoseNet 的全局语义先验。为了利用这些全局语义，我们在 PoseNet 中引入了两个新模块：（1）全局语义到局部几何的交叉注意力（GS-LGCA）模块，它有效地融合了编码局部模式的浅层 DINOv2 特征和从深度图派生的局部几何特征；中间层的 DINOv2 特征用于生成自适应的门控，从而促进全局一致特征的提取；（2）门控跨帧融合（GCFF）模块，它适应性地聚合跨帧上下文信息以获得更准确的初始姿态预测。此外，轻量级的 RefineNet 通过直接融合来自真实帧和扭曲帧的深度 DINOv2 特征来进一步减少残余姿态误差。整个流程完全可微分，并且仅使用光度监督进行端到端训练。我们的主要贡献包括：

•

提出了一种基于 VFM 的自主视觉里程计范式，该范式利用分层的基础模型表示来指导局部几何推理以进行姿态估计。

•

基于这一范式，提出了一个全局到局部的交叉注意力模块 GS-LGCA，以提高局部几何的可区分性，并结合 GCFF 进行自适应的跨帧特征融合。

•

设计了一个轻量级的 RefineNet，以实现最小开销的精确姿态细化。

章节片段

自我监督视觉里程计

自我监督学习已成为单目视觉里程计（monocular VO）的关键范式，它能够从未标记的视频中联合估计深度和相机运动。Zhou 等人（Zhou, Brown, Snavely, & Lowe, 2017）通过 SfmLearner 开创了这一方向，该算法通过相邻帧之间的光度重建学习深度和自我运动。Li 等人（Li, Wang, Long, & Gu, 2018）在 UnDeepVO 中引入了几何约束和立体视觉尺度恢复，扩展了这一框架。

框架概述

本质上，我们的设计遵循从粗到细的姿态估计策略。GLEVO 的流程如图 1 所示。给定两个连续帧 ${\mathbf{I}}_{\mathit{t}}$ 和 ${\mathbf{I}}_{\mathit{t}\text{-1}}$，Depth Anything-v2 首先估计它们的单目深度图 ${\mathbf{D}}_{\mathit{t}}$ 和 ${\mathbf{D}}_{\mathit{t}\text{-1}}$，而多层 DINOv2 表示被缓存以供后续阶段使用。浅层 DINO 特征 ${\mathbf{F}}_{\mathit{t,l}}$ 和 Ft-1,l 以及它们对应的中间层特征 Ft,m 和 Ft-1,m 和深度图 Dt 和 Dt-1 被输入到 PoseNet 中以

KITTI 里程计基准测试

KITTI 里程计数据集（Geiger, Lenz, Stiller, & Urtasun, 2013）是视觉里程计和自动驾驶领域广泛使用的基准测试数据集，包含 22 个序列（39.3公里）。按照标准做法，序列 00-08 用于训练，其余序列用于测试以确保公平比较。姿态准确性使用绝对轨迹误差（ATE）${\text{T}}_{\mathit{rel}}$ 和 ${\text{R}}_{\mathit{rel}}$ 进行评估，分别测量全局轨迹误差、分段平移误差和分段旋转误差。

KITTI-360 数据集

消融研究

我们在相同的训练和评估设置下对 KITTI 数据集进行了消融研究。定量结果报告在表 6 中，而图 14 显示了 100-800 米路径长度上的平移和旋转误差。如表 6 所示，我们的模型取得了最佳结果。我们从四个方面分析了不同组件的贡献。

计算成本、运行时间和部署分析

所有运行时间评估都在单个 NVIDIA RTX 3090 GPU 上进行，批量大小为 1，在相同的测试条件下进行。如表 11 所示，GLEVO 在不使用 RefineNet 时每帧耗时 32.5 毫秒，使用完整模型时每帧耗时 35.7 毫秒，分别对应 30.8 FPS 和 28.0 FPS，从而满足自动驾驶应用的实时要求。与在 192 × 640 分辨率下评估的先前自我监督视觉里程计方法相比，GLEVO 采用了稍高的输入

结论

在本文中，我们提出了 GLEVO，这是一种新的自主视觉里程计框架，它利用视觉基础模型（VFMs）来增强深度和姿态估计。通过集成 Depth Anything-v2 以实现鲁棒的单目深度预测，并将其固定的多层 DINOv2 特征作为语义先验，全局语义到局部几何的交叉注意力模块（GS-LGCA）可以有效地弥合 SSVO 中全局语义和局部几何之间的差距。我们引入了两个关键

CRediT 作者贡献声明

Donglei Zheng：概念化、方法论、软件、研究、可视化。Yuqian Zhao：方法论、资源、监督、资金获取、项目管理。Fan Zhang：验证、形式分析、资金获取、项目管理。Gui Gui：资金获取、形式分析、项目管理。Chunhua Yang：形式分析、项目管理。Weihua Gui：形式分析、项目管理。

利益冲突声明

作者声明他们没有已知的可能影响本文工作的竞争性财务利益或个人关系。

Donglei Zheng|Yuqian Zhao|Fan Zhang|Gui Gui|Chunhua Yang|Weihua Gui