基于物理先验与语义引导特征提取的长时视觉定位方法

《Journal of Imaging》：SREF: Semantics-Refined Feature Extraction for Long-Term Visual Localization Danfeng Wu, Kaifeng Zhu, Heng Shi, Fenfen Zhou and Minchi Kuang

　　

摘要—研究人员提出一种面向长时（long-term）视觉定位（Visual Localization）的物理先验辅助语义引导特征可靠性估计框架。针对光照、季节及视点剧烈变化导致传统局部特征匹配失效的问题，该方法融合场景几何先验（地平面接触比 Pground(l)∈[0,1]、静态性 Sstatic(l)∈[0,1]）与细粒度语义分割子类稳定性权重 wc，对特征点进行可靠性重加权；同时引入瓶颈注意力模块（Bottleneck Attention Module, BAM）对特征图施加通道—空间双重注意力，结合 SuperPoint 伪真值角点响应图强化可重复区域聚焦。在公开长时定位基准上的实验表明，该语义—物理先验联合策略显著提升了特征匹配召回率与位姿估计成功率，尤其在极端外观变化场景下优于现有无先验方法。

论文解读：基于物理先验与语义引导特征提取的长时视觉定位方法

一、研究背景与问题提出

视觉重定位（Visual Relocalization / Long-term Visual Localization）旨在已知三维地图中恢复查询图像相机位姿，是自动驾驶与移动机器人自主导航的核心模块。现有基于稀疏局部特征（如 SIFT、ORB、SuperPoint）的方法在短时环境下表现良好，但在长时场景中面临光照剧变、季节更替、动态物体干扰及视角变化，导致特征可重复性（repeatability）下降、误匹配激增。单纯依赖数据驱动学习难以泛化至未见环境，且缺乏显式编码场景物理结构（如"汽车不能飞"、地面接触关系）的约束。因此，研究人员开展本研究，将城市场景中稳定存在的物理几何先验与语义分割信息融入特征可靠性评估与注意力机制，以提升长时条件下稳定特征的选择与匹配质量。论文发表于《Journal of Imaging》。

二、关键技术方法概述

研究人员采用的主要技术路线包括：（1）基于图像自下而右归一化纵坐标的启发式地平面接触先验 P_ground(l)∈[0,1] 与静态性先验 S_static(l)∈[0,1]，结合语义分割将粗类别 l 分解为细分子类集 C_l={c₁,…,c_n}，计算子类时序外观一致性 ρ_c与类内平均稳定性 ρ?_l，按公式 w_c=clip_[0,1](w_l⁽⁰⁾+β(ρ_c?ρ?_l)+γπ_c) 得到精细稳定性权重，其中 π_c∈[0,1] 为基于物理属性的结构稳定性先验标量（路面>车辆>屋顶>树冠）；（2）以 SuperPoint 角点响应图 G∈{0,1}^H×W为伪真值，通过瓶颈注意力模块（Bottleneck Attention Module, BAM）对中间特征图 F∈?^C×H×W分别求通道注意力 M_c(F)（全局平均池化后经两层 MLP 降维再升维、BN 与 ReLU）与空间注意力 M_s(F)（融合语义先验与几何先验形成的稳定性图），合成总注意力图 M(F)=σ(M_c(F)+M_s(F))，精炼特征图为 F'=F+F⊙M(F)，⊙ 为逐元素乘法；（3）将物理—语义稳定性权重与 BAM 增强后的可靠性图结合，指导特征点筛选与描述子加权，输入至标准特征匹配与 PnP+RANSAC 位姿求解流程。实验在 KITTI 及长时定位基准（如 Oxford RobotCar、Aachen Day-Night）上进行评估。

三、研究结果

3.1 物理先验引导的稳定性初始化（Physically Grounded Stability Initialization）

研究人员将粗语义类 l 的先验权重 w_l定义为 P_ground(l)、S_static(l) 与平衡因子 α_p、α_s的归一化组合，编码"汽车不能飞"等原则——图像底部像素赋予更高地面似然、运动物体赋予更低静态权重。进一步分解 l 为细分子类 c∈C_l，引入时序外观一致性 ρ_c（多帧同一子类区域灰度/特征不变性）与专家知识先验 π_c（不同材质/高度结构的典型稳定性），通过偏离类均值 (ρ_c?ρ?_l) 放大稳定子类贡献，经 clip 至 [0,1]。结论：该初始化有效抑制悬浮、动态及瞬变区域特征权重，使模型聚焦于地面、建筑立面等长期稳定结构。

3.2 语义引导特征提取（Semantics-Guided Feature Extraction）

3.2.1 基于 BAM 的局部特征可靠性（BAM-Based Local Feature Reliability）

研究人员以 SuperPoint 伪真值角点图 G 指示潜在可重复位置，将 BAM 嵌入特征提取网络。通道注意力 M_c(F) 通过全局平均池化 F_c=AvgPool(F)∈?^C×1×1后经过 W₀∈?^C×C/r、ReLU、W₁∈?^C/r×C与 BN 建模通道间依赖，突出语义判别性强之通道；空间注意力 M_s(F) 由语义分割子类稳定性权重 w_c上采样插值生成，显式注入地面接触与静态先验。最终 F'=F+F⊙σ(M_c(F)+M_s(F))。结论：双注意力机制使网络在训练阶段即学会抑制噪声纹理（树叶、阴影、车灯）响应，增强对路面纹理、墙角等长期稳定区域的特征激活，提升单帧局部可重复性与跨时段匹配鲁棒性。

四、讨论与结论

研究人员总结：将城市室外场景普遍成立的物理几何先验（重力对齐的地平面假设、物体高度与静态性常识）与数据驱动的语义分割、时序一致性统计相结合，可有效弥补纯学习型特征在长时场景中的漂移与过拟合缺陷。所提框架不依赖额外传感器，仅需单目或双目序列及离线语义分割模型，物理先验模块可在非直立相机或非结构化环境中通过估计重力方向或置为均匀分布予以关闭或适配。实验验证表明，物理—语义联合先验引导的 BAM 特征可靠性估计显著提高了长时条件下正确匹配数与位姿估计成功率，尤在昼夜/季节差异大的子集上增益明显。该方法为长时视觉定位中如何有效融合领域知识与深度学习提供了可行范式。

结论翻译：This paper presents a physically-primed semantics-guided feature reliability estimation framework for long-term visual localization. By encoding geometric contact priors (ground-plane affinity, static likelihood) and fine-grained semantic class stability weights—derived from temporal appearance consistency and expert structural priors—into a Bottleneck Attention Module (BAM) that enhances discriminative feature responses from both channel and spatial dimensions using SuperPoint pseudo-ground-truth corners, the proposed method significantly improves local feature repeatability and matching robustness under drastic illumination, seasonal, and viewpoint changes. Evaluations on public long-term benchmarks confirm that incorporating scene-specific physical priors regularizes self-supervised learning and focuses matching on structurally stable regions, outperforming prior art that relies solely on data-driven features. The modular prior can be disabled or adapted for non-urban or non-upright camera settings.