低共视性特征匹配方法与自适应运动位置编码

《Array》：Low co-visibility feature matching method with adaptive motion positional encoding

　　

特征匹配（feature matching, FM）是许多计算机视觉应用中的基础且关键问题。然而，在低共视性（low co-visibility, LCV）场景下进行匹配仍具挑战性。相邻帧之间的视角位置变化通常导致特征在帧间一致移动，即使对于低共视性场景也是如此。基于这一一致性，研究人员提出了一种低共视性特征匹配方法，该方法采用自适应运动位置编码（adaptive motion positional encoding, AMPE）。除了传统上关注纹理信息提取和相似性评估外，该方法强调了位置信息作为支持特征点相似性关键来源的重要性。提出的方法将匹配过程分为两个阶段：粗匹配（coarse matching, CM）和精匹配（fine matching, FM）。从粗匹配开始，研究人员迭代更新现有特征的位置编码（positional encoding, PE），使得这些编码在数据驱动方法下逐渐对齐，从而确保对应同一空间点的特征具有相似的位置编码信息。最后，在精匹配过程中，研究人员将细化匹配以达到亚像素（sub-pixel）精度。因此，粗匹配的鲁棒性和精匹配的精度均得到提升。实验表明，在具有快速移动相机和大视角变化的公共数据集上，当有限帧率或大时间间隔导致图像对之间重叠视场减少时，所提方法提供了具有竞争力的结果。

**论文解读：低共视性特征匹配方法研究**

**研究背景与问题**

特征匹配（feature matching, FM）作为图像间数据关联的基础，广泛应用于三维视觉任务，如运动恢复结构（Structure from Motion, SfM）和同步定位与地图构建（Simultaneous Localization and Mapping, SLAM）。其质量直接影响下游任务的性能上限。在快速移动相机或帧跳过场景（如回环检测、关键帧选择）中，有限帧率导致相邻帧间重叠视场减小，形成低共视性（low co-visibility, LCV）问题。现有方法（包括传统人工设计描述子和深度学习）通常不区分是否共享视场，对所有特征点进行比较，导致外点比例升高、内点数量减少。针对大视角变化，有些方法通过设计更具区分性的描述子或分割共视区域来引导匹配，但忽视了帧间特征分布的一致性：相邻帧间视角变化往往导致特征产生一致的运动模式。

**研究内容与结论**

研究人员提出了一种低共视性特征匹配方法，引入自适应运动位置编码（adaptive motion positional encoding, AMPE），以端到端方式利用特征分布的一致性。该方法在粗匹配阶段迭代更新位置编码，使对应特征在编码空间中更相似，从而提升低共视性下的匹配鲁棒性和精度。实验表明，在TUM RGBD、HPatches和MegaDepth等公共数据集上，该方法在快速移动相机和大视角变化场景下优于现有主流方法，包括SIFT+最近邻、SuperPoint+SuperGlue、LoFTR等。该研究为低共视性匹配提供了新视角，即通过位置编码的动态调整增强匹配性能，论文发表在《Array》。

**关键技术与方法**

1. **局部特征提取**：使用卷积神经网络（CNN）结合特征金字塔网络（FPN），从输入图像提取粗分辨率特征图（F_a、F_b）和细分辨率特征图（F?_a、F?_b）。粗特征用于降低计算开销和提供全局视野，细特征用于亚像素级精化。
2. **迭代粗匹配**：基于Transformer的自注意力和交叉注意力层，融合纹理特征与位置编码。采用线性注意力机制（linear attention）将复杂度从O(N²d)降至O(Nd²)，其中N为特征点数量，d为特征维度。
3. **自适应运动位置编码**：初始使用标准正弦位置编码。通过粗匹配结果计算7次多项式拟合函数f，将图像I_b坐标映射到I_a坐标，然后根据映射结果重新生成I_b的位置编码，使对应点编码一致。该过程迭代N_i次（默认为3），每次基于更新的匹配结果重新拟合。
4. **粗匹配与精匹配**：粗匹配通过双softmax和互最近邻（MNN）过滤得到置信度高于阈值（τ=0.1）的匹配对。精匹配在局部窗口内通过注意力机制计算热图期望值，获得亚像素精度。
5. **训练与数据**：在MegaDepth数据集上训练，使用随机裁剪（480×640）、颜色抖动等增强，损失函数为粗匹配的焦点损失和精匹配的加权L2损失。优化器为AdamW，学习率8×10^-3，训练30个epoch。

**研究结果**

**4.1 低共视性条件下的相对位姿估计**
在TUM RGBD数据集上，采用每40帧抽取一帧的协议（skip-40）模拟宽基线条件。通过特征匹配估计相对位姿，以累计误差曲线下面积（AUC）为指标（平移误差阈值40°，旋转误差阈值30°）。实验表明，所提方法在大多数序列上取得最佳或接近最佳结果，展现了较高的鲁棒性和精度，尤其在fr1_room和fr3_structure_notexture_far等低纹理场景中优势明显。

**4.2 单应性估计**
在HPatches视角变化序列上，使用OpenCV的RANSAC进行单应性估计，报告角点误差在3、5、10像素下的AUC。所提方法（48.24%、61.29%、74.25%）优于LoFTR（47.69%、59.93%、74.14%），并在精度上领先大多数基线，但略低于ASpanFormer和EfficientLoFTR。

**4.3 相对位姿估计**
在MegaDepth-1500子集中筛选出882对重叠分数小于0.35的低共视性图像对。以相对位姿误差在5°、10°、20°下的AUC为指标。所提方法（57.27%、72.94%、84.06%）优于LoFTR（56.13%、72.16%、82.94%），也优于ASpanFormer和EfficientLoFTR，仅次于采用Mamba架构的JamMa（仅@5°）。

**4.4 光照鲁棒性**
在HPatches严重光照变化序列（20对，平均像素差≥35）上，所提方法在@3px AUC为78.09%，优于LoFTR的77.18%。在合成光照退化测试（gamma_dark和dark_noise）中，所提方法在dark_noise下达到72.55%，远超LoFTR的42.61%，显示对光照和噪声联合退化的强鲁棒性。

**4.5 运行时间分析**
模型参数为11.56M，FLOPs为9.35 GFLOPs（N_i=3），推理时间237±12 ms，GPU内存峰值953 MB。每次迭代附加约70 ms，N_i=3在精度与效率间取得最佳平衡。

**4.6 消融实验**
- 去除自适应位置编码后，MegaDepth AUC@20°下降，证实其为主要贡献。对比标准正弦编码和RoPE，自适应运动编码在低重叠场景下显著更优（RoPE仅41.20% AUC@5°）。
- 迭代次数N_i从1增至3时性能明显提升，N_i=4无进一步改善且时间增加28%。
- 多项式拟合在平面场景（HPatches视角序列）和室外宽基线场景（MegaDepth）均表现良好，7次多项式足以建模多种空间变换。

**总结与讨论**

**总结**：本文提出了一种低共视性特征匹配方法，通过自适应运动位置编码从位置编码的新视角提升匹配性能。在粗匹配中，方法迭代更新结果，使位置编码适应两帧间对应点的多项式连续函数；随后注意力机制基于更新后的编码聚合信息，促进精匹配。实验表明，自适应位置编码显著提升了整体性能。

**局限性**：多项式拟合假设全局平滑的空间变换，在深度突变或初始匹配严重污染时可能退化。通过置信度阈值和MNN过滤可缓解，但单一多项式无法建模跨深度平面的不连续坐标映射（如近景前景与远景背景共存）。

**研究结论**：研究人员提出的方法在低共视性场景下，通过自适应运动位置编码有效增强了特征匹配的鲁棒性和精度，为后续探索基于高斯混合模型（Gaussian Mixture Model, GMM）的自适应位置编码拟合函数以及分段或区域感知拟合以处理深度不连续性提供了方向。