引言
特征匹配旨在建立来自不同视角或不同时间拍摄的图像之间的可靠对应关系,在许多几何视觉任务中发挥着基础性作用,包括视觉定位、相对姿态估计、单应性估计、运动结构恢复(Structure-from-Motion, SLAM)。随着基于学习的局部特征和特征匹配模型的快速发展,最近的方法通过图神经网络(Sarlin, DeTone, Malisiewicz, & Rabinovich, 2020)、基于 Transformer 的匹配(Lindenberger, Sarlin, Pollefeys, 2023b, Sun, Shen, Wang, Bao, Zhou, 2021)、基础模型引导(Jiang, Karpur, Cao, Huang, & Araujo, 2024)、高效匹配架构(Wang, He, Peng, Tan, & Zhou, 2024a)以及基于扩散的细化(Zhang & Ma, 2024)显著提高了匹配的准确性、鲁棒性和效率。最近的研究进一步探讨了鲁棒的局部特征匹配(Dai, Xie, Wang, Jiang, Li, Zhao, 2024, Luo, Xie, Wang, Dai, Cao, Zhao, 2024, Xie, Dai, Wang, Li, Zhao, 2024)、语义感知匹配(Zhang, Zhu, Li, Lu, & Ma, 2025b)和多视图协作匹配(Zhang et al., 2025a)以及高效匹配架构(Li, Rao, Pan, 2025, Zhong, Jiang, 2025),强调了在具有挑战性的场景中可靠对应关系估计的持续重要性。
经典的手工制作的局部特征,如 SIFT(Lowe, 2004)、SURF(Bay, Tuytelaars, & Van Gool, 2006)、ORB(Rublee, Rabaud, Konolige, & Bradski, 2011)、BRISK(Leutenegger, Chli, & Siegwart, 2011)、KAZE(Alcantarilla, Bartoli, & Davison, 2012)和 AKAZE(Alcantarilla, Nuevo, & Bartoli, 2013),通过检测可重复的关键点和构建不变描述符为特征匹配奠定了重要基础。然而,在涉及大幅视角变化、重复图案、低纹理区域和严重光照变化的具有挑战性的场景中,它们的区分能力往往会下降。这些限制促使了基于学习的特征提取和上下文感知匹配方法的发展。
基于学习的局部特征通过从数据中学习关键点检测和描述符表示来进一步提高匹配的鲁棒性。例如,LIFT(Yi, Trulls, Lepetit, & Fua, 2016)引入了一个端到端的流程来联合学习关键点检测和描述,而 SuperPoint(DeTone, Malisiewicz, & Rabinovich, 2018)采用自监督学习在没有手动注释的情况下统一了检测和描述。随后的方法,如 D2-Net(Dusmanu et al., 2019)、R2D2(Revaud, De Souza, Humenberger, & Weinzaepfel, 2019)和 DISK(Tyszkiewicz, Fua, & Trulls, 2020),在具有挑战性的成像条件下进一步提高了特征的可重复性和描述符的独特性。最近的轻量级模型,包括 ALIKED(Zhao et al., 2023)和 XFeat(Potje, Cadar, Araujo, Martins, & Nascimento, 2024),在保持竞争性匹配性能的同时进一步降低了计算成本。
尽管有这些进步,当支持分配的跨视图证据模糊或不足时,可靠的特征匹配仍然具有挑战性。有限的重叠、重复的纹理、微弱的外观线索、光照变化和多个可能的候选者都可能导致分配证据难以解决。由此产生的不可靠的对应关系会降低单应性估计(Ai et al., 2026)、相对姿态恢复(Liu et al., 2025)和 3D 重建(Lee & Yoo, 2025)的质量。EGRel 针对这些条件的共同可观察结果:在匹配器的原始分配分布中支持分散或薄弱。
最高的匹配分数仅描述了最强的候选者,并没有完全揭示证据在竞争选项中的分布情况。因此,当几个候选者获得相似的支持时,分配可能仍然模糊,即使其最高分数相对较高。EGRel 在现有的分布级别不确定性建模(Kendall, & Gal, Lakshminarayanan, Pritzel, & Blundell)的基础上,引入了特定阶段的可靠性控制,直接利用 DiffGlue 原始分配分布中编码的模糊性。
为了解决这个问题,我们提出了 Entropy-Guided Reliability Modeling(EGRel),这是一种以 DiffGlue 为中心的可靠性细化方法,包含两个互补的操作。在训练期间,一个来自对数-N 缩放的行级熵的门调节每对图像对对批量平均负对数似然目标的贡献。在评估期间,一个独立的全局分配熵统计量驱动辅助的 Entropy-Adaptive Refinement Scheduling(EARS)策略,该策略可能在配置的最小深度后终止细化。这两个操作使用不同的阈值,不需要额外的头部进行不确定性或置信度预测,并保留了原始的 DiffGlue 架构、匹配接口和互惠匹配输出。
EGRel 模拟了对应关系支持减少的匹配级后果。当重叠、外观或可见性线索不足时,分配证据在候选匹配之间的集中度降低。行级统计量捕获了整个分配行上的这种分布变化,而投影和深度有效性检查为训练提供了基于几何的对应目标。这种设计使得在不需要引入额外预测头的情况下实现可靠性感知的匹配成为可能。
根据报告的协议,EGRel 在固定的 MegaDepth 评估子集上将 mAA 从 65.60% 提高到 69.73%,在 HPatches 上从 53.40% 提高到 54.54%。这些结果支持熵引导的可靠性细化作为一种有效且保留架构的方法,用于改进基于 DiffGlue 的特征匹配及其下游的几何估计性能。
总结如下:
1.我们为 DiffGlue 制定了熵引导的可靠性细化方法,从分配分布中导出对应不确定性,并用它来识别不可靠或模糊的匹配证据。
2.我们引入了 EARS 作为熵自适应细化调度策略,其中全局不确定性线索控制评估时的细化。
3.我们通过在 MegaDepth、HPatches 和 ScanNet 上进行组件、阈值、鲁棒性和效率分析来验证 EGRel,证明了在固定评估协议下改进的几何估计和室内跨数据集迁移。