EGRel:基于熵引导的可靠性建模方法用于特征匹配

《Expert Systems with Applications》:EGRel: Entropy-Guided Reliability Modeling for Feature Matching

【字体: 大 中 小 】 时间:2026年10月05日 来源:Expert Systems with Applications 9.4

编辑推荐:

  •EGRel 使用 DiffGlue 的分配熵作为特征匹配的可靠性线索。•行熵用于调整训练损失;全局熵用于规划细化深度。•在 MegaDepth-1500 和保留的 HPatches 上,EGRel 的准确性优于 DiffGlue。引言特征匹配旨在建立来自不同视角或不同时间拍摄的

  
  • •
    EGRel 使用 DiffGlue 的分配熵作为特征匹配的可靠性线索。
  • •
    行熵用于调整训练损失;全局熵用于规划细化深度。
  • •
    在 MegaDepth-1500 和保留的 HPatches 上,EGRel 的准确性优于 DiffGlue。

引言

特征匹配旨在建立来自不同视角或不同时间拍摄的图像之间的可靠对应关系,在许多几何视觉任务中发挥着基础性作用,包括视觉定位、相对姿态估计、单应性估计、运动结构恢复(Structure-from-Motion, SLAM)。随着基于学习的局部特征和特征匹配模型的快速发展,最近的方法通过图神经网络(Sarlin, DeTone, Malisiewicz, & Rabinovich, 2020)、基于 Transformer 的匹配(Lindenberger, Sarlin, Pollefeys, 2023b, Sun, Shen, Wang, Bao, Zhou, 2021)、基础模型引导(Jiang, Karpur, Cao, Huang, & Araujo, 2024)、高效匹配架构(Wang, He, Peng, Tan, & Zhou, 2024a)以及基于扩散的细化(Zhang & Ma, 2024)显著提高了匹配的准确性、鲁棒性和效率。最近的研究进一步探讨了鲁棒的局部特征匹配(Dai, Xie, Wang, Jiang, Li, Zhao, 2024, Luo, Xie, Wang, Dai, Cao, Zhao, 2024, Xie, Dai, Wang, Li, Zhao, 2024)、语义感知匹配(Zhang, Zhu, Li, Lu, & Ma, 2025b)和多视图协作匹配(Zhang et al., 2025a)以及高效匹配架构(Li, Rao, Pan, 2025, Zhong, Jiang, 2025),强调了在具有挑战性的场景中可靠对应关系估计的持续重要性。
经典的手工制作的局部特征,如 SIFT(Lowe, 2004)、SURF(Bay, Tuytelaars, & Van Gool, 2006)、ORB(Rublee, Rabaud, Konolige, & Bradski, 2011)、BRISK(Leutenegger, Chli, & Siegwart, 2011)、KAZE(Alcantarilla, Bartoli, & Davison, 2012)和 AKAZE(Alcantarilla, Nuevo, & Bartoli, 2013),通过检测可重复的关键点和构建不变描述符为特征匹配奠定了重要基础。然而,在涉及大幅视角变化、重复图案、低纹理区域和严重光照变化的具有挑战性的场景中,它们的区分能力往往会下降。这些限制促使了基于学习的特征提取和上下文感知匹配方法的发展。
基于学习的局部特征通过从数据中学习关键点检测和描述符表示来进一步提高匹配的鲁棒性。例如,LIFT(Yi, Trulls, Lepetit, & Fua, 2016)引入了一个端到端的流程来联合学习关键点检测和描述,而 SuperPoint(DeTone, Malisiewicz, & Rabinovich, 2018)采用自监督学习在没有手动注释的情况下统一了检测和描述。随后的方法,如 D2-Net(Dusmanu et al., 2019)、R2D2(Revaud, De Souza, Humenberger, & Weinzaepfel, 2019)和 DISK(Tyszkiewicz, Fua, & Trulls, 2020),在具有挑战性的成像条件下进一步提高了特征的可重复性和描述符的独特性。最近的轻量级模型,包括 ALIKED(Zhao et al., 2023)和 XFeat(Potje, Cadar, Araujo, Martins, & Nascimento, 2024),在保持竞争性匹配性能的同时进一步降低了计算成本。
尽管有这些进步,当支持分配的跨视图证据模糊或不足时,可靠的特征匹配仍然具有挑战性。有限的重叠、重复的纹理、微弱的外观线索、光照变化和多个可能的候选者都可能导致分配证据难以解决。由此产生的不可靠的对应关系会降低单应性估计(Ai et al., 2026)、相对姿态恢复(Liu et al., 2025)和 3D 重建(Lee & Yoo, 2025)的质量。EGRel 针对这些条件的共同可观察结果:在匹配器的原始分配分布中支持分散或薄弱。
最高的匹配分数仅描述了最强的候选者,并没有完全揭示证据在竞争选项中的分布情况。因此,当几个候选者获得相似的支持时,分配可能仍然模糊,即使其最高分数相对较高。EGRel 在现有的分布级别不确定性建模(Kendall, & Gal, Lakshminarayanan, Pritzel, & Blundell)的基础上,引入了特定阶段的可靠性控制,直接利用 DiffGlue 原始分配分布中编码的模糊性。
为了解决这个问题,我们提出了 Entropy-Guided Reliability Modeling(EGRel),这是一种以 DiffGlue 为中心的可靠性细化方法,包含两个互补的操作。在训练期间,一个来自对数-N 缩放的行级熵的门调节每对图像对对批量平均负对数似然目标的贡献。在评估期间,一个独立的全局分配熵统计量驱动辅助的 Entropy-Adaptive Refinement Scheduling(EARS)策略,该策略可能在配置的最小深度后终止细化。这两个操作使用不同的阈值,不需要额外的头部进行不确定性或置信度预测,并保留了原始的 DiffGlue 架构、匹配接口和互惠匹配输出。
EGRel 模拟了对应关系支持减少的匹配级后果。当重叠、外观或可见性线索不足时,分配证据在候选匹配之间的集中度降低。行级统计量捕获了整个分配行上的这种分布变化,而投影和深度有效性检查为训练提供了基于几何的对应目标。这种设计使得在不需要引入额外预测头的情况下实现可靠性感知的匹配成为可能。
根据报告的协议,EGRel 在固定的 MegaDepth 评估子集上将 mAA 从 65.60% 提高到 69.73%,在 HPatches 上从 53.40% 提高到 54.54%。这些结果支持熵引导的可靠性细化作为一种有效且保留架构的方法,用于改进基于 DiffGlue 的特征匹配及其下游的几何估计性能。
总结如下:
  • 1.
    我们为 DiffGlue 制定了熵引导的可靠性细化方法,从分配分布中导出对应不确定性,并用它来识别不可靠或模糊的匹配证据。
  • 2.
    我们引入了 EARS 作为熵自适应细化调度策略,其中全局不确定性线索控制评估时的细化。
  • 3.
    我们通过在 MegaDepth、HPatches 和 ScanNet 上进行组件、阈值、鲁棒性和效率分析来验证 EGRel,证明了在固定评估协议下改进的几何估计和室内跨数据集迁移。
  • 章节片段

    手工制作的局部特征

    早期的特征匹配系统主要依赖手工制作的局部特征来检测可重复的关键点并构建不变描述符。代表性的方法包括 SIFT(Lowe, 2004)、SURF(Bay et al., 2006)、ORB(Rublee et al., 2011)、BRISK(Leutenegger et al., 2011)、KAZE(Alcantarilla et al., 2012)和 AKAZE(Alcantarilla et al., 2013)。这些方法通过编码对尺度、旋转和适度光度变化的不变性来改进对应关系的建立

    方法

    EGRel 是附加到现有的 DiffGlue 分配和细化流程中,而不是替换其匹配框架。其中心逻辑是:DiffGlue 的分配分布、分配熵作为对应不确定性、不可靠分配证据的识别以及可靠性细化。行级统计量支持实施的可靠性操作,而单独的全局统计量被 EARS 用作辅助的熵自适应细化调度策略。
    图 1

    实验

    我们在 MegaDepth(Li & Snavely, 2018)、HPatches(Balntas, Lenc, Vedaldi, & Mikolajczyk, 2017)和标准的 ScanNet 基准测试上评估了 EGRel。MegaDepth 评估室外相对姿态估计,HPatches 评估在光照和视角变化下的单应性估计,而 ScanNet 检验室内跨数据集迁移。组件比较隔离了行级可靠性学习和 EARS,而阈值、证据移除、诊断和效率分析描述了它们的

    结论

    本文提出了 Entropy-Guided Reliability Modeling(EGRel),这是一种轻量级的可靠性增强方法,用于 DiffGlue,将行级熵训练门与 Entropy-Adaptive Refinement Scheduling(EARS)相结合。EGRel 在不修改原始架构或引入额外置信度预测头的情况下,将 mAA 在固定的 MegaDepth 评估子集上从 65.60% 提高到 69.73%,在保留的 HPatches 基准测试上从 53.40% 提高到 54.54%。

    未引用的浮点数
    表 10、A.11 和 B.12。

    CRediT 作者贡献声明
    刘珊珊:概念化、方法论、软件、验证、形式分析、调查、数据整理、写作 - 原稿、可视化。傅峥:概念化、写作 - 审阅与编辑。张天硕:可视化、写作 - 审阅与编辑。王伟:监督、写作 - 审阅与编辑。史忠辰:监督、资源。陈伟:写作 - 审阅与编辑、监督、项目管理、资金获取、资源。谢亮:项目

    利益冲突声明
    作者声明他们没有已知的可能会影响本文工作的竞争财务利益或个人关系。

    刘珊珊|傅峥|张天硕|王伟|史忠辰|陈伟|谢亮|尹尔威
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号