LARKED：一种轻量且可靠的特征匹配关键点检测方法

《Computer Vision and Image Understanding》：LARKED:A lightweight and reliable keypoint detection method for feature matching

关键点检测方法通过引入可靠性优化机制和轻量级网络架构提升性能，提出Rel-NMS采样方法与双损失函数，实验表明在几何估计和特征匹配任务中精度与效率均优于现有方法。

　　

张浩楠|单景松|常凯璐|谭一真|杨佩|易华飞

淮阴理工学院计算机与软件工程学院，江苏省淮安市梅生路1号，223003，中国

摘要

关键点检测是特征匹配的关键技术，它可以从图像中提取有用的特征以进行进一步分析。然而，现有的关键点检测方法对学习关键点的可靠性关注有限，因此无法直接优化可靠区域内的关键点位置。为了解决这个问题，我们提出了一种基于Rel-NMS的采样方法，该方法使用非最大值抑制（NMS）直接采样可靠的关键点。此外，引入了双重负对数似然损失和双重L1距离损失来联合训练关键点描述符和可靠性得分，同时设计了局部相似性损失和局部峰值损失来细化关键点定位。为了进一步提高计算效率，我们采用了轻量级网络设计，该设计能够在GPU上以36.8 FPS的速度处理640 × 480像素的图像。在单尺度检测任务中，所提出的方法达到了74.78%的MHA@3准确率，在多尺度检测中达到了80.37%的MHA@3准确率，推理速度为10.8 FPS。尽管在相对较小的数据集上进行了训练，我们的方法在单应性估计、特征匹配和视觉（重新）定位方面的性能与最先进（SOTA）方法相当，同时显著减少了推理时间。

引言

在许多应用中，包括视觉定位（Sattler等人，2017年）、对象检测（Diwan等人，2023年）、姿态估计（Kundu等人，2018年）、运动结构（SfM）（Sch?nberger和Frahm，2016年）以及同时定位与映射（SLAM）（Xiao和Li，2024年），从图像中准确检测关键点和提取可靠的描述符至关重要。然而，诸如尺度变换、纹理变化和光照变化等因素会显著影响关键点的可靠性和重复性，特别是在资源有限的真实场景中。因此，实现鲁棒且高效的关键点检测仍然是一个具有挑战性的问题。

对于关键点检测和描述符提取，早期的手工算法（Lowe，2004年；Karpushin等人，2016年）在复杂场景中常常遇到关键点不稳定和描述符模糊的问题。随着深度学习的成功，基于神经网络的方法逐渐成为主流。一些研究将关键点检测视为一个得分估计问题（DeTone等人，2018年；Revaud等人，2019年；Dusmanu等人，2019年；Zhao等人，2023年；Potje等人，2024年；Sun等人，2024年），其中在得分图上响应值高的像素被选为关键点。一些方法（DeTone等人，2018年；Dusmanu等人，2019年；Ono等人，2018年；Pakulev等人，2023年）通过引入单一兴趣点损失来统一重复性和可靠性，假设高得分像素代表高质量的关键点。后续的研究（Revaud等人，2019年；Song等人，2020年；Xue等人，2023年；Zhao等人，2023年）观察到关键点可能出现在纹理较弱的区域。为了解决这个问题，引入了与可靠性相关的损失来防止在这些区域生成关键点，从而提高了关键点的质量。

尽管现有方法可以减少纹理较弱区域的影响，但它们仍然缺乏有效的机制来避免位于不可靠区域的关键点。因此，难以过滤掉低质量的关键点，这最终限制了检测性能的进一步提升。为了克服这一限制，我们提出了一种结合可靠性和NMS的采样方法，称为Rel-NMS。通过在可靠性得分图中添加约束，所提出的方法鼓励模型关注高度可靠的关键点，从而直接避免不可靠区域的影响。此外，我们引入了双重L1距离（Dual-L1）损失来直接优化关键点的可靠性。另外，设计了局部峰值损失和局部相似性损失来增强关键点的重复性。

对于描述符学习，大多数现有方法依赖于三元组损失（DeTone等人，2018年；Dusmanu等人，2019年；Luo等人，2020年；Song等人，2020年），该方法专注于优化正样本和负样本之间的L2距离。然而，实证结果表明，这种公式化方法未能充分利用正样本之间的关系，导致特征表示能力有限和匹配性能不佳。为了解决这个问题，我们提出了双重负对数似然损失（Dual-NLL），该方法将描述符相似性估计视为一个概率建模问题。通过最大化匹配点之间的相似概率，所提出的损失实现了更稳定的收敛和更好的匹配结果。

另一方面，大多数现有方法专注于提高匹配性能，而忽视了计算效率。因此，我们设计了一种轻量级网络结构，以平衡性能和效率。受到先前工作的启发（Luo等人，2020年；Wang等人，2022年），我们引入了多层次特征融合机制来平衡检测准确性和特征表示能力。实验结果表明，所提出的网络在匹配性能上优于现有方法，同时提供了更快的推理速度。

总结来说，本文的主要贡献如下：

• 我们提出了一种新颖的Rel-NMS采样方法，从可靠性图中筛选高质量的关键点，并引入了双重L1距离（Dual-L1）损失来直接优化关键点的可靠性。此外，还提出了局部相似性损失和局部峰值损失来共同增强关键点的重复性。

• 我们设计了双重负对数似然（Dual-NLL）损失来替代传统的三元组损失。通过概率建模描述符相似性，所提出的损失使网络能够学习更具区分性的特征表示。

• 我们提出了一种具有分层特征聚合机制的轻量级网络结构，显著提高了关键点检测和描述符提取的效率。所提出的模型能够在GPU上以36 FPS的稳定速度运行，其匹配准确性与最先进（SOTA）方法相当（见图1）。

相关工作

相关工作

到目前为止，基于深度学习的键点检测方法可以大致分为三类：基于补丁的描述符提取方法、基于得分图的方法以及联合描述和检测方法。

（1）基于补丁的描述符提取方法

基于补丁的方法主要从图像补丁中提取局部描述符。Matchnet（Han等人，2015年）通过估计描述符的相似性并使用交叉熵损失进行训练。随后，TFeat（Balntas等人，2016年）提出了

方法

输入图像的分辨率对关键点检测的准确性有很大影响。在视觉定位（Sattler等人，2017年）和SfM（Sch?nberger和Frahm，2016年）任务中，需要足够的像素级细节来支持准确的像素级匹配。然而，高分辨率图像大大增加了网络的计算复杂性，这对轻量级网络架构来说是一个挑战。如图2所示，为了提高网络的计算效率，

实验

在本节中，我们首先详细介绍了训练细节和评估指标。然后，我们在两个数据集上评估了所提出的方法：HPatches（Balntas等人，2017年）和Aachen Day-Night（Sattler等人，2018年）。为了进一步分析我们的方法，我们对损失函数进行了消融实验。最后，我们将我们的方法与现有方法在网络复杂性、单应性估计、特征匹配和视觉（重新）定位任务上进行了比较。

结论

我们提出了LARKED，这是一种端到端的轻量级且可靠的关键点检测方法。它使用可靠的检测器和可重复的检测器来检测准确的像素级关键点，然后使用提出的局部相似性损失和局部峰值损失来优化关键点，双重L1损失用于提高关键点的可靠性。除了关键点检测之外，还引入了Dual-NLL损失来训练区分正样本和负样本的描述符。与

CRediT作者贡献声明

张浩楠：撰写——原始草稿，项目管理，调查，形式分析，数据管理，概念化。单景松：撰写——审阅与编辑，可视化，监督，方法论，调查，数据管理，概念化。常凯璐：撰写——审阅与编辑，可视化，数据管理，概念化。谭一真：撰写——审阅与编辑，可视化，验证。杨佩：撰写——审阅与编辑，可视化。易华飞：撰写——

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能会影响本文报告的工作。

张浩楠：出生于2000年，中国河南省。2023年获得洛阳理工学院的工程学士学位，目前是淮阴理工学院的研究生。