在重复环境中，用于无人机自主定位与地图构建（SLAM）的鲁棒且低复杂度的特征匹配方法

《Results in Engineering》：Robust and Low-Complexity Feature Matching for UAV SLAM in Repetitive Environments

　　Cong Hoang Quach | Stuart Perry | Ha Vu Le | Thuy Pham | Thuan Hoang Tran | Manh Duong Phung
悉尼科技大学电气与数据工程学院，新南威尔士州，澳大利亚

摘要
感知混叠仍然是基于特征的同步定位与映射（SLAM）面临的一个重大挑战，特别是在资源受限的无人机（UAV）在无法使用GPS的环境中运行时。本文提出了一种低复杂度的图像匹配方法，该方法在保持计算效率的同时提高了 correspondence 的可靠性。特征匹配被构建为一个线性赋值问题，其中成本矩阵的设计旨在整合描述符相似性、特征显著性估计和运动一致的几何约束。提出了两种实用的流程：一种是基于视觉-惯性测量（VIO）的策略，它结合了视觉-惯性先验；另一种是即时匹配策略，在惯性信息不可靠时直接从立体观测数据中估计姿态。在42个TartanAir序列上的实验表明，所提出的方法与SuperGlue等最先进的深度学习方法达到了相当的水平，同时将计算成本降低了多达10倍，并显著减少了内存使用。这些特性使得该方法非常适合在微型UAV平台上实时应用。

1. 引言
无人机（UAV）在包括基础设施检查、环境监测、搜索与救援、精准农业和配送服务在内的广泛应用中变得越来越重要[1] [2] [3]。同步定位与映射（SLAM）对于无人机的自主操作至关重要，尤其是在无法使用GPS的环境中，如室内空间、城市峡谷和卫星信号不可靠的拥堵区域。在这些环境中，SLAM的目标是使无人机利用机载传感器实时重建周围环境的地图[4]。由于对有效载荷、功耗和计算资源的严格限制，轻量级的CMOS图像传感器特别适合用于UAV导航。因此，设计低复杂度的基于特征的视觉SLAM算法对于实现安全可靠的自主飞行至关重要。

1.1. 基于特征的视觉SLAM
视觉SLAM系统通常包括两个关键部分：前端和后端。在基于特征的视觉SLAM中，前端检测并跟踪特征点的离散2D位置。每个2D特征点需要与环境中的特定3D地标关联起来，这个过程称为数据关联[5]。由于相机测量和环境中的噪声、不确定性及歧义性，这在SLAM中是一个具有挑战性的任务。后端通过使用最大后验（MAP）估计来重建特征点的3D观测结果。对于视觉传感器，这一过程对应于 bundle adjustment（BA），它最小化前端提取的特征点的重投影误差。这样的优化使得在长时间窗口内跨多个视图进行一致的特征匹配成为可能。一个显著的例子是ORB-SLAM2[6]，它使用共视性图进行特征关联，并在标准基准测试中实现了准确的轨迹估计。这些结果表明，数据关联仍然是SLAM研究的主要焦点。

如图1所示，SLAM中的数据关联在多个层面上进行。在像ORB-SLAM2这样的先进框架中，短期数据关联可以扩展到中期数据关联以减少漂移累积。尽管这种策略需要额外的计算资源，但中期数据关联提高了一致性，并能消除长时间轨迹中的漂移，这是最先进SLAM系统实现高精度的关键因素。

1.2. 感知混叠
当环境中的不同位置产生相似的感官观测结果时，就会发生感知混叠，导致数据关联过程中出现错误对应[7]。当UAV在具有重复图案的环境中运行时，这个问题尤为常见，例如天花板、地板、窗户、树木或像天空这样的大面积无纹理区域。在实际应用中，解决感知混叠对于保持可靠的SLAM性能至关重要。一种有前景的策略是将基于几何的约束与基于学习的方法结合起来以提高鲁棒性。尽管基于学习的方法在具有挑战性的场景中表现出了强大的性能[8]，但在大多数现有工作中，感知混叠问题并未得到充分解决[7] [9]。它们的高计算和内存需求也限制了它们在资源受限的UAV上的适用性。因此，找到有效且高效的问题解决方案仍然是一个未解决的研究挑战。

在这项工作中，我们提出了一种图像匹配方法来处理计算资源有限的UAV中的感知混叠问题。特征匹配被构建为一个线性赋值问题，并通过改进的成本矩阵来提高对应精度。我们的主要贡献有三个方面：
(i) 我们引入了一种特征显著性估计策略来细化匹配成本矩阵，并结合几何约束以在具有挑战性的感知混叠条件下增强鲁棒性。
(ii) 我们为UAV应用开发了两种匹配流程，一种利用视觉-惯性测距（VIO）先验，另一种不依赖于VIO。这两种方法都达到了与最先进方法相当的水平[10]。
(iii) 所提出的算法保持了低计算复杂性和内存消耗，使得能够在资源受限的平台上（如微型UAV）高效部署。

本文的其余部分组织如下：第2节回顾相关工作；第3节描述所提出的方法；第4节呈现实验结果；最后第5节提供结论。

2. 相关工作
本节回顾了针对UAV基SLAM的代表性数据关联方法，这些方法解决了感知混叠问题。考虑到UAV平台的计算限制，我们还讨论了实际方面，包括低复杂度方法和常用的基准数据集。

2.1. 视觉数据关联
视觉数据关联方法可以分为基于区域的方法和基于特征的方法[11]。基于区域的方法在重叠度高和近距离立体场景中特别有效[12] [13] [14]。直接SLAM技术采用基于区域的匹配进行短期数据关联，在无纹理或运动模糊的场景中表现良好。然而，随着关联帧数的增加，它们的内存和计算需求显著增加，这限制了它们在中期和长期数据关联方面的扩展性（见图1）。因此，在计算效率至关重要的资源受限系统中，通常更倾向于使用基于特征的SLAM方法[15] [16]。

基于特征的匹配涉及特征检测、描述符提取和对应估计。传统方法使用SIFT、SURF和ORB等传统特征进行检测和描述。对应估计可能依赖于描述符匹配、基于图的优化或异常点排除技术，并可以扩展到3D关联。这些方法通常比基于区域的方法更灵活和高效，并已在SLAM系统中得到广泛应用[17] [18]。为了在具有挑战性的条件下提高鲁棒性[19]，引入了基于学习的匹配方法。SuperGlue[10]是一个代表性的例子，它通过解决基于图的线性赋值问题来估计两组兴趣点之间的对应关系。结合SuperPoint描述符[20]，SuperGlue在标准基准测试中实现了先进的图像匹配性能，并已成为现代SLAM研究中广泛采用的基线。然而，感知混叠是一个重大挑战：视觉相似但图像重叠度低的区域可能导致描述符模糊和对应关系错误[5]，从而降低状态估计的准确性。通过强大的视觉匹配来解决感知混叠对于可靠的SLAM性能至关重要[21]。

2.2. 低复杂度数据关联
由于SLAM的实时要求，低复杂度的数据关联方法被广泛采用。对于短期关联，通常使用Lucas-Kanade跟踪器，因为它基于区域原理处理像素强度[22]。使用SIFT或ORB描述符结合RANSAC的基于特征的匹配方法也因比纯强度基跟踪更具有鲁棒性而受到欢迎[23]。然而，基于RANSAC的异常点排除对参数选择和初始化敏感，这可能会在具有挑战性的场景中影响稳定性。

基于深度学习的匹配器，如SuperGlue，显著提高了对应精度。然而，在具有大量重复纹理的环境中，注意力机制难以区分相似的图案[10]。在这种情况下，额外的计算成本可能超过由此带来的精度增益。另一种实用的解决方案是视觉-惯性SLAM，它结合了惯性测量单元（IMU）的测量数据[24] [25]。如图2所示，IMU的采样率高于相机，并且独立于场景外观。这使它们成为视觉感知的宝贵补充，有助于减轻感知混叠的影响[26] [27]。然而，基于IMU的运动估计由于传感器偏差而存在漂移[26]。因此，可靠的基于特征的视觉匹配对于约束漂移和保持长期精度仍然至关重要。

2.3. 数据集和实际挑战
基准数据集在SLAM研究中扮演着关键角色，因为它们提供了评估准确性、鲁棒性和计算效率的标准化环境。构建SLAM数据集需要仔细考虑传感器配置、同步精度、操作环境和目标SLAM挑战。EuRoC MAV数据集[28]是用于微型航空器（MAV）的VI SLAM的广泛采用的基准数据集，它提供了具有精确时间同步和运动捕获真实值的立体图像和IMU数据。TUM VI数据集[29]关注与直接VI方法相关的挑战，包括立体鱼眼相机的光度校准。TartanAir[19]是一个大规模的模拟数据集，主要用于基于学习的SLAM方法。它提供了多样化的轨迹和视觉复杂的场景，可以在光照变化、阴影和感知混叠的情况下进行评估。然而，TartanAir没有提供IMU测量数据，因为它最初并不是为特定的视觉-惯性SLAM系统或UAV应用设计的。

在实际应用中，收集真实的SLAM数据集存在额外的困难。商用UAV平台（如DJI和Skydio）通常限制了对同步IMU和原始图像流的访问，限制了可重复性和系统级实验。虽然存在提供完整传感器访问的开放研究平台[30] [31] [32] [33]，但它们往往成本高昂且需要大量的工程努力来操作和维护。此外，在户外环境中实现厘米级的真实值、精确的传感器校准和稳定的同步仍然是一个重大的技术挑战。

出于这些原因，像AirSim[34]和Flightmare[35]这样的逼真模拟工具已成为数据集构建的实用替代方案。模拟环境允许控制性地评估感知混叠、运动难度和传感器噪声，同时提供准确的真实值轨迹。这些工具在研究具有挑战性但可重复条件下的数据关联鲁棒性时特别有价值。

3. 方法论
在这项工作中，我们使用低复杂度的图像匹配算法来解决UAV SLAM系统中的感知混叠问题。现代UAV平台通常集成了多种感知模式，包括GPS、IMU和立体相机，以执行视觉-惯性测距（VIO）。基于这一架构，我们提出了两种互补的匹配策略以供实际应用：
• 方法1：VIO匹配，它利用UAV的视觉-惯性测距估计作为先验信息来指导特征对应。
• 方法2：即时匹配，它独立于VIO输出，直接从立体视觉信息中估计姿态。

如图3所示，这两种方法都遵循基于特征的流程，使用SuperPoint进行关键点检测和描述符提取。检测到的特征用于构建成本图，然后通过我们提出的视觉和几何约束进行细化，最后进行分配。得到的对应关系随后传递给MAP估计模块，以更新SLAM系统的全球状态。

图3. 提出的UAV SLAM系统中的匹配框架。绿色块（1）代表VIO匹配，蓝色块（2）代表即时匹配。两者都在数据关联模块中使用SuperPoint[20]特征。VIO匹配利用视觉-惯性先验来指导对应选择，而即时匹配在VIO估计不可靠时仅依赖视觉线索。选定的匹配结果随后用于最大后验（MAP）状态估计。

当可靠的VIO信息可用时，方法1通常以较低的计算成本实现更高的精度；而在严重的感知混叠情况下，方法2提供了一个稳健的替代方案，此时VIO估计会退化。两种方法的完整处理流程分别在图6和图7中展示，并在下方详细描述。下载：下载高分辨率图片（243KB）下载：下载全尺寸图片

图4. SuperPoint网络架构[20]。这是一个全卷积网络，具有共享的编码器和两个解码器头，用于关键点检测和描述符提取。编码器降低空间分辨率，而解码器生成概率图和标准化描述符。灰色块表示可学习层，蓝色块代表不可学习的上采样和归一化操作。下载：下载高分辨率图片（1014KB）下载：下载全尺寸图片

图5. 感知混叠对朴素 hungarian 匹配的影响。(a) 带有检测到的特征点的源图像和目标图像。(b) 计算所有特征对之间的L2范数成本矩阵；较深的（蓝色）值表示描述符距离较小。重复的天花板图案在矩阵的右上角产生了较大的低成本区域，反映了感知混叠。(c) 使用朴素 hungarian 匹配得到的对应关系：绿线表示正确的匹配，红线表示由于混叠导致的匹配错误。下载：下载高分辨率图片（292KB）下载：下载全尺寸图片

图6. 方法1 - 视觉惯性测量（VIO）匹配。该方法首先应用基于Sinkhorn的正则化（1），然后结合几何约束（2）来获得精炼的成本矩阵（3a），而不是直接优化原始的L2范数成本矩阵（1a）。圆形块表示来自立体深度和VIO姿态估计的先验信息；蓝色菱形块表示主要计算模块；方形块表示处理过程中产生的中间数据。下载：下载高分辨率图片（361KB）下载：下载全尺寸图片

图7. 方法2 - 即时匹配。使用Sinkhorn正则化（1）和几何约束（2）来获得精炼的成本矩阵（3a）。当VIO姿态不可用时，首先通过Hungarian算法（1b）提取初始匹配结果，然后通过RANSAC-PnP（1c）（紫色块）估计粗略姿态，再进行最终匹配。

3.1. SuperPoint 特征检测器和描述符
SuperPoint是一个全卷积神经网络，可以在单次前向pass中同时执行2D关键点检测和描述符提取。如图4所示，该架构包括一个共享的VGG风格编码器[36]，随后是两个并行的解码器头：一个兴趣点解码器和一个描述符解码器。与传统基于特征的检测器（如ORB）不同，SuperPoint不显式强制使用角点或线端点等语义结构。相反，它直接从数据中学习兴趣点位置，这提高了对光照变化、镜头畸变和视角变化的鲁棒性。这一特性特别适用于使用广角或鱼眼相机的无人机应用，因为SuperPoint可以直接在原始图像上操作，而无需进行直方图均衡化等额外预处理步骤。因此，它支持低延迟的特征提取，并有助于高效的实时SLAM状态估计。

3.2. 特征匹配
SuperPoint提取的关键点和描述符用于SLAM管道中的帧间数据关联。这个匹配过程可以基于描述符相似性构建为一个成本最小化问题。设{dis}i=1m和{djt}j=1n分别表示从源图像和目标图像中提取的特征描述符。交叉L2范数成本矩阵C∈Rm×n定义如下：
Cij=∥dis?djt∥2，
其中Cij表示第i个源特征和第j个目标特征之间的不相似度。较小的Cij值表示描述符相似度较高，因此是更强的候选匹配对。

在传统的逐一对应中，定义一个二进制分配矩阵X∈{0, 1}m×n，使得：
Xij={1, 如果 sourcefeature_i 与 targetfeature_j 不匹配；0，否则。
然后可以将特征匹配问题表述为以下线性分配问题：
minX∑i=1m∑j=1nCij
受以下一对一匹配约束：
∑j=1nXij≤1, ?i=1,?,m,
∑i=1mXij≤1, ?j=1,?,n,
Xij∈{0,1}。
前两个约束确保每个源特征最多与一个目标特征匹配，反之亦然。然而，如果环境中存在感知混叠，提取的特征点具有相似的描述符，直接解分配方程（3）很难区分这些点对。在这种情况下，成本矩阵中会出现许多L2范数距离较小的点对，如图5b所示为黑色点。这会导致错误的对齐，如图5c中的红线所示。为了解决这个问题，我们在最终离散匹配之前引入了一个包含特征独特性和全局一致性的成本矩阵正则化框架。

3.3. 特征独特性估计
传统匹配假设所有特征都同样可靠。然而，在重复环境中，许多特征是模糊的，不应在匹配过程中具有相同的权重。因此，我们使用图像内描述符相似性来估计每个图像内的特征独特性。设D={d1,d2,?,dN}表示从单张图像中提取的描述符。我们计算自相似性矩阵：
L2self(i,j)=∥di?dj∥2，
该矩阵衡量同一图像内特征对之间的距离。每个特征到所有其他特征的平均距离反映了其独特性：较大的平均值表示特征独特，而较小的平均值表示由于感知混叠导致的模糊性。基于这一观察，我们定义独特性得分：
Hsource=max(0,mean(L2self_source)?1),
Htarget=max(0,mean(L2self_target)?1)，
其中减1作为阈值，用于抑制低独特性特征。因为SuperPoint描述符是L2标准化的，所以欧几里得距离1对应于余弦相似度0.5。我们使用这个值作为基线阈值，以抑制高度聚集和独特性弱的特征。

3.4. 使用独特性得分的软匹配
结合独特性得分，我们放宽了（3）中的离散分配约束，并将匹配问题重新表述为软最优传输模型。具体来说，我们引入一个软分配矩阵P∈R+m×n，其中Pij≥0表示源特征i和目标特征j之间的传输质量。放宽后的匹配问题变为：
minP≥0∑i=1m∑j=1nCijPij，
其中Cij是交叉L2范数成本。为了提高数值稳定性并避免不稳定解，我们引入了熵正则化：
minP≥0∑i=1m∑j=1nCijPij+λ∑i=1m∑j=1nPijlogPij，
其中λ>0控制解的平滑度。熵最优传输问题（10）可以使用Sinkhorn-Knopp算法高效解决。该算法首先将成本矩阵转换为相似性核：
K=exp(?C/λ)，然后交替进行行归一化和列归一化。
在标准的Sinkhorn公式中，行和列被归一化为总和为一：
Kij←Kij·1∑jKij, Kij←Kij·1∑iKij。
然而，这假设所有特征都同样可靠。我们改为使用独特性得分进行归一化：
Kij←Kij·Hsource(i)∑jKij, Kij←Kij·Htarget(j)∑iKij。
这种修改允许独特特征携带更大的匹配质量，同时抑制模糊特征。收敛后，得到的传输矩阵表示为：
Gs=[Kij]。
它表示一个全局一致、基于独特性加权的软对应矩阵。与（1）中的朴素成本矩阵相比，Gs为后续的几何细化和离散匹配提供了更结构化的表示。

3.5. 几何约束
仅靠描述符相似性不足以在具有强烈感知混叠的环境中进行可靠的特征匹配。为了提高鲁棒性，我们结合了几何约束，以确保与无人机估计的运动相匹配。在可以使用视觉惯性测距（VIO）的情况下，可以估计连续相机帧之间的相对姿态，并利用该姿态来指导匹配过程。给定源和目标相机帧之间的估计变换，可以使用相机内参和估计的姿态将源图像中检测到的每个源关键点pi投影到目标图像平面。这种投影产生了一个预期的2D位置p^it，表示如果对应关系在几何上是正确的，源关键点应该出现的位置。设pjt表示在目标图像中检测到的候选关键点。通过测量预测位置p^it与目标图像中观察到的关键点pjt之间的欧几里得距离来评估pi和pjt之间的几何一致性。这种基于重投影的距离直接衡量了候选对应关系与估计的相机运动的匹配程度。定义的几何成本为：
Dij=∥p^it?pjt∥2d，
其中d是根据输入图像的分辨率选择的标准化参数。具体来说，d定义为图像的对角线长度，d=W2+H2，其中W和H分别表示图像的宽度和高度（以像素为单位）。平方根操作可以调节大的重投影误差的影响，并防止几何项主导整个匹配成本。几何距离Dij作为一个额外的约束，补充了基于外观的相似性。当与Sinkhorn正则化匹配矩阵结合使用时，这一项可以抑制与相机几何不符的错误匹配。最终成本矩阵C*考虑了外观和运动线索，定义为：
C*=(1?Gs)+D。
Hungarian算法优化成本矩阵C*并给出最终匹配结果。

3.6. 无VIO的即时匹配
在实践中，VIO预测的姿态可能不准确或完全不可用，特别是在无人机进行快速运动或在具有强烈感知混叠的环境中操作时。在这种情况下，依赖基于VIO的重投影会导致显著的几何误差并降低匹配性能。为了处理这种情况，我们提出了一种仅使用立体图像估计相对姿态的替代策略。如图7所示，该方法的主要区别在于在执行几何约束之前插入了额外的姿态估计步骤。在获得经过Sinkhorn正则化的成本矩阵Gs后，使用Hungarian算法提取一组初始的临时对应关系：
Mraw=Hungarian(1?Gs)，
其中Mraw表示几何验证之前的原始匹配结果。利用立体深度信息，每个匹配的特征提供了一对3D-2D对应关系（Xi,pit），其中Xi∈R3是源帧中的重构3D点，pit是其目标图像中的2D观测值。然后通过RANSAC下的Perspective-n-Point（PnP）问题估计相对相机姿态（R, t）：
(R,t)=argminR,t∑i∈I∥pit?π(RXi+t)∥22，
其中π(·)表示相机投影函数，I是由RANSAC确定的内点集。这种优化产生了一个仅来自立体观测的粗糙3D姿态估计，作为缺失或不可靠的VIO估计的替代。一旦恢复了一个有效的姿态（R, t），我们就进行姿态引导的重投影来计算几何一致性项：
Dij=∥p^it?pjt∥2d,
p^it=π(RXi+t)。
然后将这一项与基于外观的成本矩阵结合，形成精炼的成本矩阵：
C*=(1?Gs)+D。
最后，使用Hungarian算法优化几何感知成本矩阵C*以产生最终的匹配结果。通过显式估计姿态，即使惯性信息不可靠，这种方法也能保持稳健的对应关系估计。

3.7. 系统级切换逻辑
为了将所提出的匹配管道集成到自主无人机软件堆栈中，SLAM系统需要一个确定性机制来实时评估VIO的可靠性，并触发方法1和方法2之间的切换。方法1（VIO匹配）作为默认操作状态，因为它在车辆动态稳定时提供了计算效率最高且受几何约束的对应关系。为了持续监测VIO前期的可靠性，我们在每一帧评估两个主要系统指标：
1. 跟踪内点计数（Ntrk）：从上一帧成功跟踪的有效特征对应关系的数量。Ntrk的严重下降表明运动非常动态、运动模糊或突然的视图遮挡。
2. 状态不确定性（ΣIMU）：IMU预积分协方差矩阵的迹。协方差的快速增长表明IMU偏差正在发散或惯性测量受到最近视觉更新的有限约束。如果Ntrk低于最小安全阈值，或状态不确定性超过预定义的稳定性界限，则认为VIO估计不可靠。当满足任一触发条件时，系统自动切换到方法2（即时匹配）。

4. 结果
我们进行了多项实验来评估所提出的图像匹配方法的性能，具体细节如下。

4.1. 实验设置
4.1.1. 合成数据生成
所提出的方法在TartanAir数据集的Offices和CarWelding序列上进行了评估，这些序列由于重复的视觉结构而存在感知混叠。由于TartanAir不提供VIO所需的IMU测量数据，我们进行了额外的步骤来生成与我们SLAM框架兼容的合成IMU数据。首先，为地面真实相机姿态分配时间戳以构建时间上一致的轨迹。使用OpenVINS [37]，通过B样条拟合插值地面真实轨迹。随后生成了包括陀螺仪和加速度计读数的合成IMU测量数据。为了评估在真实无人机运动和感知混叠条件下的匹配性能，我们使用相隔一秒的图像对进行了实验。使用OpenVINS中的多状态约束卡尔曼滤波器（MSCKF）通过中间帧重建VIO轨迹。

4.1.2. 地面真实生成和自动评估
通过使用已知的地面真实姿态和深度信息，将3D关键点从源图像投影到目标图像的相机平面来自动生成地面真实对应关系。每个地面真实匹配在3D空间中表示为（i, j, d），其中i和j分别表示行和列像素坐标，d表示目标视图中的投影深度。如果预测的对应关系同时满足空间和深度一致性标准，则认为它是正确的。具体来说，重新投影误差必须小于8像素，深度误差必须在对应真实深度值的10%范围内。选择8像素的阈值是为了与SuperPoint中使用的8×8采样窗口对齐，而10%的深度容忍度反映了大约40倍立体基线范围内的典型立体深度精度。为了评估匹配性能，我们采用F1分数作为每对图像的主要指标。由于SLAM性能是在整个图像序列上评估的，我们计算序列中所有图像对的F1分数。最终的序列级F1分数定义为所有评估图像对的平均F1分数。

4.1.3. 实现细节
表1总结了我们在实现中使用的关键算法和环境参数。匹配阈值控制最终的离散分配阶段，而Sinkhorn参数（λ和迭代次数）决定了熵正则化和计算效率之间的权衡。对于即时匹配（方法2），深度筛选将3D点限制在由立体基线确定的可靠三角范围内。RANSAC阈值被选为能够容忍小的校准噪声，同时拒绝几何异常值。

表1. 所有实验中使用的算法参数。
类别 值
特征提取 数量（m, n） 250
描述符维度 256
唯一性评分 距离度量 L2范数
唯一性阈值 1.0
Sinkhorn算法 正则化系数（λ） 0.05
迭代次数 20
匹配阈值 0.2
几何约束 规范化距离（d） W2+H2
有效深度筛选 0.5米至20.0米
最大重新投影误差 8.0像素
PnP-RANSAC（方法2） 内点阈值 8.0像素
置信水平 0.99
最大迭代次数 1000

4.2. 匹配性能评估
表2和图8总结了TartanAir数据集中42个序列的匹配性能。评估将提出的方法1（VIO匹配）和方法2（即时匹配）与两个基于学习的匹配器SuperGlue [10]和LightGlue [38]以及三个经典的低复杂度基线进行了比较，这些基线包括Hungarian、蛮力搜索和ORB加最近邻（ORB+MNN）匹配[39]，它们通常用于SLAM系统[40]、[41]。

表2. TartanAir数据集上不同场景下的匹配准确率（F1分数）。
方法 office_Easy | office_Hard | office2_Easy | office2_Hard | carwelding
SuperGlue 53.07±8.77 | 48.99±7.93 | 58.29±10.89 | 46.27±8.41 |
LightGlue 43.84±8.86 | 39.84±7.23 | 49.01±10.90 | 39.53±6.63 |
Hungarian 39.63±6.89 | 34.73±8.14 | 44.41±12.89 | 34.7±9.31 |
蛮力搜索 38.15±7.00 | 34.64±7.76 | 42.32±13.29 | 32.84±7.42 |
ORB+MNN 15.64±4.92 | 15.78±6.34 | 16.97±9.23 | 12.92±5.87 |
方法1 56.76±10.07 | 50.24±10.18 | 59.70±11.42 | 47.4±7.76 |
方法2 53.41±8.06 | 47.56±9.51 | 54.95±12.21 | 43.09±11.23 |

下载：下载高分辨率图像（648KB）
下载：下载全尺寸图像

图8. TartanAir序列上的F1分数比较。Office_easy、Office_hard和CarWelding场景下的匹配准确率（F1分数）。较高的值表示更好的匹配性能。

在office_Easy和office2_Easy序列中，方法1在轻量级方法中始终获得了最高的F1分数，分别达到56.76%和59.70%。这些结果优于SuperGlue（53.07%和58.29%）和LightGlue（43.84%和49.01%），并且与经典的Hungarian、蛮力搜索和ORB+MNN基线相比有显著改进。方法2也在易于理解的室内环境中产生了有竞争力的结果，同时保持了更低的计算复杂度，而ORB+MNN在这些重复场景中的表现较差，F1分数低于17%。

在更加具有挑战性的office_Hard和office2_Hard序列中，这些序列表现出更强的感知混叠和更大的视点变化，方法1保持了稳定的性能（50.24%和47.40%），优于SuperGlue（48.99%和46.27%）和LightGlue（39.84%和39.53%）。方法2也具有竞争力，得分为47.56%和43.09%，而Hungarian、蛮力搜索和ORB+MNN的性能则显著下降。这些结果证实，结合特征唯一性和几何约束可以提高在重复室内环境中的鲁棒性。

CarWelding场景中，由于动态物体、镜面表面和快速光照变化，条件具有挑战性。所有方法在这一场景中都经历了性能下降。LightGlue获得了最高的平均F1分数（42.83%），其次是SuperGlue（41.85%），而方法1和方法2分别获得了39.48%和38.90%。尽管这两种基于学习的方法在这种情况下提供了稍微更好的准确性，但与它们显著更高的计算成本相比，性能差距仍然较小。相比之下，Hungarian和蛮力搜索的性能明显较低（27.87%和25.65%），ORB+MNN的整体表现最差，仅为7.67%，这突显了纯基于描述符或简单分配方法在动态和视觉上模糊条件下的局限性。

总体观察
在所有场景中，所提出的方法始终优于传统的低复杂度匹配技术，并且在结构化的室内环境中达到了与SuperGlue相当的性能。与LightGlue相比，所提出的方法在办公室场景中也提供了明显更强的性能，尽管LightGlue在CarWelding序列中获得了最佳结果。方法1由于其整合了基于VIO的几何先验，因此表现出最强的整体鲁棒性，而方法2在惯性信息不可用或不可靠时提供了一个可靠的替代方案。结果进一步表明，仅依赖点级描述符相似性不足以处理高度动态和重复的场景，如图9所示。这一点从ORB+MNN在所有场景中的弱表现以及Hungarian和蛮力搜索在更具挑战性的序列中降低的准确性中尤为明显。即使在这些条件下，先进的学习基匹配器也显示出有限的提升，表明可能需要额外的场景级推理或时间一致性机制来进一步提高鲁棒性。

下载：下载高分辨率图像（1MB）
下载：下载全尺寸图像

图9. 重复环境中的特征匹配结果。(a) 仅依赖描述符相似性时，SuperGlue产生了错误的对应关系（用红色突出显示）。(b) 所提出的基于VIO的方法通过结合VIO信息实现了更一致的几何匹配。

总体而言，所提出的方法在准确性和计算效率之间取得了良好的平衡，这使它们非常适合用于基于实时的UAV SLAM应用。

4.3. 实际数据验证
为了验证所提出的框架在真实世界城市环境中的有效性，我们使用配备RealSense D435相机、Quanergy M8 LiDAR和单板计算机的四旋翼平台收集了数据，如图10所示。特征匹配结果如图11所示。所提出的方法和SuperGlue都检测并匹配了大量特征点。然而，由于缺乏运动和几何先验，SuperGlue在重复结构（例如建筑物窗户）中产生了错误的对应关系。相比之下，所提出的方法利用VIO信息来强制几何一致性，从而实现了更可靠的匹配性能。

下载：下载高分辨率图像（408KB）
下载：下载全尺寸图像

图10. 用于实际数据收集的UAV平台。该平台配备了RealSense D435相机、Quanergy M8 LiDAR和单板计算机。

下载：下载高分辨率图像（2MB）
下载：下载全尺寸图像

图11. 实际数据上的特征匹配。(a) SuperGlue在重复区域产生了不匹配（红色框）。(b) 所提出的基于VIO的方法产生了更一致的几何对应关系。

4.4. 计算复杂性
为了分析计算效率，我们估算了每种方法所需的浮点运算次数（FLOPs）[42]。在实际的视觉SLAM系统中，通常每张图像大约200-300个关键点就足以进行稳健的姿态估计，而使用超过1000个关键点很少能提供额外的好处[22]。在我们的分析中，我们假设每张图像有250个关键点（m=n=250），因此每对图像共有500个特征点，以及20次Sinkhorn迭代。由于所有比较方法都执行了SuperPoint特征提取，因此其计算成本被视为一个共享的前端组件，因此从FLOPs计算中排除。

SuperGlue和LightGlue的复杂性
SuperGlue采用了一个具有大约1200万个参数的深度神经网络。单次前向传递大约需要22.1 GFLOPs，如表3所示。这种计算需求主要来自注意力层和特征聚合操作。LightGlue遵循类似的匹配范式，但采用了更高效的自适应设计。根据[38]，完整的LightGlue模型比SuperGlue快大约35%。

表3. 以FLOPs表示的计算复杂性。估计每张图像有250个特征点（m=n=250）和20次Sinkhorn迭代。

空单元 SuperGlue Empty Cell
Sinkhorn-Knopp 62.375 MFLOPS
Hungarian 62.5 MFLOPS | 1.31 GFLOPs | 22.1 GFLOPs

所提出方法的计算成本主要由Hungarian算法和Sinkhorn-Knopp迭代决定。Hungarian算法具有立方复杂度O(n3)。对于n=250，其在所有步骤中的总成本大约为62.5 MFLOPs。每次Sinkhorn迭代需要与2n2(2n?1)成比例的矩阵缩放和乘法操作。对于n=250，这相当于每次迭代大约62.4 MFLOPs。20次迭代的总Sinkhorn成本大约为20×62.4 MFLOPs≈1.25 GFLOPs。结合Hungarian和Sinkhorn操作，总计算成本大约为1.31 GFLOPs，几乎是SuperGlue的17倍。对于方法2，额外的PnP-RANSAC模块贡献的额外开销不到0.05 GFLOPs，因此不影响整体复杂性比较。

运行时评估
图12报告了在配备Intel Core i7-12700H处理器和16 GB RAM的x86平台上测量的平均CPU执行时间。为了确保公平和确定的比较，深度学习模型使用PyTorch执行，并且所有算法都配置为单线程CPU执行。在这些受控条件下，所提出的方法运行速度比SuperGlue快大约5-10倍。运行时差异取决于检测到的关键点数量。例如，Office序列每对大约包含500个特征点，而CarWelding序列可能包含大约1000个特征点，从而导致计算增加。值得注意的是，所提出方法中超过90%的运行时间用于Sinkhorn迭代中的矩阵乘法。因此，GPU实现可以进一步加速性能，因为这些操作具有很高的并行性。

下载：下载高分辨率图像（171KB）
下载：下载全尺寸图像

图12. CPU运行时间比较。每对图像的平均计算时间（秒）；较低的值表示更好的效率。

内存占用
所提出的方法大约需要100 MB的内存，明显低于SuperGlue的大约1 GB内存消耗。因此，所提出的低复杂度公式更适合资源受限的UAV平台实时部署。

5. 结论
我们提出了一个低复杂度的特征匹配框架，解决了UAV SLAM中的感知混叠问题。通过将唯一性分数与几何约束结合起来，我们的方法有效地抑制了由重复纹理引起的模糊特征。我们提出了两种流程，VIO匹配和即时匹配，以确保无论机载里程计是否可靠都能实现稳健的操作。在TartanAir数据集上的实验表明，我们的方法达到了与最先进的深度学习方法（如SuperGlue）相当的匹配准确率，同时速度大约快10倍。这种效率使得所提出的框架非常适用于在GPS受限环境中运行的资源受限的UAV。

然而，也应当认识到该方法适用性的当前界限。正如CarWelding序列的结果所示，尽管所提出的方法在结构化的重复环境（如室内办公室和城市走廊）中表现良好，但在存在强烈动态、严重镜面反射和外观变化的情况下，其性能会受到限制。在这些高度非结构化或快速变化的场景中，依赖基于外观的独特性和简单的几何先验的鲁棒性不如参数化更强的深度学习模型。因此，未来的工作将侧重于为这些极端条件定义回退机制，将唯一性度量应用于环路闭合检测，并在更广泛的数据集上对系统进行基准测试。

cRediT作者贡献声明
Cong Hoang Quach：编写——原始草稿、可视化、软件、方法论、形式分析、数据 curatio、概念化。
Stuart Perry：编写——审阅与编辑、验证、监督、资源、方法论、调查、概念化。
Ha Vu Le：编写——审阅与编辑、验证、监督、资源、方法论、调查、概念化。
Thuy Pham：编写——审阅与编辑、资源、项目管理。
Thuan Hoang Tran：资源、数据 curatio。
Manh Duong Phung：编写——审阅与编辑、验证、监督、资源、方法论、形式分析、数据 curatio、概念化。