基于动态多尺度最优传输的鲁棒跨视角地理定位方法

《Chinese Journal of Aeronautics》：DMOT-Geo: A dynamic multi-scale optimal transport-based method for robust cross-view geo-localization

　　

跨视角地理定位旨在从不同视角（如无人机视角与卫星视角）识别同一目标的图像，是一项极具挑战性的任务，原因在于目标在不同视角下外观变化显著。现有方法主要致力于学习视角不变的全局或区域级特征表示，却忽视了特征表示中的信息冗余问题。为解决上述问题，本文提出DMOT-Geo，一种利用动态多尺度最优传输（Dynamic Multi-scale Optimal Transport）实现鲁棒跨视角匹配的方法。具体而言，研究引入跨维度多尺度交互模块（Cross-dimension Multi-scale Interaction Block，CMIB），沿空间与通道维度建模特征交互，以捕获全局结构模式，并增强对尺度变化与几何畸变的鲁棒性。在此基础上，研究设计了动态多尺度最优传输聚合模块（Dynamic Multi-scale Optimal Transport aggregation module，DMOT），将特征聚合重新表述为全局一致的最优传输问题，在有效融合多尺度结构信息的同时，通过内容感知的噪声抑制机制滤除非信息性与错配区域。此外，研究提出对称跨视角最优传输损失（Optimal Transport Loss，OT Loss），显式约束无人机与卫星特征之间的双向一致性，促进训练过程中的像素级语义对齐。实验表明，DMOT-Geo取得了最先进的性能，在University-1652数据集上Recall@1达98.04%，在SUES-200数据集上达98.98%。代码已开源：https://github.com/wuyukalt/DMOT-Geo。

论文解读：DMOT-Geo——基于动态多尺度最优传输的鲁棒跨视角地理定位方法

一、研究背景与问题提出

跨视角地理定位（Cross-view Geo-localization）旨在从不同平台拍摄的图像中匹配同一地理位置，在自动驾驶、无人机导航、事件检测和精准投递等领域具有重要应用价值。随着无人机（UAV）的广泛普及，无人机视角与卫星视角图像的匹配成为该领域的重要研究方向，主要涉及无人机目标定位与无人机导航两大应用场景。

然而，跨视角匹配面临严峻挑战：不同视角下图像在旋转、尺度和偏移方面存在剧烈差异，导致同一目标的外观变化显著。早期研究依赖手工设计特征，但难以有效捕获跨视角间的大幅外观变化。随着深度神经网络的发展，研究者转向学习深度特征嵌入以获得更鲁棒的表示。然而，现有方法主要聚焦于学习视角不变的全局或区域级特征表示，普遍忽视了特征表示中的信息冗余问题。具体而言，语义错配仍然是一个关键难题：一幅图像中的某些区域在另一幅图像中可能没有对应区域，从而引入非匹配干扰。例如，无人机视场（Field of View，FOV）往往大于对应卫星图像的范围，无人机图像中黄色边界框之外的区域在卫星图像中没有对应物，可能阻碍匹配过程。然而，多数现有方法依赖局部或全局图像信息学习特征表示，未能充分区分真正具有跨视角对应关系的区域，从而无法有效抑制冗余或无关信息。例如，FSRA方法倾向于过度关注中心建筑而忽略周围上下文线索，MCCG方法则常常对中心建筑关注不足而对背景赋予过多权重，引入误导信息。

二、研究内容与主要结论

针对上述问题，本文提出DMOT-Geo方法，利用动态多尺度最优传输实现无人机视角与卫星视角图像的鲁棒跨视角匹配。该方法在中心建筑与信息性背景区域之间实现注意力平衡，同时抑制非匹配区域，从而提升跨视角特征匹配性能。实验结果表明，DMOT-Geo在University-1652数据集上Recall@1达到98.04%，在SUES-200数据集上达到98.98%，超越了现有最先进方法，取得了新的最优性能（State-of-the-Art，SOTA）。

三、主要关键技术方法

研究采用ConvNeXt-Tiny（在ImageNet-1K上预训练）作为骨干网络进行特征提取，并舍弃最后一个特征提取阶段，采用第三阶段输出作为最终特征表示（记为ConvNeXt-T(S3)），以保留更高空间分辨率，平衡语义抽象与局部结构细节。在此基础上，研究提出三个核心模块：第一，跨维度多尺度交互模块（Cross-dimension Multi-scale Interaction Block，CMIB），受三重注意力机制启发，选择性保留通道-宽度与通道-高度两个分支，建模通道与空间维度间的特征交互，增强多尺度特征建模能力；第二，动态多尺度最优传输聚合模块（Dynamic Multi-scale Optimal Transport aggregation module，DMOT），将多尺度局部特征的分配联合建模为全局一致的最优传输问题，实现多尺度结构信息的有效融合，并通过内容感知的动态噪声抑制策略自适应滤除由视场差异和背景干扰导致的错配与低置信区域；第三，对称跨视角最优传输损失（Optimal Transport Loss，OT Loss），对无人机与卫星特征之间的传输耦合施加对称一致性约束，引导模型实现像素级语义对齐。

四、研究结果

4.1 与最先进方法的比较

在University-1652和SUES-200两个公开数据集上与现有最先进方法进行全面比较，DMOT-Geo在Recall@1指标上分别达到98.04%和98.98%，均超越对比方法，取得新的最优性能，验证了该方法在跨视角地理定位任务中的优越精度与稳定性。

4.2 消融实验

通过消融实验验证各核心组件的有效性：去除最后一个特征提取阶段而采用第三阶段输出（ConvNeXt-T(S3)）的设计能够在语义抽象与局部结构细节之间取得更优平衡；CMIB模块通过选择性保留通道-宽度与通道-高度分支，有效捕获局部细节与全局结构信息；DMOT模块通过多尺度最优传输建模与噪声抑制策略，增强特征表示的判别力与鲁棒性；OT Loss通过双向一致性约束促进像素级语义对齐，进一步提升匹配精度。

五、讨论与结论

本文针对跨视角地理定位中特征表示信息冗余与语义错配的问题，提出了DMOT-Geo方法。该方法通过CMIB模块建模多尺度空间与通道交互，增强特征对尺度变化和几何畸变的鲁棒性；通过DMOT模块将特征聚合重构为全局一致的最优传输问题，有效融合多尺度结构信息并抑制非信息性与错配区域；通过对称跨视角OT Loss显式约束无人机与卫星特征的双向一致性，促进训练过程中的像素级语义对齐。在University-1652和SUES-200数据集上的实验结果表明，DMOT-Geo取得了新的最先进性能，验证了该方法在不同任务中的优越精度与稳定性。