《Pattern Recognition》:CIDNet: Collaborative uncertainty-aware learning of invariance and discrimination for cross-view geo-localization
编辑推荐:
•学习全局不变描述子与局部判别特征。•生成概率空间焦点以实现鲁棒的跨视角匹配。•动态聚合多样化特征以提升匹配鲁棒性。•实现轻量化、高精度及跨数据集泛化能力。引言基于图像的跨视角地理定位(CVGL)旨在通过从一个视角检索对应的图像,来估计由另一视角拍摄图像的地理位置 [1]、[
- •
学习全局不变描述子与局部判别特征。
- •
生成概率空间焦点以实现鲁棒的跨视角匹配。
- •
动态聚合多样化特征以提升匹配鲁棒性。
- •
实现轻量化、高精度及跨数据集泛化能力。
引言
基于图像的跨视角地理定位(CVGL)旨在通过从一个视角检索对应的图像,来估计由另一视角拍摄图像的地理位置 [1]、[2]、[3]、[4]。由于其无人机导航、自主机器人及大规模地理参考图像检索等应用的重要性,该任务在计算机视觉和遥感领域均受到了越来越多的关注。
与传统图像检索任务中图像通常具有相似视角不同,CVGL 涉及从显著不同的视角拍摄的图像之间的匹配——例如无人机视角、街景视角和卫星视角。极端的视角差异引入了严重的几何畸变、尺度变化和空间布局不一致 [5]、[6]、[7]、[8]、[9]。因此,从这些不同视角中提取的特征往往表现出显著的领域差距,使得可靠的跨视角匹配极具挑战性。
大多数现有方法试图通过改进特征表示学习来解决这一挑战 [4]、[7]、[10]、[11]、[12]。大量工作专注于使用深度卷积或基于Transformer的网络学习全局场景描述子 [13]、[14]。这些方法能够捕获高层次的语义信息,并在大规模检索任务中通常取得优异的性能。然而,此类全局表示 [15]、[16]、[17] 往往忽视空间结构,这限制了模型在复杂环境中区分视觉相似场景的能力。
为缓解这一局限性,另一系列研究探索局部特征匹配或区域级表示 [15]、[18]、[19]、[20]。通过聚焦于独特的地标或结构模式,这些方法增强了判别能力。然而,基于局部特征的方法通常因视角变化、动态物体和背景杂乱而面临不稳定的问题。在缺乏强全局上下文的情况下,局部对应关系在大几何变换下可能变得不可靠。
许多现有设计将全局描述子和局部特征视为松耦合的组件。在实际应用中,这两个目标在表示学习中产生了固有的张力 [20]、[21]、[22]。全局描述子倾向于视角不变性和嵌入稳定性,而局部特征则强调判别性的空间细节。独立优化这两个目标往往导致次优的表示,要么丢失判别信息,要么变得对特定视角的噪声敏感。
在本文中,我们从表示学习的角度研究跨视角地理定位,并认为关键挑战在于联合优化跨视角不变性和细粒度判别力。
为此,我们提出了协同不变判别网络(CIDNet),一种双分支架构,显式地整合了全局不变性学习和动态局部感知。如图1所示,所提出的框架包含两个基于骨干网络构建的互补分支。全局不变性细化分支学习跨视角稳定的描述子,以确保跨视角的鲁棒场景级对齐。与此同时,动态感知与聚合分支通过上下文引导的空间焦点和视角自适应特征聚合来增强判别性的局部结构。本文的主要贡献总结如下:
- •
我们提出了CIDNet,一种协同不变判别网络,将跨视角地理定位重构为可靠性感知的协同问题。CIDNet不是独立地处理不变性和判别性线索,而是根据局部证据的可靠性动态调节它们的交互,从而实现鲁棒且自适应的跨视角表示学习。
- •
我们设计了一种可靠性感知的局部感知框架,将上下文条件化的空间焦点与自适应特征聚合相结合。所提出的空间焦点生成器能够在无需显式跨视角对应关系的情况下捕获场景依赖的判别性区域,而动态聚合模块通过差异感知融合和动态内核路由来建模视角引起的变化。
- •
在University-1652和SUES-200数据集上的大量实验表明,CIDNet以良好的准确率—效率权衡实现了最先进的或具有竞争力的检索性能。特别地,与竞争方法相比,CIDNet将平均参数量减少了58.9%,GFLOPs减少了76.4%,同时展现出令人满意的跨数据集泛化能力和在十种恶劣天气条件下的鲁棒性。
章节摘要
相关工作
CVGL由于其无人机导航、自动驾驶和大规模地理参考图像检索等实际应用意义,受到了越来越多的关注 [3]、[18]、[23]、[24]。该任务旨在匹配从截然不同视角拍摄的图像,如无人机视角、街景视角和卫星视角图像。极端的视角差异引入了严重的几何畸变、尺度变化和空间布局不一致,使得跨视角特征
方法
在本节中,我们介绍了我们的CIDNet,即面向CVGL的协同不变判别网络。其核心动机是,可靠的跨视角检索需要同时具备两种互补的特性:跨视角不变性,它能够在剧烈视角变化下实现稳定的场景级对齐;以及细粒度判别力,它能够区分地理位置不同但视觉相似的地点。这两个目标紧密耦合但并不总是同样可靠。在
实验
在本节中,我们在标准CVGL基准上评估了CIDNet,包括检索精度、计算效率、消融实验、泛化能力和鲁棒性分析。
结论
我们提出了CIDNet来解决地理定位中跨视角不变性与局部判别力之间的根本权衡。该框架通过包括上下文引导的空间焦点生成和多样性感知的动态聚合在内的不确定性感知机制,联合学习全局鲁棒且局部判别性的表示。在University-1652和SUES-200数据集上的实验表明,与现有方法相比,该方法以减少了58.9%的参数和降低了76.4%的计算量实现了最先进的性能
CRediT作者贡献声明
李建华:撰写—审阅与编辑,撰写—原稿撰写,监督,项目管理,方法论,调查研究,资金获取,形式化分析,概念构思。何一心:调查研究,数据整理。会雅波:可视化,数据整理。刘滕宇:资源,调查研究。王小峰:验证,资金获取。
生成式AI使用声明
在本工作的准备过程中,作者使用了ChatGPT来改善稿件的语言和可读性。使用该工具后,作者对内容进行了审阅和编辑,并承担出版内容的全部责任。
利益冲突声明
作者声明他们没有任何已知的可能影响本文所报告工作的竞争性经济利益或个人关系。
致谢
本工作部分由国家自然科学基金资助,资助编号 62376212,部分由陕西省自然科学基金资助,资助编号 2025 SYS-SYSZD-108,2025PT-ZCK-12,以及部分由智能控制实验室开放基金资助,资助编号 2024-ZKSYS-KF04-04。
李建华|何一心|会雅波|刘滕宇|王小峰