《Remote Sensing》：Towards Pseudo-Labeling with Dynamic Thresholds for Cross-View Image Geolocalization
Yuanyuan Yuan,
Jianzhong Guo,
Ruoxin Zhu,
Ning Li,
Ziwei Li and
Weiran Luo
编辑推荐：
为解决跨视角（地面与卫星）图像地理定位中存在的视角差异大、标注成本高、未配对数据利用率低等问题，研究人员提出了融合鸟瞰图几何约束与多尺度对比学习的生成模型BEV-CycleGAN+CL，并设计了基于动态阈值的伪标签自训练方法。实验表明，该模型在CVUSA和CVACT数据集上，图像生成质量（PSNR、SSIM、RMSE）和定位准确率（R@K）指标均显著超越现有方法，为自动驾驶、灾害应急响应等应用提供了一种高效、高质量的解决方案。
想象一下，当你身处一个陌生的城市，手机没信号，导航完全失灵，你该如何确定自己的位置？传统的GPS定位在室内、城市峡谷或信号受限区域常常束手无策。于是，研究者们将目光投向了“以图定位”——通过匹配你手机拍摄的街景照片与卫星图像数据库，来精准确定你的地理位置。这项技术被称为“跨视角图像地理定位”，它在灾害应急响应、自动驾驶高精地图构建、军事侦察等领域具有重要应用价值。然而，这条路并非坦途。地面视角的街景照片与卫星俯视图之间存在巨大的成像视角、光照、几何结构差异，这给图像匹配带来了核心挑战。现有的方法要么严重依赖大量精确配对的图像数据进行监督学习，标注成本高昂；要么难以有效利用海量无标签数据，导致模型泛化能力不足。为了破解这些难题，一项新的研究应运而生。
这项研究发表在遥感领域国际期刊《Remote Sensing》上，由袁媛媛、郭建忠、朱若昕、李宁、李紫薇、骆维然共同完成。研究人员旨在构建一个能够高效利用未标注数据、显著提升跨视角地理定位精度的统一框架。他们主要采用了几个关键技术方法：首先，基于几何先验的鸟瞰图投影，将地面全景图通过平面假设下的反投影显式转换为鸟瞰图坐标，初步对齐视角。其次，提出了BEV-CycleGAN+CL模型，该模型在经典的CycleGAN循环一致生成对抗网络框架中，集成了鸟瞰图几何约束和多尺度对比学习，以提升生成图像的结构保真度和语义一致性。最后，设计了一种基于动态阈值的伪标签自训练机制，该机制能够自适应地平衡伪标签的质量与数量，并引入动态硬样本三元组损失来增强模型对生成图像与真实卫星图像的判别能力。研究使用了公开的标准基准数据集CVUSA和CVACT进行训练与评估。
研究结果表明，该文提出的方法在多方面取得了显著优势：
- •
在图像生成质量方面：提出的BEV-CycleGAN+CL模型在CVACT数据集上，相较于CycleGAN基线，峰值信噪比提升了42.30%，结构相似性提升了18.48%，均方根误差降低了25.35%。在CVUSA数据集上也观察到了类似的优势。这证明了该模型在生成图像保真度和结构一致性上的卓越性能。
- •
在跨视角地理定位性能方面：基于动态阈值的伪标签定位方法在仅使用1%标签数据的条件下，在CVACT数据集上达到了70.30%的R@1（前1命中率），超越了当前先进的UCVGL方法（68.29%）。在CVUSA数据集上，该方法取得了98.94%的R@1，优于对比模型中最佳的Sample4G?（98.68%）。这充分显示了该方法在低标注依赖和高精度定位方面的有效性。
- •
在多尺度对比学习的作用方面：通过引入像素级和特征级的对比损失，模型能够更好地区分语义一致区域（正样本）与不相似区域（负样本），从而在特征空间拉近正样本、推开负样本，增强了生成图像与目标域图像的语义对齐。
- •
在动态阈值策略的有效性方面：与固定阈值方法相比，动态阈值机制能够根据模型训练过程中置信度分布的变化进行自适应调整，从而在伪标签筛选过程中更好地权衡质量与数量，缓解了噪声累积问题，提升了自训练过程的稳定性。
研究结论与讨论部分对全文工作进行了总结与展望。本研究成功地将生成学习与伪标签学习范式相融合，提出了一套统一的解决方案。核心创新在于两方面：一是BEV-CycleGAN+CL模型，它通过显式的几何投影和多尺度对比学习，有效缓解了跨视角图像生成的视角扭曲和语义失准问题；二是动态阈值伪标签自训练方法，它通过自适应筛选机制，极大地降低了对大量标注数据的依赖，为半监督和无监督地理定位研究提供了可扩展的思路。实验充分验证了该框架在提升图像生成质量和地理定位精度方面的显著优势。然而，研究也指出了当前方法的局限性：文中采用的鸟瞰图投影基于平坦地面假设，这在建筑物密集、地形起伏的复杂城市环境中可能导致严重的遮挡和几何映射误差。未来工作将探索融合激光雷达点云、数字表面模型等多模态数据，以显式建模三维结构，从而提升模型在复杂城市场景中的鲁棒性。总体而言，该研究为跨视角地理定位任务提供了一种高质量、低标注依赖的创新方法框架，对推动相关技术在实际场景中的大规模应用具有重要的理论和实践意义。
