《Geocarto International》:SLCNet: a scene-robust layout-consistency network for cross-view geo-localisation
编辑推荐:
卫星到街景图像匹配(Satellite-to-street-view image matching)对于精确定位至关重要,但由于两个视点之间存在巨大的几何和外观差异,仍然具有挑战性。此外,实际应用通常涉及配准误差、有限的地面视场以及部分观测缺失。为解决这些问题
卫星到街景图像匹配(Satellite-to-street-view image matching)对于精确定位至关重要,但由于两个视点之间存在巨大的几何和外观差异,仍然具有挑战性。此外,实际应用通常涉及配准误差、有限的地面视场以及部分观测缺失。为解决这些问题,研究人员提出了SLCNet,一种用于跨视角地理定位(cross-view geo-localisation)的场景鲁棒布局一致性网络(Scene-Robust Layout-Consistent Network, SLCNet)。该方法引入了一种场景鲁棒训练策略,通过受控的卫星图像错位和地面视场遮挡来提高在非理想输入条件下的鲁棒性。双坐标门控注意力模块(Dual-Coordinate Gated Attention, DCGA)增强了方向敏感的结构特征,而布局一致性损失(layout consistency loss)则约束跨视角的中间布局表示,以改进结构对应学习。在CVUSA、CVACT和VIGOR数据集上的实验结果表明,SLCNet取得了具有竞争力的匹配性能,并在偏心匹配和各种输入扰动设置下表现出更好的鲁棒性。
跨视角地理定位(cross-view geo-localisation)旨在通过建立地面视角查询图像与带地理标签的参考图像之间的匹配关系来估计地理位置,在自动驾驶、增强现实、无人机导航和应急搜救等领域具有广阔应用。传统地面图像匹配方法依赖大规模街景采集,成本高且难以跨区域扩展;卫星图像覆盖广、获取便捷,因此基于卫星-地面图像匹配的定位方案更具实用性。然而,卫星与街景图像在视角、尺度、分辨率、遮挡和光照等方面差异显著,实际中的配准误差、有限地面视场和部分观测缺失进一步加大了匹配难度。现有方法大多在理想对齐条件下训练,对非理想输入鲁棒性不足;部分方法虽引入布局建模,但缺乏对中间布局表示的一致性约束;常规注意力机制也难以有效建模道路方向、建筑边界等方向敏感结构线索。为此,研究人员提出了SLCNet(场景鲁棒布局一致性网络),并发表于《Geocarto International》。该研究通过三项创新解决了上述问题:设计场景鲁棒训练策略,提出跨视角布局一致性损失,开发双坐标门控注意力模块(DCGA)。在CVUSA、CVACT和VIGOUR数据集上的实验表明,SLCNet取得了有竞争力的检索性能,并在偏心匹配和多种输入扰动下展现出更强鲁棒性。研究的意义在于提升了非理想真实场景下跨视角定位的准确性与稳定性。
关键技术方法方面,研究人员采用双分支Siamese网络架构,以ResNet-50