《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》：SGMS-Fusion: Semantic guided multi-scale fusion towards accurate vehicle localization via ground-aerial cross-view matching
编辑推荐：
Huei-Yung Lin|Hsin-Ling Lu|Ching-Chun Huang台湾台北市中正东路三段1号，国立台北科技大学计算机科学与资讯工程系，邮编10608摘要在GPS信号易受高楼遮挡和多路径干扰影响的城市环境中，实现精确的车辆定位仍是一项艰巨任务。本研究提出一种新的
Huei-Yung Lin|Hsin-Ling Lu|Ching-Chun Huang
台湾台北市中正东路三段1号，国立台北科技大学计算机科学与资讯工程系，邮编10608
摘要 在GPS信号易受高楼遮挡和多路径干扰影响的城市环境中，实现精确的车辆定位仍是一项艰巨任务。本研究提出一种新的跨视角地理定位框架，该框架结合语义分割技术，将街景图像与航空影像对齐。利用从OpenStreetMap获取的几何道路信息来指导卫星影像中道路结构的识别，有效排除建筑物和植被等无关元素。这样就能形成稳定的几何-语义先验，提升跨视角特征匹配的可靠性。所提出的SGMS-Fusion框架采用双分支结构，可独立处理地面图像和航空图像输入。通过基于变换器的模块并利用交叉注意力机制捕捉丰富的上下文关联，再结合多尺度分层匹配方法进一步提升精度。在VIGOR数据集上的实验表明，该方法在相同区域测试中表现优异，且在复杂条件下仍能保持稳定的定位效果。评估结果还显示，SGMS-Fusion在不同场景下的性能优于现有的最佳跨视角定位技术。代码可在
https://github.com/LHL670/CAST-Loc
引言 虽然GPS在开放环境中能够提供米级精度，但在城市峡谷中由于信号遮挡和多路径干扰，其可靠性会大幅下降。而RTK-GPS、高清地图或视觉SLAM等高精度替代方案，由于依赖地面基站、计算量大或维护成本高，往往不适用于大规模应用。相比之下，跨视角图像定位通过将车载摄像头视角与卫星影像匹配，无需昂贵基础设施，是一种低成本且可扩展的解决方案。然而，由于地面图像与卫星影像在视角上存在显著差异，跨视角定位面临巨大挑战。这些差异导致几何结构、比例和语义方面的不一致，使得传统的局部特征匹配方法无效。此外，交通和行人的动态遮挡，以及不同的光照和阴影条件，进一步增加了匹配难度（Shi和Li，2022）。
基于视觉的定位原理是通过将地面图像与地理参考数据库进行匹配，从而推断出车辆的精确姿态。相比依赖外部信号或昂贵硬件的方法，这是一种更具成本效益且更可靠的方案。早期关于跨视角地理定位的研究主要聚焦于大范围图像检索（Durgam等人，2024）。其目标是通过为地面查询找到最相似的卫星图像来确定大致位置。但这类基于检索的方法存在两个关键缺陷：使用全局特征会导致精度误差，往往超过自动驾驶所需的亚米级精度；而且在这些特定地理位置上训练的模型，很难泛化到未知区域（Li等人，2024）。
近期研究通过利用极坐标变换或深度学习模型，如NetVLAD（Arandjelovic等人，2016）和SAFA（Shi等人，2019），试图弥补这些缺陷。不过，它们学习得到的全局嵌入在复杂场景下仍难以实现精确的度量定位。这凸显出亟需一种新的跨视角地理定位框架——这种框架应能匹配高度一致的高级几何结构，而非不稳定、低级的视觉特征。因此，本研究从基于外观的匹配转向视觉-语义匹配方法。尽管像素级存在差异，但我们认为道路结构的底层几何布局能为跨视角对齐提供稳定且一致的基础。通过深度网络提取并对齐这些高级语义特征，该方法能够克服巨大的视角变化，实现高精度的定位。为此，我们提出了一种新的跨视角定位框架，该框架将语义引导与多尺度深度融合架构SGMS-Fusion相结合。本文的主要贡献如下：
• 语义提取： 提出了一种自动化的零样本语义提取流程，结合了OSM向量数据和SAM模型。无需手动标注即可生成稳定的几何先验。
• 特征融合： 设计了一种具有双向交叉注意力的交互式双分支Transformer融合模块，可有效对齐不同视角间的长距离上下文关系。
• 匹配解码器： 开发了一种从粗到细的多尺度匹配解码器，它能将语义掩码作为可学习的软约束，从而实现高精度的度量定位。
章节节选 相关工作 近年来，基于深度神经网络模型的车辆定位框架克服了传统方法在复杂环境中的局限性。其中一种有效方法是利用语义地图匹配来提高定位精度。通过识别道路标线和建筑边缘等稳定元素，可将它们作为可靠锚点，与高清地图进行对齐。尽管已有HDMapNet（Li等人，2022）和VectorMapNet（Liu等人）等研究
方法 所提出的用于车辆定位的跨视角匹配系统SGMS-Fusion的架构如图1所示。它包含两个并行处理流程，分别以地理数据和地面-航空图像对作为输入。上方的语义掩码生成流程旨在为卫星图像生成精确的道路结构先验I A
实验结果 本节将对所提模型的性能进行全面分析和验证。首先详细介绍实验设置，包括使用的数据集和评估指标。随后通过定量和定性结果展示模型的有效性，再与现有最佳技术进行性能对比，并进行消融实验。最后，我们会展示模型的决策过程及其在特定复杂场景中的表现
结论 本文提出了一种新的地理定位框架，通过结合语义引导与深度融合架构，有效解决了跨视角定位中的关键问题。该框架利用OpenStreetMap指导Segment Anything模型，生成高质量的道路掩码，从而过滤掉视觉干扰。基于Transformer的融合模块和自适应解码器则借助语义先验实现稳定的特征对齐。在相同区域和不同区域场景进行的大量实验表明
CRediT作者贡献声明 Huei-Yung Lin： 撰写——审稿与编辑，撰写——初稿，监督，资源提供，项目管理，方法设计，研究实施，资金筹集，形式分析，概念构思。Hsin-Ling Lu： 可视化，验证，软件开发，数据整理。Ching-Chun Huang： 方法设计，资金筹集。
利益冲突声明 作者声明存在以下可能被视为潜在利益冲突的财务利益/个人关系：Huei-Yung Lin表示获得了国家科学及技术委员会的财政支持。其他作者则声明没有已知的可能影响本文研究的财务利益或个人关系。
