《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》:GAIR: Location-aware self-supervised contrastive pre-training with geo-aligned implicit representations
编辑推荐:
视觉变换器(Vision Transformer, ViT)凭借其为整幅图像或图像块提供表示的能力,已在计算机视觉任务中得到广泛应用并取得了优异的结果。然而,当应用于涉及多地理空间数据模态(如俯视遥感(Remote Sensing, RS)数据、地面影像和地理
视觉变换器(Vision Transformer, ViT)凭借其为整幅图像或图像块提供表示的能力,已在计算机视觉任务中得到广泛应用并取得了优异的结果。然而,当应用于涉及多地理空间数据模态(如俯视遥感(Remote Sensing, RS)数据、地面影像和地理空间矢量数据)的地理空间任务时,ViT缺乏在任意位置处的详细局部图像表示。在此类任务中,高分辨率的局部表示对于跨模态建模地理空间关系和对齐至关重要。研究人员提出通过一个隐式神经表示(Implicit Neural Representation, INR)模块(即Neural Implicit Local Interpolation)扩展ViT来解决此表示问题,该模块产生覆盖RS图像中任意位置的连续RS图像表示。基于该INR模块,研究人员介绍了GAIR,这是一种新颖的位置感知自监督学习(Self-Supervised Learning, SSL)目标函数,集成了俯视RS数据、街景(Street View, SV)影像及其地理位置元数据。GAIR利用三个分解的神经编码器将不同模态投影到嵌入空间中,并使用INR模块进一步在地理上对这些表示进行对齐,这些表示通过来自无标签数据的对比学习目标函数进行训练。研究人员在涵盖基于RS图像、基于SV图像和基于位置嵌入的基准测试的9个地理空间任务和22个数据集上评估了GAIR。实验结果表明,GAIR优于最先进的地基基础模型(Geo-Foundation Model, GeoFM)和不使用细粒度地理对齐空间表示的替代SSL训练目标函数(如MoCo V3和MAE)。研究人员的结果突出了GAIR在学习跨任务、空间尺度和时间上下文的可泛化地理空间表示方面的有效性。项目代码可在 https://github.com/zpl99/GAIR获取。
论文《GAIR: Location-aware self-supervised contrastive pre-training with geo-aligned implicit representations》发表于《ISPRS Journal of Photogrammetry and Remote Sensing》,由 Zeping Liu, Ni Lao, Zhangyu Wang, Junfeng Jiao, Gengchen Mai(美国德克萨斯大学奥斯汀分校地理与环境系SEAI实验室)等研究人员完成。
研究背景方面,地理空间领域存在海量未标注数据(如卫星影像、街景影像、带地理标签的用户生成数据等),但高质量的标注数据稀缺且在空间、时间和类别覆盖上高度不平衡,这限制了人工智能模型在经济预测、物种分布建模、作物估产、城市动态监测等关键应用中的泛化能力。现有的地理基础模型(GeoFM)多依赖俯视遥感(RS)任务,即便有多模态GeoFM,也主要聚焦不同俯视RS数据模态(如光学、SAR)和/或语言模态的整合,忽视了地面影像(如街景SV)和地理空间矢量数据等其他重要模态,导致空间推理能力受限,且难以跨任务、区域、尺度和时间泛化。此外,现有GeoFM主要依赖传统的视觉或语言基础模型目标函数(如时空增强嵌入或图像重建),未显式考虑不同数据模态间精确的空间对齐,缺乏显式的地理对齐机制导致需要细粒度空间理解的地理空间应用结果欠佳。
核心问题在于俯视RS影像与地面SV影像间存在固有的“一对多”空间关系(如一张256×256的Sentinel-2 RS影像可对应数百甚至数千张不同位置的SV影像),且在中分辨率RS数据(如Sentinel-2)中,SV影像的视域可能缩小到RS数据的亚像素尺度,传统构造共定位RS-SV图像对的策略受分辨率限制,且将图像对视为独立样本忽视了地理空间关系,导致地理推理能力弱、地理泛化性差。
针对上述问题,研究人员开展了GAIR(Geo-Aligned Implicit Representations,地理对齐隐式表示)框架的研究,这是一种新颖的位置感知自监督预训练框架,旨在集成RS影像、SV影像和地理位置数据以增强地理空间表示学习。其核心创新在于Neural Implicit Local Interpolation (NILI)模块,该模块超越传统离散插值,充当连续的跨视角语义解码器,通过显式解决RS与SV模态间极端的尺度差异,有效弥合俯视与地面观测间深刻的视角差距。
主要关键技术方法包括:1. 因子化多模态编码器设计:采用三个独立的编码器分别处理RS影像(基于Vision Transformer, ViT)、SV影像(基于ViT)和地理位置(基于Random Fourier Features, RFF映射经纬度到高维空间),保留模态特定信息同时学习跨模态关系;2. NILI(神经隐式局部插值)模块:基于隐式神经表示(INR)学习RS图像的连续表示,通过查询任意地理坐标位置的四个最近邻RS图像块嵌入,利用共享多层感知机(MLP)结合坐标偏移进行加权插值,提取与SV影像地理共定位的局部化RS神经表示,实现分辨率无关的特征提取,消除显式构造共定位尺度对齐图像对的需求;3. 多对象对比学习:制定隐式神经对比学习(INCL)损失和空间显式对比学习(SECL)损失,对三种地理对齐的嵌入(局部化RS嵌入、SV图像嵌入、位置嵌入)执行对比学习,强制模态间地理空间一致性,利用记忆库纳入过往位置嵌入;4. 预训练数据集:基于Global Streetscapes数据集构建全球尺度的Streetscapes1M数据集,包含全球688个城市的100万组地理空间对齐的(RS影像, SV影像, 地理位置)元组;5. 评估与适配策略:在9类地理空间任务共22个数据集上评估,包括RS图像任务(火烧迹地分割、作物类型映射、农田多边形分割等)、SV图像任务(人类感知回归、社会经济指标回归、视角方向分类、影像平台分类等)和位置嵌入任务(物种识别、RS图像回归、Flickr图像分类等),适配策略包括线性探测、非线性探测、全微调和联合多模态推理。
研究结果如下:
引言(Introduction):阐述了地理空间无标签数据丰富但标签数据稀缺不平衡的现状,指出现有GeoFM的局限性(侧重RS、忽视地面模态、缺乏显式地理对齐),以及RS与SV间尺度差异和共定位配对的缺陷,引出GAIR框架的提出,即通过INR实现连续表示和地理对齐的多模态自监督学习。
地理基础模型(Geo-foundation models):讨论了现有GeoFM多受视觉基础模型(VFM)和视觉-语言模型(VLM)启发,但地理数据固有集成时空信息,需要专用架构,而当前模型多局限于RS数据,缺乏多模态和显式空间关系建模。
面向地理空间模态的因子化编码器(Factorized encoder for geospatial modalities):定义了无标签地理标签图像数据集X={(ri, si, xi)|i=1,...,M},其中ri为RS影像,si为SV影像,xi为si的地理位置(经纬度)且在ri的空间覆盖范围A(ri)内(未必是中心或像素/块中心);采用因子化编码器架构,分别用f(·)、g(·)、e(·)提取RS影像嵌入、SV影像嵌入和位置嵌入。
预训练数据集构建(Pretraining dataset construction):基于Global Streetscapes数据集构建Streetscapes1M,主要阶段包括研究区域选择(全球688个城市)、数据采样与对齐(匹配RS瓦片、SV影像及对应经纬度)、质量控制,形成100万条预训练元组。
多模态融合(Multi-modal fusion):研究了不同模态组合对预测精度的影响,对比了单模态变体(GAIR仅SV编码器、GAIR仅RS编码器)与多模态融合策略(GAIR(RS+SV)、GAIR(SV+Loc)、GAIR(SV+Loc+RS))。
结论(Conclusion):GAIR框架集成RS、SV和地理位置数据,NILI模块实现连续跨视角语义解码,解决尺度差异;在9个任务22个数据集上验证了其鲁棒性。
讨论与结论部分总结:研究人员提出的GAIR框架通过NILI模块和地理对齐的多对象对比学习,成功实现了RS、SV和地理位置数据的统一表示学习,解决了跨尺度、跨视角的地理对齐难题。实验证明GAIR优于现有SOTA GeoFM及不采用细粒度地理对齐的SSL方法(如MoCo V3、MAE),在9类地理空间任务22个数据集上均达SOTA性能;多模态融合可带来4%–20%的性能增益;尽管Streetscapes1M存在城市区域偏向,但通过城乡平衡数据集进一步预训练可显著降低地理偏差且不牺牲性能;定性定量研究表明GAIR能捕获跨模态空间关系,对图像地理定位等任务至关重要。该框架为学习跨任务、尺度、时间的可泛化地理空间表示提供了有效途径,代码已开源。局限在于NILI的跨视角表示学习上界受空中与地面视域物理重叠和信息可见度限制,且当前未显式纳入视角方向(朝向)信息,未来可结合全景数据将朝向作为NILI的条件输入以提升复杂空间推理和跨视图对齐精度。