UA-JEPA：面向遥感图像检索的不确定性感知联合嵌入预测学习方法

《Pattern Recognition Letters》：UA-JEPA: Uncertainty-Aware Joint-Embedding Predictive Learning for Remote Sensing Image Retrieval

　　•UA-JEPA将潜在预测视为概率条件高斯推断。•对抗式SIGReg在最坏情况下的投影中强制保持各向同性几何结构。•注意力引导的掩码机制使学习集中在有信息的遥感区域。•在5-8个基准测试中取得优异成绩。•UA-JEPA在三个基准测试中为基于SSL的遥感内容感知图像检索带来了新的最佳成果。

引言
基于内容的图像检索是遥感领域的核心技术，它能够从涵盖不同传感器、分辨率和采集条件的海量数据中快速获取语义相关的图像[1]、[2]、[3]。成功的遥感内容感知图像检索需要既具备语义意义又能够抵抗各种干扰因素（如噪声、季节性变化、光照条件及不同传感器之间的差异）影响的表示方法[4]、[5]。自监督学习因其能利用大规模未标记的遥感数据集来学习可迁移的嵌入向量而备受青睐[6]、[7]。大多数遥感自监督学习方法都基于对比学习与掩码图像建模技术。对比学习通过实例级比较来学习具有区分能力的嵌入向量[7]、[8]，但在遥感应用中负样本采样存在缺陷：视角变化、季节性差异、分辨率不同以及数据类型差异都可能导致错误的负样本选择，进而影响优化过程的稳定性[5]、[9]。掩码图像建模技术则通过重建被掩码的像素来消除负样本的影响[10]、[11]，但由于该技术侧重于像素级重建，因此容易强调特定传感器和条件下的特征，而这些特征往往与跨不同数据集的语义检索需求不匹配[5]、[12]。

JEPAs类方法避免进行像素级重建，而是直接在表示空间中预测被掩码的内容[13]、[14]，这种方式有助于形成更高层次的抽象概念，同时也为遥感领域的改进方案提供了思路（例如REJEPA）[15]。不过，目前的遥感JEPAs实现方式仍然属于确定性模型，即通过上下文信息来回归出单一的目标嵌入向量。诸如LEJEPA之类的改进方法通过分布层面的正则化处理（如各向同性约束）来优化全局嵌入结构的几何特性[16]，但其预测机制依然只能产生点估计值；同样，REJEPA虽然针对遥感检索优化了掩码机制和训练流程，但并未明确对数据带来的不确定性进行建模[15]。确定性潜在预测隐含地将被掩码区域视为可均匀预测的区域，但在遥感图像中这一假设并不成立——雾气、阴影、SAR图像中的斑点现象、不同的土地覆盖类型过渡以及分辨率差异都会带来内在的模糊性[5]、[17]。在这些区域强行进行点预测可能会放大虚假的特征信号，导致特征过于可靠，进而扰乱用于图像检索的嵌入结构。这也就引出了我们的核心研究问题：[ colback=black!4, colframe=black!0, boxrule=1pt, arc=2mm, left=2mm,right=2mm,top=1.5mm,bottom=1.5mm ] “能否对用于遥感内容感知图像检索的JEPAs风格特征预测方法进行改进，使其能够通过同时学习语义表示和经过校准的不确定性，来明确处理内在的模糊性，同时保持良好的各向同性嵌入结构，从而确保在不同传感器和采集条件下的稳定检索？”

我们提出了UA-JEPA来解决这一问题，这是一种具备不确定性感知能力的遥感内容感知图像检索用JEPAs方法。UA-JEPA用概率潜在预测取代了确定性的点回归方法，它将带掩码的标记目标视为条件高斯分布，并通过优化高斯负对数似然函数来实现这一目标[18]，这样一来既能突出可预测的结构特征，又能减弱模糊区域的干扰。为进一步确保有利于图像检索的嵌入结构，UA-JEPA还整合了草图式各向同性高斯正则化技术[SIGReg][16]，以及一种用于应对高斯分布偏差的对抗式扩展机制，从而营造出各向同性且无退化的潜在空间。此外，我们还引入了注意力引导的掩码机制，以便更精准地聚焦于有信息的遥感区域。

主要贡献：
• 研究动机：现有的遥感JEPAs方法（如REJEPA）仍属于确定性模型，因此有必要针对遥感图像中那些模糊不清的区域建立明确的不确定性建模机制。
• UA-JEPA：我们提出了一种具备不确定性感知能力的遥感内容感知图像检索用JEPAs方法，该方法采用概率潜在预测，并通过高斯负对数似然函数目标来实现不确定性的校准。
• 面向遥感任务的学习机制：我们设计了注意力引导的掩码机制，用于聚焦于对图像检索有重要意义的遥感区域。
• 稳定的嵌入结构：我们结合SIGReg技术与对抗式扩展机制，确保在最坏情况下的投影下，嵌入结构仍保持各向同性且无退化特征。
• 实验结果：在多种遥感基准测试以及不同数据类型中，UA-JEPA相比传统的MIM/MAE风格自监督学习方法以及确定性JEPAs方法，均取得了更为优异的检索效果。

相关研究
(i) 自监督学习与遥感基础模型。自监督学习已成为从大规模未标记遥感数据集中学习表示向量的主要方法，它为构建适用于不同传感器、分辨率和任务的遥感基础模型奠定了基础[5]、[19]、[20]。地理空间基础模型通过在对卫星图像数据进行自监督预训练，极大地推动了遥感图像分析的发展。Prithvi（由NASA和IBM共同开发）便是基于和谐化Landsat Sentinel图像数据构建的开源地理空间基础模型。

提出的方法：UA-JEPA
设X={xi}i=1N表示一个包含N幅图像的遥感图像数据集，这些图像来自不同的地区、使用不同的传感器，在不同的条件下采集。对于查询图像xq∈X，遥感内容感知图像检索技术是通过比较该图像在所学嵌入空间中的距离来寻找相似图像的。为了从未标记数据中学习有效的表示向量，我们在JEPAs框架的基础上，将自监督学习任务定义为潜在预测而非像素级重建。我们的方法UA-JEPA通过四个相互关联的步骤来拓展这一框架：首先，它根据条件高斯分布来预测被掩码区域的嵌入向量。

数据集
我们在三个涵盖SAR、多光谱和RGB数据类型的遥感数据集上对UA-JEPA进行了测试。
BigEarthNet-14K（BEN-14K）[41]：该数据集包含14,832对Sentinel-1 SAR图像和Sentinel-2多光谱图像片段，这些图像对应19种不同的土地覆盖类型。SAR图像包括垂直-垂直（VV）和垂直-水平（VH）两种极化方式，而多光谱图像则通过双三次插值方法将10米和20米的分辨率统一起来。
fMoW-RGB [42]：该数据集包含高分辨率的RGB图像。

结论
本研究提出了UA-JEPA，这是一种具备不确定性感知能力的、用于遥感内容感知图像检索的联合嵌入预测架构。通过用条件高斯分布实现的概率预测取代确定性回归方法，UA-JEPA能够有效处理遥感图像中的内在模糊性，从而学习到稳定且具有实际意义的图像表示向量。结合注意力引导的掩码机制以及对抗式SIGReg技术，该框架在SAR、多光谱等多种数据类型上，均能显著优于传统的自监督学习基线方法。

CRediT作者贡献说明
Aniket Junghare：负责原文撰写、可视化处理、软件开发、资源准备、方法设计、实验研究、形式化分析、数据整理以及概念构思工作。
Biplab Banerjee：负责文章审阅与编辑、可视化处理、结果验证、项目监督、资源协调、项目管理工作、方法设计、实验研究、资金申请、形式化分析、数据整理以及概念构思工作。

利益冲突声明
作者声明自己不存在任何可能影响本文研究结果的已知财务利益关系或个人关系。

致谢
作者衷心感谢印度政府Anusandhan国家研究基金会通过项目编号CRG/2023/004389提供的核心研究资助。

Aniket Junghare|Biplab Banerjee