去噪引导的合成孔径雷达基础模型

《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》：Denoising-guided SAR foundation model

　　摘要在大量无标注SAR图像上预训练的SAR基础模型，在各类下游任务中展现出强大的泛化能力。然而，SAR图像固有的相干斑点噪声会模糊语义内容并削弱特征学习，这对SAR基础模型的发展构成了重大挑战。为解决这一问题，我们提出了DG-SARFM，一种去噪引导的SAR基础模型。与传统去噪自编码器（对原始图像添加噪声并学习像素空间映射）不同，DG-SARFM统一了掩码自编码器（MAE）与无负样本对比学习：前者专注于重建去噪像素以捕捉精细局部结构，后者则在表示空间中增强特征的判别质量。为支撑我们的方法，我们首先构建了一个百万级SAR数据集，其中每幅SAR图像都配有对应的去噪版本。随后，我们开发了一个去噪引导的MAE，通过重建去噪图像来强制实现信号与噪声的分离。为缓解像素级解过度平滑的问题并更好地捕捉SAR目标的分层特性，我们建立了一个去噪引导的分层对比分支，该分支通过联合考虑全局视角和多个局部视角，将含噪图像与其去噪对应图像进行对齐。最后，在跨类别、跨场景的分类、检测和分割任务上进行的大量评估表明，我们的方法取得了优异性能，验证了我们协同框架对噪声鲁棒SAR基础模型的有效性。代码可在 https://github.com/CaesarYD/DG-SARFM 获取。引言合成孔径雷达（SAR）（Brown and Porcello, 1969, Moreira et al., 2013）因其全天候、昼夜以及高分辨率成像能力而被广泛应用于对地观测。因此，SAR图像解译已成为遥感领域的重要课题。传统的SAR特征提取方法严重依赖人工设计和专家参数调整（Dellinger et al., 2015, Yang et al., 2004, Bi et al., 2020, Chen and Tao, 2018）。尽管深度学习方法已取得实质性进展，但许多基于卷积或Transformer的模型（Li et al., 2022, Dong et al., 2022）仍针对特定任务训练，并依赖昂贵的有标注数据集，限制了其可扩展性和泛化能力。这些局限性推动了SAR基础模型的发展，这类模型在大规模无标注SAR数据上进行预训练，能够学习更通用的表示。近期研究探索了代表性范式，如SAR-JEPA中的联合嵌入预测学习（W. Li et al., 2024）、SARATR-X中的掩码图像建模（Li et al., 2025）、SUMMIT中的多任务自监督预训练（Du et al., 2025），以及SARCLIP中的视觉-语言对齐（Wang et al., 2025）。这些范式大多源自掩码图像建模（MIM）、对比学习（CL）或其变体，分别强调局部重建和判别性表示学习。然而，当前的SAR基础模型（Li et al., 2025, Du et al., 2025, Wang et al., 2025）忽视了相干成像固有的乘性斑点噪声问题（Singh and Shree, 2016）。这种噪声影响强散射体，导致外观不稳定、边缘模糊和纹理失真，进而损害下游解译任务（Chang et al., 2019, Chen et al., 2016a）和预训练。尽管存在大量去斑方法，但它们大多局限于去斑本身；很少有基于神经网络的特征提取工作明确考虑斑点噪声或将去斑研究纳入其中。在本文中，我们提出了一种去噪引导的SAR基础模型（DG-SARFM），对斑点噪声具有更强的适应性。主要思想如图1所示。首先，我们采用快速自适应非局部SAR去斑方法（FANS）（Cozzolino et al., 2014）作为去噪技术，因为它在计算效率和去噪性能之间取得了有效平衡。然后，在MAE（He et al., 2022）这一经典MIM方法的基础上，我们引入了去噪引导的SAR图像重建（DG-SARIR）模块来重建降噪图像，从而尽可能促进信号与噪声的分离。然而，仅依赖像素级重建往往导致模型产生模糊输出并忽略判别性的特征级信息。为解决这一问题，我们进一步引入了一个去噪引导的分层对比学习（DG-HCL）模块。通过在潜在空间中对齐去噪和含噪图像的特征表示，该模块施加了结构化正则化，引导模型学习更具判别性和噪声不变性的特征。同时，考虑到SAR目标丰富的层次结构，我们在全局视图对比之外还引入了局部视图对比。因此，所提出的模型能够有效处理噪声干扰，同时学习像素级细节和目标级判别特征，实现更鲁棒且信息丰富的特征表示。本研究的主要贡献总结如下：• 新视角：与先前使用原始SAR图像或其增强版本的SAR基础模型不同，我们系统地构建了含噪-去噪配对的SAR图像，并在整个预训练过程中将去噪图像作为稳定的自监督目标。我们提出了一种联合掩码图像建模和无负样本特征对齐架构，在特征空间和像素空间中同时将表示与去噪图像对齐，从而提高模型对噪声的适应性。据我们所知，现有的SAR基础模型尚未系统性地采用配对的含噪和去噪SAR图像作为自监督目标，用于像素空间重建和特征空间对齐。这一策略能够有效增强预训练模型的噪声鲁棒性，并为SAR图像特征学习提供新的视角。• 新方法：为有效利用去噪SAR图像，我们提出了一个新的模型框架。（1）首先，我们引入了一个去噪引导的重建模块，在像素空间中将含噪图像与去噪图像直接对齐，从而促使模型更好地将信号与噪声分离。（2）其次，为缓解像素级解的过度平滑并促进判别性特征的学习，我们引入了一个无负样本的对比式辅助任务，在特征空间中对齐含噪和去噪图像，并引入全局级和局部级对比目标以适应SAR目标丰富的层次结构。（3）最后，我们将去噪引导的重建和去噪引导的对比学习模块整合在一起，提出了一个能够同时学习目标细节和判别特征的去噪引导SAR基础模型。我们在各种SAR数据集上评估了所提出的方法，实验结果表明，我们的方法优于现有的最先进方法。• 新数据集：为支持我们的新方法，我们构建了首个百万级SAR含噪-去噪图像对数据集，命名为SAR-NDIP，用于预训练。具体而言，我们首先对现有公开SAR数据集进行了系统性筛选和清理。然后，为了进一步提高预训练数据的质量并保持预训练过程中的稳定性和合理收敛，我们提出了一种面向Transformer的方法来剪枝同质背景图像。章节片段计算机视觉中的基础模型视觉基础模型通常建立在自监督范式之上，如MIM和CL。代表性MIM方法包括MAE（He et al., 2022）、BEiT（Bao et al., 2022）和SimMIM（Xie et al., 2022），它们通过重建掩码图像内容来学习表示；而典型CL方法如MoCo（He et al., 2020）、SimCLR（Chen et al., 2020）和CLIP（Radford et al., 2021）则通过拉近正样本对、推开负样本对来强调语义判别性。提出的方法受SAR基础模型最新进展的启发，我们旨在开发一种去噪引导的SAR基础模型。整个框架如图2所示。首先，我们通过整合如表1所示的八个公开SAR数据集，并创建配对的去噪数据集，构建了一个大规模SAR预训练数据集SAR-NDIP。目标是开发一个尽可能全面覆盖多种SAR目标和场景类型的SAR含噪-去噪预训练数据集。数据集描述SAR-NDIP预训练数据集由八个公开SAR数据集构建而成，包括Sandia MiniSAR（Doerry, 2006）、HRSID（Wei et al., 2020）、MSAR（Chen et al., 2022）、SARBuD（Wu et al., 2022）、SAR-AIRcraft（Z. Wang et al., 2023）、OGSOD（C. Wang et al., 2023）、ATRNet-STAR（Liu et al., 2026）和FAIR-CSAR（Wu et al., 2025）。这些数据集涵盖了多样的目标类别、成像分辨率、极化方式、传感器和场景类型，为SAR基础模型提供了异质性语料库。结论为解决从SAR图像中学习鲁棒且可泛化表示这一根本性挑战（固有地受斑点噪声阻碍），本文提出了一种新颖的去噪引导SAR基础模型DG-SARFM。该模型在像素空间和特征空间中将含噪SAR图像与其去噪对应图像对齐，并将去噪图像作为锚点。DG-SARFM去噪引导的核心在于其统一框架，该框架无缝整合了MIM和CL。这一设计……CRediT作者贡献声明Yudao Xu：撰写初稿、软件、方法学、调查研究。Yushi Chen：撰写审阅与编辑、监督、项目管理、资金获取、概念化。Yuntao Du：撰写审阅与编辑、验证。Qian Du：撰写审阅与编辑、验证。利益冲突声明作者声明，他们不存在任何已知的竞争性经济利益或个人关系，可能影响本文所报告的工作。致谢本工作受中国国家自然科学基金资助，项目编号62431009和62371169。Yudao Xu|Yushi Chen|Yuntao Du|Qian Du