针对预训练的潜在扩散模型，在生成未见过的SAR图像方面的微调技术的定量比较

《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》：Quantitative comparison of fine-tuning techniques for pretrained latent diffusion models in the generation of unseen SAR images

　　索莱娜·德布伊塞尔（Solène Debuysère）| 尼古拉·特鲁韦（Nicolas Trouvé）| 内森·莱特尤尔（Nathan Letheule）| 奥利维尔·莱韦克（Olivier Lévêque）| 伊莉丝·科兰（Elise Colin）
来自法国帕莱索（Palaiseau，91120）的DEMR、ONERA、巴黎萨克雷大学（Université Paris-Saclay）

**摘要**
我们提出了一个框架，用于将一个大型预训练的潜在扩散模型适配到非常高分辨率的合成孔径雷达（SAR）图像生成中。该方法能够生成训练集之外罕见或未见过的场景。我们没有从头开始训练一个特定任务的小型模型，而是将一个开源的文本到图像基础模型适配到SAR模式中，利用其语义先验来使提示与SAR成像物理特性（侧视几何结构、斜距投影以及具有重尾分布的相干斑点）保持一致。使用一个分辨率为40厘米的10万张SAR数据集，我们比较了在全UNet扩散框架、变分自编码器（VAE）和文本编码器上进行的完全微调以及参数高效的低秩适配（LoRA）方法。评估指标包括：（i）与真实SAR幅度分布的统计距离；（ii）基于GLCM的纹理相似性；（iii）与专门针对SAR的CLIP模型的语义对齐；（iv）SAR特定分析，如约150栋建筑物的重叠-阴影几何结构以及通过频谱主瓣宽度评估的点扩散函数（PSF）保真度。我们的结果表明，一种混合策略——在文本编码器上使用LoRA对全UNet进行微调，并学习token嵌入——能够在保持提示保真度的同时最好地保留SAR的几何和纹理特征，同时降低KL散度。该框架支持基于文本的控制和多模态条件化（例如，分割图、TerraSAR-X或光学引导），为大规模SAR场景数据增强和地球观测中的未见场景模拟开辟了新的途径。

**引言**
合成孔径雷达（SAR）已成为地球观测的关键技术，不再局限于政府或国防机构使用，它得到了日益多样化的卫星和机载平台的支持，并具备独特的全天候、昼夜成像能力。与此同时，深度生成模型的最新进展为合成图像生成开辟了新的前景，应用范围从数据增强、图像修复、超分辨率到可控的图像到图像转换。在这种情况下，生成逼真的SAR图像尤为重要，既可以补充有限的真实高分辨率数据，也可以支持基于SAR的算法开发和评估。

尽管SAR数据的可用性不断增加，但大多数公开可访问的数据集在空间分辨率或采集多样性（例如入射角、频段、极化和轨道）方面仍然有限。当前的大规模卫星任务通常提供的分辨率从几十米到10-30米不等，而非常高分辨率（VHR）的SAR图像（低于米级）仍然稀缺，且在开源、文档齐全的集合中很少见。同时，最近在生成建模方面的进展，特别是基于文本的扩散模型，在光学遥感中展示了构建复杂场景的显著能力。然而，这些模型大多是在光学图像或结合了不同传感器、分辨率和模式的异构遥感数据集上训练的，因此不适合学习SAR特有的统计特性和成像效应。

本文解决的问题是如何使用现代生成模型从文本生成物理上可信的SAR图像。为了使合成SAR数据在下游任务（如检测、分割或模型基准测试）中发挥作用，生成过程必须超越复制训练样本的范围，能够构建新的场景配置，同时尊重SAR成像特性。这包括相干斑点统计特性、由侧视几何结构引起的强各向异性，以及重叠、透视效应和雷达阴影等现象，这些在光学图像中没有直接对应物。

最近的SAR图像生成方法主要依赖于生成对抗网络（GANs）或从相对较小且低分辨率的数据集从头开始训练的基于扩散的模型。虽然这些方法可以再现某些低级纹理，但它们提供的语义控制有限，并且通常使用与SAR物理特性不匹配的通用图像指标进行评估。相比之下，基于潜在扩散的大型基础模型通过语言条件化展示了强大的语义和构图先验，但由于光学和雷达成像之间的根本差异，将其直接应用于SAR仍然具有挑战性。

在本文中，我们专注于将一个预训练的文本到图像潜在扩散模型适配到SAR模式中，主要目标是生成逼真的SAR幅度图像。为了使这个问题变得可行和可评估，我们有意将自己限制在一个明确定义的采集场景：地面分辨率为40厘米的X波段VHR机载SAR图像，具有相似的入射角和统一的观测方向。这一方法论限制使我们能够减少采集依赖性，并有意义地评估生成模型是否能够学习SAR特有的统计特性，而不是与传感器无关的纹理。在这个受限的设置中，我们整理了一个由ONERA的SETHI传感器（Baqué等人，2019年）获取的约10万张机载SAR图像的连贯数据集。我们没有从头开始训练生成模型，而是适配了一个预训练的基础模型——Stable Diffusion XL（SDXL）（Podell等人，2023年），以学习这一范围内的单通道SAR幅度图像分布。通过在模型的潜在空间中操作（该空间大致呈高斯分布），我们避免了显式设计一个特定于SAR的扩散过程，同时仍要求模型使其生成结果与真实的SAR强度分布和空间结构保持一致。

我们研究的核心问题是，最初从光学图像中学习到的文本条件化扩散模型的强大语义和构图先验在多大程度上可以保留并重新用于SAR图像生成。更具体地说，我们探讨了描述环境和空间关系（例如城市布局、线性基础设施、相对位置）的语言引导提示是否可以映射到物理上可信的SAR实现中，而不会丢失SAR特有的现象。为此，我们进行了定量比较，研究了针对SDXL架构不同组件的几种微调策略，包括UNet框架和文本编码器。这些实验旨在使模型与SAR成像概念（如斑点、纹理连贯性和反射率对比）保持一致，同时保持足够的灵活性以支持语义构图。重要的是，这些选择被视为约束和权衡，而不是最终目标，并通过专门的评估框架进行分析。

评估生成的SAR图像需要超出标准计算机视觉分数的指标。因此，我们引入了一个面向SAR的评估协议，该协议结合了强度分布的统计比较、提示-图像对齐度量以及多尺度上的物理启发式分析，包括重叠-阴影几何结构和点扩散行为。该框架提供了一种结构化的方式，用于评估生成的图像不仅在视觉上合理，而且在VHR分辨率下也与预期的SAR属性一致。

本文的结构如下：第2节回顾了SAR图像模拟和生成建模的相关工作；第3节描述了本研究中使用的VHR SAR数据集的构建和特性；第4节介绍了扩散模型架构和考虑的微调策略；第5节报告了实验结果和定量评估，重点关注SAR特定的真实性；第6节展示了所提出框架的潜在应用，包括数据增强和分辨率提升；最后，第7节讨论了该方法的局限性并概述了未来工作的方向。

**遥感中的生成基础模型**
在遥感领域，最新的生成视觉-语言模型（VLMs）主要集中在光学图像上，对合成孔径雷达（SAR）数据的支持有限或没有。一些基础模型是从大规模光学卫星图像数据集从头开始训练的，包括Zhang等人（2024年）的RS5M和GeoRSCLIP、Khanna等人（2024年）的DiffusionSat、Yu等人（2024年）的MetaEarth、Tang等人（2024年）的CRS-Diff以及Pang等人（2024年）的HSIGene。

**数据集创建**
与光学成像不同，SAR系统主动向地面发射雷达脉冲并记录反射信号。虽然光学图像的分辨率由单位面积的像素数量定义，但SAR图像有两个不同的分辨率：一个是在距离方向（垂直于飞行路径），另一个是在方位角方向（沿飞行路径）。SAR图像形成涉及两个关键步骤：距离压缩，这提高了垂直于传感器轨迹的分辨率；以及输入-输出表示。

**Stable Diffusion XL模型**在潜在空间中操作，而不是直接在像素空间中操作。文本-图像对被独立处理成紧凑的潜在表示。首先，变分自编码器（VAE）将图像x编码为潜在表示z：z=E(x)，x?=D(z)，其中E和D分别表示编码器和解码器。图像通常在每个空间维度上压缩8倍。同时，描述要生成场景的文本提示y被...

**实验和结果**
在本节中，我们展示了一系列使用Stable Diffusion XL进行的实验，以评估各种微调配置的影响。我们的目标是探索每个架构组件（UNet、文本编码器1和文本编码器2）的重要性，以及关键训练参数（噪声偏移、LoRA秩和SAR token）。所有实验都使用我们自定义的10万张SAR图像-标题对数据集（每张图像1024 × 1024像素）进行。

**SAR特定评估**
在当前的SAR文献中，特别是对于VHR SLC数据，没有标准的物理SAR评估基准。大多数工作依赖于通用指标（FID、分类器准确性等），并没有分析SAR特有的属性，如斑点行为、重叠或阴影。此外，相关标准取决于任务和尺度：对于30米分辨率的单个目标来说重要的因素与40厘米分辨率的密集城市场景是不同的。为了使我们的评估有意义，我们确实限制了...

**结论**
据我们所知，我们提出了第一个针对大型潜在扩散模型——Stable Diffusion XL（SDXL）在合成孔径雷达（SAR）图像上的微调策略的比较研究。虽然大多数先前的工作关注光学领域，但我们的结果表明，视觉-语言基础模型可以适应生成物理上真实的SAR场景。实验表明，文本编码器对于语义构图至关重要，但在微调内容和...

**作者贡献声明**
索莱娜·德布伊塞尔（Solène Debuysère）：撰写——原始草稿、可视化、验证、软件、资源、方法论、调查、形式分析、数据整理、概念化、撰写——审阅与编辑。
尼古拉·特鲁韦（Nicolas Trouvé）：监督、方法论、概念化、项目管理、调查、资金获取、撰写——审阅与编辑。
内森·莱特尤尔（Nathan Letheule）：监督、方法论、概念化、项目管理、调查、撰写——审阅与编辑。
奥利维尔·莱韦克（Olivier Lévêque）：声明在写作过程中使用生成AI和AI辅助技术。

**利益冲突声明**
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

**致谢**
本工作得到了ONERA（法国航空航天实验室）的支持，并获得了法国国防部（MoD）的财政支持。这项研究是索莱娜·德布伊塞尔博士论文的一部分。作者衷心感谢所有为这项工作的成功做出贡献的人。