用于SAR到光学图像转换的带有残差分解生成策略的条件扩散模型

《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》：Conditional diffusion model with residual decomposition generation strategy for SAR to optical image translation

　　

摘要 合成孔径雷达（SAR）到光学图像翻译旨在从全天候、全天时条件下获取的SAR图像中恢复视觉可解释的光学图像，但由于SAR图像与光学图像之间存在巨大的模态差距，这一任务仍然极具挑战性。现有的基于学习的方法存在互补的局限性：基于GAN的方法倾向于保留全局结构，但往往产生过度平滑的纹理，并存在训练不稳定的问题；而基于扩散模型的模型在细节合成方面表现出色，但在直接建模完整的SAR到光学映射时却遇到困难，导致结构失真和优化效率低下。为解决这些问题，本文提出了一种基于条件残差扩散细化策略（CRDRS）的两阶段SAR到光学翻译框架。在第一阶段，条件GAN生成一张捕获整体场景结构的粗伪光学图像，提供稳定的几何一致先验。在第二阶段，利用CRDRS预测伪光学图像与真实光学目标之间的残差，而非直接合成光学图像。CRDRS通过将扩散过程集中在高频细节和局部差异上，简化了学习目标。此外，提供了一种启发式理论分析，表明与直接光学生成相比，CRDRS可以降低目标方差并降低内在去噪误差，从而导致更好的条件优化问题。在两个代表性的SAR-光学数据集上的实验表明，所提出的方法一致地提升了像素级和感知性能，同时展现出对退化粗引导增强的鲁棒性。源代码公开于 https://github.com/Mizar29/Residual-Decomposition-Generation-Strategy-for-S2O。

引言 星载和机载成像系统通常提供两种互补的模态：合成孔径雷达（SAR）和光学图像（Schmitt和H?nsch，2026，Nie等，2025，W. Zhang等，2026）。SAR传感器发射和接收微波信号，因此对光照和大多数天气条件几乎不敏感，允许昼夜和全天候观测，并具有精细的几何保真度（Chen等，2026，Y. Zhang等，2026，Geng等，2026，Lee和Li，2026）。然而，SAR图像受相干散射机制支配，不可避免地受到斑点噪声和堆叠的影响，这使得非专业用户难以进行视觉解释（Asiyabi等，2023，Li等，2025a，Ai等，2025，Amao-Oliva等，2025）。相比之下，光学传感器直接记录可见光和近红外波段中的反射太阳辐射，产生纹理丰富且易于理解的图像（Li等，2025b，H. Zhang等，2025，R. Zhang等，2026）。然而，如图1所示，光学遥感图像常常受到云覆盖、阴影和光照依赖的影响（Z. Li等，2022，Ning等，2025，Singh等，2025）。这种强互补性激发了对SAR和光学遥感数据之间跨模态翻译关系（Ji等，2026）和多模态匹配任务（Ye等，2025，Zhang等，2024，Wang等，2025，Li等，2025）日益增长的兴趣。

为解决这一问题，SAR到光学（缩写为SAR2Opt或S2O）图像翻译旨在从给定的SAR获取中重建一个合理的光学视图（Zhang等，2020）。除了视觉合成外，SAR2Opt翻译还促进了各种下游任务（Gao等，2023，Sun等，2023）。合成的类光学图像可以补偿语义分割（You等，2025b，J. Zhang等，2025，Dove等，2025）中缺失或受云污染的光学数据，通过结构对齐（Merkle等，2018）和多模态配准中的语义位置分布建模（Li等，2023b）协助多模态配准，并利用SAR的高时间频率增强变化检测（Li等，2021，Manocha和Afaq，2023，Zhang等，2022，Du等，2024）。最终，有效的SAR2Opt模型弥合了模态差距，并作为高层遥感应用中数据加密和多样化的稳健工具（Zou等，2023）。

在过去几十年中，提出了许多SAR到光学的翻译方法，它们大致可以分为两组。第一组主要通过物理驱动和手工特征方法进行探索（Auer等，2017）。这些方法通常依赖于统计建模、物理散射假设或手动设计的描述符，以建立SAR后向散射与光学反射之间的对应关系。例如，早期研究试图通过利用纹理相似性、局部结构线索或在手工特征上定义的有条件概率模型来映射SAR和光学图像（Jones等，2020a，Jones等，2020b）。虽然这些方法为跨模态关系提供了有价值的见解，但它们通常存在表征能力有限和泛化能力差的问题，特别是在复杂的城市场景和异构土地覆盖条件下。

为了克服这些局限性，第二组，基于学习的方法，特别是深度神经网络，已被越来越多地应用于SAR到光学翻译（Tu等，2025，J. Li等，2022，Vivone等，2025）。现有的基于学习的SAR2Opt方法大致可以分为两组。第一组依赖生成对抗网络（GANs），如条件GAN及其变体，它们以端到端的方式直接学习从SAR到光学图像的确定性映射（Chen等，2024，Zuo和Li，2021，Yang等，2022b）。然而，对抗训练容易不稳定，并且对超参数和数据不平衡敏感（Dhariwal和Nichol，2021）。在SAR2Opt场景中，巨大的模态差距和斑点噪声进一步加剧了训练困难，往往导致模式坍塌、伪影或过度平滑的纹理。因此，迫使单个前向传递同时捕获全局语义和细粒度的跨模态变化往往导致过度平滑的纹理和缺失的局部细节，使得整体优化问题极具挑战性。

第二组研究采用去噪扩散概率模型（DDPMs）及其加速变体进行图像生成和翻译（Ho等，2020，Song等，2020）。扩散模型构建一个马尔可夫链，逐渐用高斯噪声扰动图像，并通过逐步去噪学习反转此加噪过程。由于这种迭代细化机制和良好行为似然目标，扩散模型通常展现出强大的训练稳定性，并擅长捕获复杂的数据分布，产生具有丰富细节和极少模式丢失现象的样本。当直接应用于SAR2Opt时，基于扩散的方法可以生成视觉上高质量的纹理和增强的外观（Dhariwal和Nichol，2021）。然而，如果要求模型从头学习完整的SAR到光学映射，网络必须隐式地在所有时间步中处理几何对齐和模态转换，这可能导致结构失真或对象错位，特别是在强后向散射和堆叠区域（You等，2025a，Qin等，2024，Du等，2025）。

事实上，GAN和扩散模型的特性是自然互补的：GAN擅长学习粗略的几何保持映射，但倾向于遗漏细粒度细节（Yang等，2022a），而扩散模型是强大的细节增强器，但不太适合在单个阶段处理大的跨模态差距（Dhariwal和Nichol，2021，Qin等，2024）。然而，大多数现有的SAR2Opt方法仅采用基于GAN的框架或基于扩散的框架，仍然缺乏明确结合两种范式互补优势的方法。这一观察促使我们将SAR2Opt分解为粗到细的两阶段过程，其中第一粗翻译阶段专注于结构和全局外观，第二阶段主要细化纹理并纠正残差差异。这种粗到细的层次策略在复杂的多模态任务中已显示出显著的专业性，例如卫星图像配准（Li等，2023a），通过有效管理跨模态融合和多分辨率特征描述。

因此，如图2所示，采用了一种两阶段SAR到光学翻译框架，在训练阶段和推理阶段明确地将粗结构预测与细粒度外观细化分离。在第一阶段，使用条件GAN从输入的SAR图像生成伪光学图像。该伪光学图像已经处于光学域，保留了全局场景布局、对象边界和几何一致性，但可能仍然存在模糊的纹理、光照不准确或局部伪影。而非直接依赖此粗结果作为最终输出，它被视为引导后续细化的结构先验。

在第二阶段，设计了一个条件扩散模型来预测伪光学图像与真实光学图像之间的残差，而不是直接合成光学图像。通过将扩散过程集中在残差信息上，学习目标被大大简化，因为残差表现出较窄的动态范围，并主要由高频差异主导。这种以残差为目标的形式使扩散模型能够专注于纠正局部错误和恢复细节，从而实现更稳定的优化并提高对不完美的粗引导的鲁棒性。因此，所提出的框架以原则性的粗到细方式有效地集成了GAN的结构保留能力和扩散模型的细节建模优势。

总之，本工作做出了以下贡献：

- **统计任务特定分解框架**：为解决SAR到光学翻译中同时建模全局结构和细粒度细节的困难，提出了一种统计解耦的两阶段框架。与通用的粗到细模型不同，所提出的方法通过将有条件的跨模态映射分离为确定性趋势预测和随机细节细化，利用了GAN和扩散模型的互补优势，有效避免了单阶段模型固有的优化冲突。

- **以残差为目标的扩散的理论优势**：为简化扩散学习目标并提高训练稳定性，引入了一种条件残差扩散细化策略（CRDRS），其中模型预测伪光学图像与真实目标之间的残差。除CRDRS设计外，提供了一种启发式理论分析，证明以残差为目标可以减少贝叶斯风险并降低内在去噪误差，从而导致更好的条件优化问题。

- **主动修正和鲁棒性机制**：通过在逐渐退化的条件下评估以残差为目标和以光学为目标的扩散模型，进行了系统的鲁棒性分析。结果表明，CRDRS具有一种有别于被动细化的主动修正能力，因为它可以有效地纠正从第一阶段继承的结构幻觉或辐射偏差，即使在不完美的粗引导下也能确保高保真重建。

本文其余部分组织如下。第2节回顾了SAR到光学翻译的相关工作。第3节介绍了所提出的两阶段残差分解框架和相关的基于扩散的细化方法论。第4节描述了数据集和实现细节。第5节呈现了实验结果，第6节提供了消融实验和讨论。第7节评估了我们的方法在下游任务中的表现。第8节总结了本文。

相关工作片段：基于GAN的SAR到光学图像翻译

图像到图像的翻译在遥感领域已被广泛研究（Wang等，2026b，Xiong等，2023，Fuentes Reyes等，2019，Wang等，2019），生成对抗网络是主要的范式。得益于对抗学习策略，Pix2Pix和CycleGAN等框架已展现出强大的直接跨模态映射能力。在SAR到光学翻译的具体语境中，几种任务特定的GAN变体…

方法

在本节中，提出了一种用于SAR到光学图像翻译的两阶段残差分解框架，包括一个粗翻译阶段和一个条件残差扩散细化阶段。条件GAN首先生成一张捕获全局场景结构的伪光学图像，之后所提出的条件残差扩散模型学习伪预测与真实光学图像之间的残差。这种设计使扩散过程能够…

数据集

在本文中，采用两个代表性的SAR-光学数据集来全面评估所提出的方法：SEN1-2（Schmitt等，2018），一个中等分辨率的公开基准数据集，和SAR2Opt（Zhao等，2022），一个基于高分辨率TerraSAR-X的数据集。这两个数据集在空间分辨率、场景多样性、传感器模态和真值生成过程方面存在显著差异，从而使模型泛化能力的全面评估成为可能…

实验结果与比较

为评估本文提出的方法，与几种优秀的SAR2Opt翻译方法进行了比较，包括Pix2Pix（Isola等，2017）、BicycleGAN（Zhu等，2017b）、CycleGAN（Zhu等，2017a）、CUT（Park等，2020）、ControlNet（Zhang等，2023）、CDPM（Bai等，2024）、CDPM-CS（Bai和Xu，2024b）和ACD（Bai和Xu，2024a）。

具体而言，Pix2Pix、BicycleGAN、CycleGAN 和 CUT 属于基于生成对抗网络（GAN）的框架类别，而 ControlNet、CDPM、CDPM-CS 和 ACD 则属于扩散模型类别。

### 消融实验与讨论

在本节中，我们进行了一系列消融实验，并提供了相应的讨论，以分析所提出方法的设计选择与鲁棒性。

#### 下游任务验证

虽然 PSNR 和 SSIM 等传统像素级指标能够对图像重建质量进行基本评估，但它们往往无法量化高级地理语义的保留程度，而这一点对于实际的遥感应用至关重要。为了进一步评估合成光学影像的实际效用和可解释性，我们通过两项不同的下游任务进行了严格的验证。第一项任务采用了一种先进的地理空间人工智能模型对合成图像进行分类精度评估。第二项任务则涉及提取关键地物目标的边界精度分析。

### 结论

本文提出了一种两阶段 SAR 到光学图像翻译框架，该框架结合了基于条件生成对抗网络的粗翻译与条件残差扩散细化策略，旨在以有原则且稳定的方式弥合 SAR 与光学图像之间巨大的模态差异。通过从统计上将翻译任务解耦为趋势预测阶段和细节细化阶段，所提出的方法有效利用了生成对抗网络与扩散模型各自的互补优势，从而生成了在视觉保真度与语义一致性方面均表现优异的翻译结果。在多个基准数据集上的实验结果表明，所提出的方法在定量指标和定性视觉质量方面均显著优于现有的最先进方法，并且通过下游任务验证进一步证明了合成图像的实用价值与地理语义可靠性。本文旨在为 SAR 图像增强与模态翻译领域提供有用的研究基础。

### CRediT 作者贡献声明

- **张浩宇**：原稿撰写、软件、方法论、形式分析、数据管理、概念设计
- **王烈光**：审阅与编辑、可视化、验证、资源、方法论、资金获取
- **杨晓辉**：可视化、软件、形式分析、数据管理
- **杨立军**：审阅与编辑、软件、资源、形式分析
- **郑辰**：审阅与编辑、指导、资源、项目管理、方法论、调查
- **耿迅**：审阅与编辑、指导、资源、项目管理、方法论、调查

### 利益冲突声明

作者声明不存在可能影响本文所报告工作的已知竞争性经济利益或个人关系。

### 致谢

本工作部分得到了国家自然科学基金（批准号 32160369）、河南省高校科技创新团队培育计划项目（批准号 26IRTSTHN003）以及大地测量国家重点实验室的支持。我们衷心感谢审稿人和副编辑提出的意见和建议，这些建议显著提升了本手稿的质量。

**张浩宇 | 王烈光 | 杨晓辉 | 杨立军 | 郑辰 | 耿迅**