综述：用于SAR和光学图像融合的深度学习方法综述 郭成燕， 张志远， 黄克新， 罗岚， 杨子卿， 史书云， 史俊鹏

《Remote Sensing》：Deep Learning Methods for SAR and Optical Image Fusion: A Review Chengyan Guo, Zhiyuan Zhang, Kexin Huang, Lan Luo, Ziqing Yang, Shuyun Shi and Junpeng Shi

　　**亮点**
主要研究结果表明了什么？
本综述全面而系统地概述了合成孔径雷达（SAR）与光学图像融合方法，涵盖了传统技术以及深度学习领域的最新进展。从方法论和应用的角度，系统地分析了融合策略、质量评估指标和代表性基准数据集。

主要研究结果的意义是什么？
基于深度学习的SAR与光学图像融合在增强多模态特征表示、视觉保真度和语义一致性方面展现出巨大潜力，适用于典型的遥感任务。
本综述为SAR与光学图像融合的方法选择及未来研究提供了实用参考和清晰的路径规划。

**摘要**
合成孔径雷达（SAR）与光学图像融合技术在遥感应用中发挥着重要作用。它有效结合了光学图像的高空间分辨率和丰富光谱信息，以及SAR图像的全天候和穿透观测优势，从而显著提升了图像解释的准确性和任务执行能力。本文系统回顾了基于深度学习的SAR与光学图像融合方法，特别关注了深度学习模型的最新进展，并总结了用于评估融合图像质量的常用评价指标，为比较和分析不同方法的性能提供了基础。此外，还简要介绍了常用的SAR-光学融合数据集，强调了它们在算法开发和性能评估中的作用。与传统综述文章不同，本文进一步从典型和具体应用的角度分析了融合算法的指导和支持作用。最后，指出了当前融合方法面临的关键挑战和问题，包括数据配准、模型 lightweight 设计和多模态特征对齐，并提出了未来研究的方向。

**1. 引言**
遥感是地球观测系统的核心组成部分，通过传感器捕获来自目标特征的反射或辐射电磁信号来实现对地表环境的非侵入式探测。其本质在于利用电磁波的能量传输特性来突破空间和感知限制，获取关于地面物体和地理空间特征的大规模、多维信息。随着传感器技术的进步，遥感数据的应用已扩展到许多领域，如灾害应急响应、土地资源调查和军事侦察，并逐渐扩展到智能城市管理和精准农业等新兴领域[1]。为应对大规模处理多源异构遥感数据的需求，图像融合技术作为协同解释多模态信息的关键步骤，已成为提高遥感感知准确性和鲁棒性的研究热点。

在各种类型的遥感图像中，SAR和光学图像因其成像机制而具有独特的互补特性。光学图像是被动式的，依靠反射的太阳辐射提供高分辨率的空间纹理和丰富光谱信息，这与人类视觉解释高度吻合；但其数据获取高度依赖于光照条件，容易受到云层、降雨、雾霾等影响。相比之下，SAR是一种主动式微波传感器，通过发射电磁脉冲并接收目标的回散射信号进行成像，具有全天候和全天成像能力，特别适合监测地面变形、土壤湿度及检测隐蔽目标。然而，SAR图像存在严重的相干斑点噪声、非直观的灰度表示以及缺乏光谱信息等问题。这些固有缺陷使得单一来源的数据在复杂场景中无法实现高精度感知。具体而言，光学图像在低光或遮挡条件下会遭受严重信息损失，限制了连续动态监测的能力；而SAR图像则缺乏直观可解释的颜色和纹理语义，噪声干扰降低了目标识别的可靠性。因此，开发SAR与光学图像融合技术，整合互补的多源信息以生成兼具结构细节和光谱保真度的增强图像，成为提高土地覆盖分类、灾害评估和军事侦察等任务性能的重要研究方向。

**图1** 展示了三组代表性的光学图像、SAR图像及其融合结果，展示了这两种模态的互补优势。

**2. 深度学习驱动的SAR与光学图像融合方法**
近年来，基于深度学习的融合方法取得了显著进展，其核心优势在于能够自动学习图像之间的复杂非线性映射关系，从而克服了传统方法对人工特征和融合规则的依赖。基于卷积神经网络（CNN）、生成对抗网络（GAN）和Transformer的模型能够学习层次化语义和数据驱动的融合策略，提高了融合结果的质量和鲁棒性。这些进展促进了新范式的出现，例如SAR到光学图像的转换，旨在通过深度学习实现SAR与光学图像之间的互补信息交换和模态转换。

尽管已有相关综述，但大多数研究仍侧重于传统方法，对基于深度学习的方法（尤其是生成式融合）的讨论不足。鉴于深度学习在融合研究中的主导地位，迫切需要对这些先进方法进行系统回顾和分析。本文详细统计了2018年1月至2025年8月期间代表性的基于深度学习的SAR与光学图像融合算法，发现相关论文数量逐年增加，尤其是在2018年后增幅显著。

**3. 基于深度学习的SAR与光学图像融合方法**
基于深度学习的融合方法在近年来取得了显著进展，其核心优势在于能够自动学习图像之间的复杂非线性映射关系。CNN、GAN和Transformer等模型在遥感图像融合中得到广泛应用，利用其强大的层次化特征表示能力直接从原始数据中提取和整合深层语义信息。这些方法在特定损失函数的指导下进行融合优化，生成具有更高空间细节、更优光谱保真度和更强鲁棒性的结果。本文将基于深度学习的SAR与光学图像融合方法分为四类：基于CNN的方法、基于GAN的方法、基于Transformer的方法和基于扩散模型的方法。

**2.1 基于CNN的融合方法**
作为经典的深度学习架构，CNN在多源遥感图像融合中得到广泛应用，凭借其强大的局部特征提取和层次化表示能力。在SAR与光学图像融合任务中，CNN方法通过端到端的方式自动学习多模态数据之间的共享特征空间，实现有效信息融合和重建。然而，由于这种方法仅仅依赖于浅层特征串联，并且缺乏跨模态交互的机制，因此无法有效地利用不同模态的各自优势。随着网络深度的增加，在反向传播过程中梯度逐渐衰减，使得更新早期层的参数变得困难。为了解决这个问题，何和横谷[25]引入了残差网络。他们的残差块利用跳跃连接直接将输入信号传输到输出层，使得网络能够学习残差映射而不是完整的输出函数。这有助于反向传播过程中无障碍的梯度流动，并稳定了深度网络的训练。因此，通过更深层次的架构，模型可以从多时相SAR和光学数据中学习时空依赖特征，在缺乏光学图像的区域实现更准确的图像重建。线性运算通常无法有效地建模光学图像和SAR图像之间的复杂非线性关系，导致跨模态互补性的利用不足。李等人[26]提出了一个多模态双线性融合网络（MBFNet）来学习SAR和光学图像的互补特征。该方法引入了一个二阶通道选择模块（SACSM）用于特征融合，其网络架构如图5所示。SACSM模块通过计算特征的外积来捕获二阶统计信息，从而实现高阶非线性交互。通过利用通道间的依赖性，它自动强调信息丰富的通道，并将它们重构为紧凑的特征表示，从而缓解了双线性特征的高维度问题，并增强了整体的表示能力。康等人[27]引入了一种跨模态交互门控方法，并构建了一个具有双向信息流的双分支网络，如图6所示。在从光学图像和SAR图像中提取不同特征之后，他们建立了跨模态传输门以促进模态间信息交换。这种方法实现了独立特征学习和互补信息融合的协同优化，提高了模型对结构一致性和语义关联的理解，从而提高了分割精度。李等人[28]基于Deeplabv3+架构开发了MCANet。网络架构如图7所示。他们设计了伪孪生网络分别提取多模态的低级和高级特征，并通过多模态交叉注意力机制对高阶跨模态交互进行建模。当与Atrous空间金字塔池化（ASPP）模块结合用于优化融合时，这种方法提高了土地分类性能。图5. MBFNet中SACSM融合模块的结构（改编自[26]）。图6. SMNet的整体架构（改编自[27]）。图7. MCANet中简化的自注意力形式（改编自[28]）。由于SAR图像和光学图像在全局结构和局部细节特征上存在显著差异，最近多尺度特征融合策略受到了广泛关注。通过在不同尺度上提取特征并进行加权融合，这些策略有效地保留了重要的图像信息，从而减少了空间和光谱失真。叶等人[29]将多尺度编码器与DenseNet连接结合在一起，共同提取和融合异构的多尺度特征，显著提高了空间清晰度和光谱保真度。张等人[30]将一种称为短期跳跃连接和长期串联（SSLC）的多层特征融合方法引入到U-Net中，增强了CNN特征在不同层次上的参与度，并减少了光谱失真。王等人[31]构建了一个双流网络，其中SAR流使用PidiNet来增强边缘提取，而光学流保留了纹理细节。一个融合模块精确地对齐了跨模态信息，大幅提高了土地覆盖分类的准确性。CTHNet[32]利用多尺度CNN从SAR图像中提取局部结构特征，从光学图像中提取光谱特征。一个自适应的融合模块动态调整了特征的质量，以实现互补信息的高效整合。现有的方法[28,33,34]通常对光学图像和SAR图像使用相同的特征提取器，忽略了它们之间的内在异质性。魏等人[35]提出了MGFNet，如图8所示，它为光学图像和SAR图像设计了独立的特征提取路径。通过结合HRNet和ResNet101的优势，构建了一个多路径特征提取架构，有效地减少了空间信息损失并提高了分类精度。刘等人[36]提出了OSHFNet，一个端到端可训练的异构双分支融合网络。在此框架内，CNN捕获了光学图像的精细局部细节，而蛇形卷积增强的VMamba架构从SAR图像中提取了鲁棒的全局结构特征，有效地捕获了跨模态的互补特征。其网络架构如图9所示。图8. MGFNet的结构（改编自[35]）。图9. OSHFNet的结构（改编自[36]）。基于CNN的方法是SAR和光学图像融合中最广泛使用的深度学习方法之一。通过直接从数据中学习层次化特征，它们提供了一种实用的方法来弥合模态之间? 差异，并整合来自两种传感器的互补信息。总体而言，现有的基于CNN的融合研究从简单的编码器-解码器设计发展到了具有更强特征交互的更结构化的架构，从而提高了细节保持能力、融合质量的稳定性以及在复杂场景中的泛化能力。

2.2. 基于GAN的融合方法
生成对抗网络（GANs）通过生成器和鉴别器之间的对抗训练学习复杂的映射并合成高质量的图像。在与SAR和光学融合相关的研究中，GANs更常用于跨域生成任务，例如从源域到目标域的图像转换，或通过源域的观测来指导目标域图像的重建。与仅从随机噪声生成样本的原始GAN公式不同，这些方法通常构建为条件GAN（cGANs），其中生成器在有源域图像的条件下生成目标域图像。鉴别器通过区分生成的目标域输出和真实的目标域图像来提供对抗性监督，从而鼓励输出在视觉真实性和领域统计特性方面更好地匹配目标域分布。在这种对抗学习范式下，生成器不仅被驱动满足重建约束，还要产生更符合目标域先验的结果，这可以减轻仅依赖像素级重建损失时常常出现的过度平滑问题。

2.2.1. 基于CGAN的方法
条件生成对抗网络（CGAN）通过将额外的条件信息融入生成器和鉴别器，显著提高了融合图像的可控性和质量。这种方法解决了传统GAN的一个关键限制，即缺乏对生成器输出的直接控制，使得图像生成更加精确。该架构如图10所示。图10. 基于CGAN的SAR和光学图像融合框架[37]。Grohnfeldt等人[37]率先将CGAN应用于SAR和光学图像融合，提出了一种SAR引导的光学图像重建方法，用于恢复被云层遮挡的Sentinel-2光学图像。该方法使用U-Net架构作为生成器，并引入了L1损失函数来保留SAR图像的结构信息。然而，传统CGN中的鉴别器难以有效捕获SAR特有的斑点噪声和几何失真特征，导致重建的光学图像边缘模糊。后续研究专注于优化条件输入机制和网络架构，以提高空间一致性和细节保真度。例如，李等人[38]使用增强边缘的CGAN模型解决了SAR和光学图像之间弱局部对应的问题。通过预处理训练数据中的边缘特征并将它们作为额外的条件输入到生成器中，他们的方法有效地引导模型关注关键结构特征，显著提高了局部对齐精度。表1提供了基于CGAN的融合中不同条件输入策略的比较。

SAR到光学图像的转换是更广泛融合框架中的一个关键技术。这种方法旨在通过深度生成模型将SAR图像转换为具有光学视觉特性的图像。这种跨模态生成任务的目标是将SAR图像转换为具有光学图像视觉特性的输出。这些生成图像的质量直接决定了它们在视觉真实性、结构保真性和语义一致性方面的实用性[39]。Ley等人[40]将CGAN应用于此任务，指导网络学习不同类型地表特征的表示。通过使用SAR图像的多尺度特征作为条件输入，生成器根据地表类型动态调整其生成策略。这种多尺度条件设计不仅增强了生成图像的结构相似性（SSIM），还避免了传统GAN在复杂场景中可能遇到的模式崩溃问题。在此基础上，张等人[41]引入了一个框架，协同优化了边缘信息和偏振模式。他们的方法创新性地使用SAR图像的VV和VH偏振通道作为条件输入，并与边缘检测的多尺度特征融合。SAR图像作为生成器的输入，而光学图像指导鉴别器。通过整合多尺度边缘特征，生成器增强了输出图像的结构相似性和细节表达，进一步通过鉴别器的反馈进行了细化，产生了高度逼真的结果。表1. 基于CGAN的融合框架中条件输入模式的比较。

尽管CGAN在SAR到光学图像转换任务中取得了初步成功，但在生成纹理细节和颜色一致性方面仍存在显著缺陷。研究人员提出了各种改进策略，尝试结合其他生成对抗网络架构，如DualGAN[43]和CycleGAN[44]。这些网络可以在SAR和光学图像之间部分重建纹理和结构特征，尤其在配对训练数据稀缺时表现出良好的泛化性能。然而，由于它们的训练机制不依赖显式的条件输入，它们往往难以保持生成图像的颜色稳定性，导致结果在视觉上偏离真实光学图像的颜色分布，经常丢失颜色特征。相比之下，基于CGAN的架构，如Pix2Pix[45]可以通过配对数据训练保留颜色信息。然而，它们的鉴别器通常采用全局结构，这导致它们容易忽略局部细节。这导致了生成图像中的纹理模糊或结构失真。杨等人[42]特别优化了他们的方法，以解决SAR到光学图像转换中的轮廓模糊、纹理消失和颜色错误问题。所提出的生成器架构如图11所示。首先，结合了上采样和下采样流程以及镜像填充策略增强了边缘清晰度，有效改善了生成图像的结构完整性。同时，一个包含三个具有不同感受野的分类器的多尺度鉴别器模块捕获了多个尺度上的局部纹理特征，显著提高了输出的真实感。此外，MSE损失、L1损失和对抗损失的组合有效解决了颜色一致性问题。

2.2.2. 基于DCGAN的方法
尽管GAN在图像生成方面取得了显著成就，但其基础架构在处理复杂数据集时存在某些限制。为了克服这些限制，Radford等人[46]引入了深度卷积生成对抗网络（DCGAN）。如图12所示，该模型在保持对抗训练范式的同时整合了深度卷积神经网络结构。这种整合大大增强了模型的特征提取能力和对高分辨率图像的建模能力。DCGAN的主要改进在于其架构修改：生成器使用转置卷积层实现更高效的上采样，而鉴别器采用卷积层替代全连接层来增强空间特征提取。这些设计创新不仅促进了训练的稳定性，还显著提高了合成输出的可视质量和细节保真度。图12. 基于DCGAN的SAR和光学图像融合框架[46]。基于DCGAN，图像融合方法已被广泛用于多模态图像转换任务，受益于其强大的特征提取能力。特别是在SAR（合成孔径雷达）和光学图像之间的跨模态翻译中，DCGAN（深度条件生成对抗网络）中的堆叠卷积层能够有效模拟两种模态之间的复杂非线性映射。这种架构使得更高效地捕捉细节特征成为可能，生成出更加真实和详细的图像，同时提高了跨模态翻译的效率和准确性。Gao等人[47]基于DCGAN开发了一种名为DCCGAN的双鉴别器结构，以增强生成图像的细节表现。在传统的DCGAN中，单个鉴别器往往无法完全捕捉局部和全局特征，导致输出图像出现模糊或失真。他们的方法使用了两个共享同一生成器的鉴别器，并用Softmax函数替换了鉴别器的最终输出层，以提高图像类别的区分能力。在生成器训练过程中，使用两个鉴别器的平均输出作为损失输入，这有助于减少波动，并进一步改善生成图像的细节清晰度和结构完整性。Zhang等人[48]设计了一种基于特征的SAR到光学图像翻译方法，他们使用VGG模型作为SAR图像编码器，通过连续的下采样提取深度特征，并结合了九个ResNet模块来实现多尺度特征融合。在解码器中，转置卷积与离散余弦变换（DCT）协同工作，保留了SAR图像的高频信息，而L1损失函数则优化了生成图像的纹理一致性。这种方法有效解决了传统方法中常见的纹理模糊和结构不匹配问题，显著提升了图像的视觉质量和结构相似性。所提出的生成器架构如图13所示。图13. 基于特征的SAR到光学图像翻译的DCGAN架构[48]，其中C-IN-R表示卷积-实例归一化-ReLU，DC-IN-R表示反卷积-实例归一化-ReLU，LR表示泄漏ReLU，S表示Sigmoid。Guo等人[49]进一步改进了DCGAN架构，提出了具有多尺度残差连接的生成器。通过在编码器和解码器中引入残差模块，网络动态融合了多尺度特征，扩展了感受野，并增强了局部细节的重建能力。同时，L1损失和对抗损失的联合优化策略确保了生成图像在结构和纹理上与真实光学图像高度相似。Shao等人[50]和Yu等人[51]分别提出了改进的方法，其中融入了ASPP（自适应空间金字塔）模块。通过多尺度采样和扩张卷积操作，ASPP模块增强了生成器对全局语义信息的理解。Shao等人将ASPP模块嵌入编码器中以提取多级特征，并结合基于ResNet的SAR到光学图像转换模块，显著改善了生成图像的颜色一致性和细节保留能力。Yu等人提出了异构融合架构（HFGAN），它在生成器内部整合了不同层次的特征信息，进一步提升了生成图像的视觉质量和结构保真度。

2.2.3 基于Pix2PixGAN的方法
Pix2PixGAN[52]是一种基于条件生成对抗网络的图像翻译方法，其框架如图14所示。该生成器基于U-Net架构，通过跳跃连接在不同尺度上保留特征信息，有效减少了深层网络中的信息损失。同时，鉴别器采用PatchGAN结构，通过多尺度局部鉴别来评估生成图像，进一步增强了区分局部图像结构和纹理的能力，提高了生成图像的细节真实感，最终实现了高质量的图像翻译结果。图14. 基于Pix2PixGAN的SAR和光学图像融合框架[52]。在SAR和光学图像融合任务中，Pix2PixGAN显示出强大的结构信息保持能力，能够生成高分辨率的结果。它有效地捕捉了SAR图像的几何特征和光学图像的纹理细节，生成的图像与真实光学图像非常相似。然而，当直接应用于SAR到光学图像翻译时，Pix2Pix网络往往会产生轮廓模糊和语义信息丢失的问题。这一限制源于仅依赖由光学图像监督的最终输出层，而忽略了中间特征层中丰富的语义和结构信息。为了解决这个问题，Fu等人[53]提出了一个级联残差对抗网络，他们在U-Net中加入了多尺度级联残差连接，提高了网络捕捉细微细节的能力。此外，还采用了混合L1-GAN损失函数来稳定训练并提高翻译图像的质量。Wang等人[54]提出了一个Parallel-GAN模型，该模型将辅助的自重建网络与主Pix2Pix翻译网络并行集成，通过从光学图像中提取层次化潜在特征，强制主网络解码器中的中间特征与辅助网络提取的特征对齐。这种多级监督机制将光学图像的详细结构和信息从最终输出层传播回图像生成的中间阶段，有效缓解了轮廓模糊和语义信息丢失等问题，生成了具有更准确纹理和结构的光学图像。图15展示了所提出模型的架构，其中GT和DT表示SAR到光学图像翻译子网络的生成器和鉴别器，GR和DR表示光学图像重建子网络的生成器和鉴别器（改编自[54]）。Sun等人[55]引入了一种改进的U-Net架构，使用非对称卷积核和多尺度特征提取机制，使生成器能够捕捉SAR图像中的更细小细节。结合PatchGAN[24]鉴别器的局部-全局特征提取能力，这种方法显著提高了翻译图像的分辨率和细节保留能力。Shi等人设计了生成验证对抗网络（GVAN），在U-Net基础上结合了扩张卷积用于噪声抑制。通过多尺度纹理特征提取和基于转置卷积的上采样，生成器在SAR图像中实现了更精确的噪声和有效信息分离。Wei等人[57]提出了基于跨融合推理机制的增强型Pix2PixGAN模型，其框架采用多尺度生成器架构，结合了多尺度特征融合和跨尺度特征交互来提高翻译性能。生成器包含多个分支，以在不同分辨率下提取和融合特征，从而增强了处理高分辨率和低分辨率特征的能力。此外，还采用了两级高斯金字塔鉴别器来区分真实图像和合成图像。该模型还结合了感知损失和特征匹配损失，进一步提升了生成图像的视觉质量。

2.2.4 基于Cycle-GAN的方法
传统Cycle-GAN的核心优势在于它能够在不需要成对训练数据的情况下实现两个图像域之间的双向映射[39]。该框架利用两个生成器和两个鉴别器，分别处理域之间的正向和反向转换，从而实现无配对图像翻译。在翻译过程中 incorporates cycle consistency loss（循环一致性损失）以保持结构保真度。图16展示了基于Cycle-GAN的SAR和光学图像融合方法的整体架构。由于SAR和光学图像在成像机制、纹理特性和噪声属性上的显著差异，传统的Cycle-GAN在SAR到光学图像翻译任务中通常会导致次优结果。为了提高其在复杂遥感场景中的适应性和输出质量，已经提出了几种改进版本的Cycle-GAN。Luo和Pi[58]引入了一种混合U-Net和T-Net架构，用单个生成器替代了传统的双生成器设置，实现了SAR和光学域之间的双向翻译。这种共享生成器的设计使模型能够同时优化两个域的转换路径，有效解决了生成图像收敛到中间状态的问题，同时提高了视觉真实性和语义一致性。图17展示了所提出的生成器和鉴别器的架构。Huang等人[59]开发了一种结合最小二乘GAN（LSGAN）和Cycle-GAN的混合模型，以减少传统GAN在图像生成过程中收敛到局部最优解的倾向。通过引入LSGAN和SSIM损失函数，他们的方法增强了生成器捕捉局部和全局图像特征的能力，保留了纹理细节并提高了合成图像的真实感。Wang等人[60]提出了一个监督Cycle-GAN（S-Cycle-GAN），通过引入均方误差（MSE）损失增强了像素级匹配能力，同时保持了传统Cycle-GAN的循环一致性约束。通过优化循环一致性损失和MSE损失之间的平衡，实现了更高质量的图像转换。Fuentes Reyes等人[61]提出了一种Cycle-GAN变体，构建了两个镜像对称的生成器和两个鉴别器，形成了闭环约束，强化了不同成像模态之间的内容一致性，显著提高了SAR到光学图像翻译的可解释性。Cui等人[62]应用了带有梯度惩罚（WGAN-GP）的Wasserstein生成对抗网络来增强SAR图像数据，并设计了一个样本选择过滤器来选择高质量的合成图像。WGAN-GP框架通过梯度惩罚机制，使生成器能够更精确地控制生成样本的分布特性。这种设计减少了传统GAN在数据增强过程中常见的随机性不稳定性，从而提高了新生成训练样本的质量。

基于GAN的融合方法将对抗学习引入SAR和光学图像融合，鼓励生成器产生既保留信息又具有视觉真实感的结果。与纯重建驱动的CNN模型相比，GAN框架通常通过利用鉴别器反馈作为额外的约束，产生更清晰的纹理和更自然的输出。实际上，大多数研究采用条件或循环一致性设计来处理成对或不成对的训练数据，并结合对抗损失与像素级和感知或结构相关的损失来平衡真实感和保真度。尽管GAN方法具有强大的生成能力，但它们可能对训练不稳定性更敏感，并可能引入伪影或颜色偏移，因此损失设计和训练策略对于可靠的融合性能至关重要。

2.3 基于Transformer的融合方法
Transformer模型通过自注意力机制在自然语言处理中脱颖而出，主要擅长捕捉序列中的长距离依赖关系[63]。随着Vision Transformers（ViT）的引入，Transformer已成功应用于计算机视觉，并逐渐成为图像处理的重要工具。在SAR和光学图像融合中，Transformer通过全局建模能力、跨模态交互机制和灵活的特征对齐方法，克服了传统CNN局部感受野的局限性。近年来，提出了许多基于Transformer的融合方法，典型框架如图18所示。图18. 基于Transformer的SAR和光学图像融合框架。早期的图像识别模型主要依赖于卷积神经网络，这些网络受限于局部感受野，难以有效捕捉图像中的全局依赖关系。Dosovitskiy等人[64]引入了Vision Transformers（ViT），这是第一个成功将Transformer架构应用于视觉任务的模型。该方法将输入图像分割成一系列补丁，并通过线性嵌入将它们投影为固定维度的向量，从而使Transformer能够像处理文本序列一样处理图像序列。这种设计使模型能够有效地捕捉输入中的全局依赖关系，提供了更优越的全局特征提取能力。然而，基于ViT的网络模型相对复杂，需要大量计算才能获得更好的性能。因此，研究人员提出了各种优化策略。例如，Scheibenreif等人[65]引入了一种自监督Vision Transformer，采用自监督预训练策略。这使得模型能够从未标记数据中学习跨模态特征对齐关系，减少了对成对数据的依赖，并显著降低了计算成本。Yuan等人[66]提出了一种基于简单操作（如连接、求和或注意力）的特征融合方法。虽然这些操作可能会引入特征冗余，但它们为多模态数据分类提供了基础框架。然而，这些基本操作通常不足以充分利用SAR和光学图像之间的互补信息。为了解决这一限制，已经提出了更高效的融合策略。刘等人[67]开发了Swin Transformer，它用滑动窗口机制替代了全局自注意力机制，以高效捕获局部上下文，同时保持跨窗口连接来建模长距离依赖关系。这种分层架构不仅降低了计算复杂度，而且在各种视觉任务上实现了最先进的性能。滑动窗口机制同时使用了不重叠的局部窗口和移动窗口，实现了灵活的多尺度建模，其计算复杂度与图像大小成线性关系。图19展示了Swin Transformer的整体结构，它类似于卷积层次结构，其中空间分辨率逐级降低，而通道数量逐渐增加。在这个框架内，补丁合并取代了传统的池化操作，从而保留了更多信息。图20显示了Swin Transformer块的结构，与ViT的不同之处在于它用基于窗口的多头自注意力（W-MSA）和移动窗口多头自注意力（SW-MSA）替代了标准的多头自注意力（MSA）。周等人[68]是最早将Swin Transformer应用于图像锐化的人之一，并提出了Panformer网络。利用Swin的分层特征提取，该模型动态地整合了浅层和深层特征，以改善跨模态信息交互。在另一项相关研究中，刘等人[69]提出了SoftFormer，这是一种纯粹的Transformer架构，它内置了一个内部自注意力机制（ISA），以自适应地调整注意力权重，模仿了CNN的特征增强行为。这使得全局上下文和局部细节得到了平衡的整合，从而提高了特征级和决策级的融合效果，进一步提高了分类准确性。图19. Swin Transformer的整体结构（改编自[67]）。图20. Swin Transformer块结构，其中?????1,^????和????分别代表第l个Swin Transformer块的输入、中间和输出特征。由于SAR图像和光学图像在特征分布上的显著差异，直接连接通常会导致信息冗余或特征不平衡。李等人[70]引入的CrossFuse模块通过利用跨模态查询向量来平衡两种模态下的全局和局部特征，解决了这一问题。它动态地为SAR和光学输入的特征分配权重，引导模型关注高度互补的特性，从而减轻了传统融合方法中常见的特征不平衡问题。胡等人[71]设计了一种混合Transformer-CNN架构，该架构使用了Restormer块来提取浅层跨模态特征。该模型还在Transformer-CNN特征提取器中加入了双分支残差结构，实现了全局和局部表示的同时捕获。这种设计克服了传统自动编码器的局限性，后者往往无法同时保持SAR图像的高频细节和光学图像的纹理属性。全局-局部网络结构（GLNS）[72]采用了Transformer来捕获全局上下文，使用CNN来提取局部细节，对这两种类型的特征进行分层整合。这一策略显著提高了融合图像中细节的保留能力。此外，该模型还引入了跨模态特征增强块（CFEB），它使用Transformer提取多尺度全局特征，并在整个融合过程中进行整合，展示了互补的全局-局部表示学习的重要性。基于Transformer的融合方法利用自注意力来建模长距离依赖关系和跨模态交互，解决了SAR和光学融合中CNN接收场范围有限的问题。现有工作已经从早期的ViT风格的全局建模发展为更高效的分层变体，这些变体在保持多尺度表示能力的同时降低了计算成本。为了更好地处理SAR和光学特征之间的巨大分布差异，许多方法进一步引入了跨注意力/特征平衡模块或采用了混合Transformer-CNN设计，结合了全局上下文建模和局部细节保留。总体而言，Transformer为特征对齐和互补信息整合提供了一个灵活的框架，从而提高了复杂场景中的融合质量和鲁棒性。

2.4. 基于扩散模型的融合方法
近年来，由于其强大的概率基础和强大的生成能力，扩散模型（DMs）在计算机视觉领域取得了迅速进展，并且越来越多地被应用于遥感图像处理。与典型的基于特征提取的模型不同，DMs通过模拟正向的噪声过程和相应的反向去噪过程来学习复杂的高维数据分布。这种范式通常能够实现稳定的训练、更好的数据模式覆盖范围以及高度详细、逼真的输出。然而，它们在严格定义的多源图像融合中的应用仍处于早期阶段，其中单一融合图像应整合来自多种模态的互补信息。大多数现有研究集中在生成恢复任务上，包括SAR到光学的转换、云层去除和缺失区域重建。尽管如此，它们在跨模态建模和不确定性表示方面的进展为设计未来的融合架构提供了有前途的方向。条件扩散模型在反向采样过程中将辅助信息注入去噪网络，以在指定约束下指导生成。白等人[73]首次引入了用于SAR到光学转换的去噪扩散概率模型（DDPM），并提出了S2ODPM，在该模型中，去噪过程以原始SAR图像为条件，使得可以直接学习SAR和光学图像之间的非线性映射。与GANs相比，这种方法减少了模式坍塌，并在复杂背景中实现了更好的边界清晰度和纹理保真度。所提出模型的结构如图21所示。为了处理遥感数据的光谱特性，秦等人[74]提出了SFDiff，它采用了尺度不变特征提取（SCPE）来构建SAR先验，并结合了特征级条件随机场（SFCL）来在去噪过程中分层调节高频和低频特征，从而抑制了光谱偏移和几何失真。对于复杂的几何场景，[75]提出的双条件扩散框架将SAR图像的语义内容和空间结构分离为不同的约束，既保持了语义一致性，又严格遵循了从SAR导出的物理几何形状，产生了光学上合理的结果。图21. SAR图像引导的噪声预测架构。将噪声光学图像和SAR图像连接起来，通过U-net传递，根据SAR图像进行噪声预测，从而在反向扩散过程中实现引导去噪。在云层去除中，DMs作为强大的生成恢复器，通过多模态互补性重建被遮挡的区域。景等人[76]开发了DDPM-CR，它不是用于直接图像合成，而是作为一种抗噪声的特征提取器：从SAR和多云光学图像中提取多尺度跨模态描述符，然后将其输入到轻量级解码器中进行最终重建，显著增强了特征的鲁棒性。隋等人[77]通过引入扩散增强（DE）进行了扩展，为潜在空间提供了无云的参考，尽管其实用性受到参考可用性的限制。张等人[78]通过提出DMDiff克服了这一问题，这是一种双分支的多模态条件扩散模型，其中一个分支编码SAR辐射度，另一个分支捕捉光学局部模式。跨注意力实现了深度跨模态对齐和噪声抑制，大大提高了实用性和泛化能力。徐等人[79]进一步提出了SARDiff-CR，将扩散和Transformer模块结合起来。扩散分支模拟了与真实数据分布一致的高频纹理先验，而Transformer捕获全局低频结构。小波感知的动态跨注意力机制协同增强了细节恢复，而不影响宏观结构的连贯性，为大规模复杂场景的恢复建立了新的范式。尽管扩散模型可以提供高保真的结果，但多步迭代采样的计算负担仍然是大规模和实时遥感应用的关键瓶颈。为了加速推理，白等人[80]引入了一致性蒸馏技术用于SAR到光学基于扩散的转换，大幅减少了采样步骤，同时保持了视觉质量。他们还在蒸馏目标中加入了对抗性判别器，以减轻颜色偏移并增强边缘清晰度，从而利用了基于扩散的细节合成和对抗性分布对齐之间的互补性。同时，VDIF [81]将通过变分推理将经典基于优化的融合数据保真度项与扩散分数匹配规整相结合，将物理成像先验明确嵌入到扩散过程中。这种设计通过一阶随机优化提高了可解释性并降低了计算成本。

总之，基于扩散模型的SAR和光学处理尚未成熟为标准的融合范式，但它在生成恢复方面显示出了明显的优势。通过使用迭代去噪，它可以更好地模拟跨模态的非线性和不确定性，并且在细节保真度、模式多样性和训练稳定性方面通常优于对抗性方法。大多数现有方法将SAR信息或结构和频率先验注入到扩散过程中，并结合注意力或Transformer机制来改善跨模态对齐。未来的工作应该更明确地结合遥感物理先验，针对任务驱动的指标（如下游检测性能）进行优化，并采用蒸馏或快速采样策略来提高可部署性，最终将扩散模型从生成恢复发展为操作性的多模态融合。

3. 评估指标、基准数据集和定量结果
为了更系统地了解当前SAR和光学图像融合的进展，不仅需要研究融合模型本身，还需要研究现有研究中使用的评估标准和实验基准。在文献中，融合方法的性能通常从三个互补的方面进行分析：图像质量评估指标、基准数据集和定量比较结果。评估指标用于从不同角度衡量融合图像的质量，基准数据集为方法开发和实验验证提供了基础，定量结果为比较代表性方法的有效性提供了更直接的参考。因此，本节回顾了常用的评估指标和公共数据集，并进一步总结了代表性方法报告的定量结果，旨在提供当前SAR和光学图像融合研究的更清晰、更全面的图景。

3.1. 图像质量评估指标
对于评估SAR和可见光图像融合结果，可靠的评估具有挑战性，因为这两种模态在辐射特性和噪声统计方面存在显著差异，由于侧视SAR成像，还可能产生几何不一致性。因此，通常无法获得像素级的真实融合图像，评估应明确验证融合图像是否保留了SAR的显著结构和散射特征，保持了光学图像的纹理和外观信息，并避免了融合伪影，如重影、过度平滑或幻觉细节。因此，我们采用了一种结合主观检查和客观指标的联合评估策略，以在不同方法之间提供全面且与任务相关的比较。主观评估依赖于人类视觉感知来评估融合图像的质量。它通过分析细节表示、完整性和失真程度等标准，促进了不同融合方法的统一比较。然而，由于其依赖于人类判断，这种方法本质上是主观的，容易受到随机性的影响。因此，为了对融合图像进行稳健的质量评估，需要结合客观测量方法进行综合分析。客观评估方法使用特定公式对融合图像进行定量分析。研究人员提出了各种评估融合图像的质量指标，这些指标主要分为两类：基于参考的和非基于参考的指标。在图像融合评估指标中常用的符号有：??和??表示两个源图像；??表示融合图像；??表示源图像??或??。H和W分别对应图像的高度和宽度；????、????和????分别表示源图像??、??和融合图像??的平均像素值。???(??,??)表示融合图像中像素位置（??,??）的灰度强度值。值得一提的是，对于SAR和光学图像融合，通常无法获得真实的融合图像。因此，对于需要参考图像的指标，本文中的“参考”一词并不表示融合的真实值。相反，我们采用了基于源图像一致性的评估协议，使用SAR和光学这两个源图像作为参考，测量融合图像与源图像之间的相似性。

3.1.1. 需要参考图像的指标
1. 互信息（MI）
MI衡量源图像与融合图像之间的依赖性，量化了融合结果中保留的源图像信息量[82]。较高的MI表示融合图像保留了更多的源图像信息，表明质量更好。原始图像与融合图像之间的互信息（MI）由公式（1）给出：???????,???(??,??)=∑??,??????????(??,??)??????????????????(??,??)?????(??)??????(??)，（1）其中x和f分别表示源图像??和融合图像??的灰度随机变量。?????(??)和?????(??)是边缘概率分布，而????????(??,??)是联合概率分布，它是利用两幅图像的标准化联合直方图估计得到的。

2. 相关系数（CC）
相关系数（CC）用于衡量融合图像与源图像之间的线性相关程度。它通常使用皮尔逊相关系数来计算，可以直观反映融合图像与原始图像之间的相似性。较高的CC值表示更大的相似性和更好的融合效果。CC的表达式如下：?????=???(??,??)+???(??,??)2，（2）其中???(??,??)=∑??=1??∑??=1(???(??,??)?????)?(???(??,??)?????)√∑??=1??∑??=1(???(??,??)?????)2，（3）???(??,??)=∑??=1??∑??=1(???(??,??)?????)?(???(??,??)?????)√∑??=1??∑??=1(???(??,??)?????)2。

3. 相关系数之和（SCD）
SCD是一个指标，用于衡量融合图像与源图像之间的差异。它通过计算逐像素的差异来生成差异图像[83]（见公式（8）和（9））。SCD通过计算源图像与相应差异图像之间的相关性来评估融合质量。较大的SCD值表明融合图像与源图像之间的整体相似性较高，意味着信息传递有效。SCD的定义如下：????????=???(??,????,??)+???(??,????,??），（5）其中????,??=?????，（6）????,??=?????，（7）???(??,????,??)=∑??=1∑????=1(???(??,??)?????)?(????,???(??,??)???????,??)√∑??=1∑????=1(???(??,??)?????)2，（8）???(??,????,??)=∑??=1∑????=1(???(??,??)?????)?(????,???(??,??)?????)√∑??=1∑????=1(???(??,??)?????)2。（9）

4. 结构相似性指数（SSIM）
SSIM是一种用于评估两张图像之间结构相似性的指标。它整合了三个比较成分：亮度、对比度和结构[84]。SSIM指数的范围在[0,1]之间。接近1的值表示融合图像在结构上与源图像更为相似，意味着融合过程中信息丢失和失真较少。值为1表示完美的结构相似性。SSIM的定义如下：????????????(??,??)=(2??????????+??1)?(2????????+??2)(??2??+??2??+??1)?(??2??+??2??+??2)。（10）其中??和??分别表示滑动窗口内源图像和融合图像的局部图像块。????和????是它们的平均强度值；????和????是它们的标准差；??????是它们的协方差。常数??1和??2用于稳定除法并避免分母趋近于零时出现数值不稳定，定义为??1 =(??1???)2和??2 =(??2???)2，其中??1和??2是小的正常数。参数L表示像素强度值的动态范围，即?? =2?? ?1，B表示图像的位深度。

5. 通用图像质量指数（UIQI）
UIQI，也称为Q指数，是一种用于评估图像中的相关 loss、亮度失真和对比度失真的评价指标[85]。其定义如下：??=4?????????????????(??2??+??2??)?(??2??+??2??)。（11）其中????和????分别表示源图像和融合图像的平均值，而????和????表示源图像和融合图像的方差。UIQI的值范围在?1到1之间，接近1的值表示更好的融合质量，0表示没有相关性，?1表示完全负相关。

6. 光谱角度映射器（SAM）
SAM是一种通过计算融合图像与参考图像之间的角度来反映融合结果光谱质量的指标。SAM将图像中每个像素的光谱信息视为高维向量，并通过计算两个向量之间的角度来衡量光谱相似性[86]。角度越小，光谱相似性越大，图像的质量越高。定义如下：????????=?????????1?(∥??∥∥??∥)。（12）

3.1.2. 不需要参考图像的指标
1. 信息熵（EN）
信息熵（EN）是一个客观指标，用于量化图像内的信息含量，反映其纹理丰富度和细节[87]。较高的EN值表明融合图像包含了更多的信息。然而，需要注意的是噪声也会提高EN值。因此，信息熵通常作为补充标准而不是独立标准用于融合评估。其定义如下：?????=????1∑??=0????????????22????。（13）其中L表示灰度级别数，?? ∈{0,1,…,?? ?1}是灰度级别索引。????表示融合图像中灰度级别l的标准化直方图，满足∑???1??=0???? =1。

2. 空间频率（SF）
SF用于量化图像中强度值的局部变化率。较高的SF值表示存在更多详细的边缘和纹理信息，通常意味着更好的融合质量[88]。该指标的计算方法如下：?????=√?????2+?????2，（14）其中行频率（RF）和列频率（CF）分别由以下公式给出：?????=√√ √ √?1??×?????∑??=1??∑??=2[???(??,??)????(??,???1)]2，（15）?????=√√ √ √ √?1??×??∑??=1[???(??,??)????(???1,??)]2。（16）

3. 标准差（SD）
标准差（SD）用于评估融合图像的整体对比度和细节程度。这是基于人类视觉系统对高对比度区域的高度敏感性的特性。因此，较高的SD值通常表示融合图像将表现出良好的视觉感知效果[89]。标准差的定义如下：?????=√√ √ √ √???∑??=1??∑??=1(???(??,??)?????)2。（17）

4. 平均梯度（AG）
AG通过测量像素强度的局部变化率来衡量纹理信息的丰富度。较高的梯度幅度表示存在更清晰的边缘和更细腻的纹理，这直接有助于提高图像的清晰度[90]。AG的计算方法如下：?????=1(???1)?(???1)????1∑??=1???1∑??=1√12?((???(??,??)????(??+1,??))2+(???(??,??)????(??,??+1))2。（18）

5. 峰值信噪比（PSNR）
PSNR是一个客观指标，用于衡量图像中最大信号值与背景噪声之间的比率。它反映了融合图像在像素级别的失真程度，特别是融合图像与源图像之间的差异[91]。PSNR的定义如下：?????????(??,??)=1????????∑??=1??∑??=1[???(??,??)????(??,??)]2，（19）????????????(??,??)=10?log?(2552?????????(??,??))。（20）其中MSE表示图像之间的均方误差。随着MSE趋近于0，PSNR也趋于无穷大。因此，较高的PSNR值表示更好的图像质量。

6. Fréchet 浸入距离（FID）
FID量化了真实数据分布与模型生成的数据分布之间的差异，通过计算特征空间中两个分布的Fréchet距离来计算[92]。该指标通过比较特征表示的均值和协方差来评估差异性，提供分布差异的全面衡量。较小的FID值表明融合图像的特征分布更接近参考图像，表示融合质量更优。计算方法如下：????????=∥?????????∥22+Tr?(????+?????2?(?????????)12。（21）其中????和????分别表示参考图像和融合图像的平均特征向量，而????和????表示相应的协方差矩阵。∥???? ????? ∥22衡量分布均值之间的差异，Tr?(???? +???? ?2?(?????????)12评估协方差结构之间的差异。Tr?( ·)是迹运算符，对所有特征维度的方差差异进行求和。

近年来，一些基于深度学习的评估指标，如LPIPS[93]、KID[94]和某些无参考深度图像质量评估模型，开始被用作传统图像质量评估方法的补充。与基于像素级差异或统计关系的指标（如PSNR和SSIM）不同，这些方法通常使用深度神经网络提取感知或分布特征，从而在更高层次上评估图像质量。其中，LPIPS通过计算深度特征空间中图像之间的距离来衡量感知相似性，对纹理和局部细节失真更敏感。KID用于量化生成结果与真实样本之间的特征分布差异，可以从全局分布角度反映融合图像的质量。应当注意的是，大多数这些指标最初是为自然图像任务设计的，它们在SAR和光学图像融合场景中的适用性仍需进一步验证。特别是在存在显著跨模态差异和多样化的评估目标的情况下，它们的可解释性和稳定性仍面临挑战。未来，融合评估指标的发展可能会进一步关注跨模态特征建模、无参考质量评估以及感知质量和下游任务性能的联合评估，以建立更全面、可靠、面向应用的评估框架。

图22总结了本文引用的文献中使用的评估指标的频率分布。需要注意的是，单篇文章可能会同时使用多个评估指标；因此，报告的百分比不是互斥的，它们的总和可能超过100%。该图表显示，研究人员主要依赖PSNR来衡量像素级错误，同时使用SSIM来评估视觉质量。随后，EN和SAM分别用于衡量融合图像的信息丰富度和光谱保真度，突出了在多模态融合任务中对信息保留和光谱一致性的重视。此外，MI和CC的适中比例表明统计相关指标仍被广泛用于评估融合性能。

3.2. 数据集
本节回顾了几个代表性的SAR和光学图像融合及多模态分析的开源数据集。这些数据集提供了具有不同规模、传感器来源、空间分辨率和场景复杂性的配对SAR和光学图像。一些数据集包含数以万计的共注册图像对，适用于数据驱动的深度学习研究，如SAR和光学配准、融合和跨模态识别。相比之下，其他数据集包含从特定区域或场景类型收集的数十到数百对图像对，主要用于算法基准测试和性能评估。

近年来，发布了大量SAR-光学数据集，以促进多模态融合、跨模态转换和联合解释的研究。如上所述，这些数据集在传感器类型、空间分辨率和场景覆盖范围等方面存在显著差异，从大规模的全局基准到高分辨率的城市和特定区域数据集都有。每个图像块的大小为600×600像素，SAR空间分辨率为1米，该数据集为SAR到光学图像的转换研究提供了基础。QXS-SAROPT数据集（https://github.com/yaoxu008/QXS-SAROPT，访问日期：2026年2月1日[97]）包含了从高分三号SAR影像和谷歌地球光学图像中收集的20,000个注册的SAR和光学图像块，覆盖了包括上海和圣地亚哥在内的多个港口城市。每个块的大小为256×256像素，空间分辨率为1米，支持SAR到光学转换、数据融合以及与船只相关的分析研究。

SEN12MS数据集（https://mediatum.ub.tum.de/1474000，访问日期：2026年2月1日[98]）包含了超过180,000个共注册的数据三元组，由Sentinel-1 SAR图像、Sentinel-2多光谱图像和MODIS土地覆盖产品组成，块的大小为256×256像素。Sentinel-1和Sentinel-2图像的空间分辨率为10米，而MODIS标签的分辨率为500米，这使得SAR到光学的转换、多模态数据融合和土地覆盖制图研究成为可能。

WHU-SEN-CITY数据集（https://drive.google.com/drive/folders/1Eas1qXHdzseEdkjY-0jNp67F6PGrBJ2i?usp=sharing，访问日期：2026年2月1日[60]）包含了从China的32个城市中获取的23,108对SAR-光学图像对。SAR图像以VV和VH极化方式提供，空间分辨率分别为大约20米（范围）和22米（方位角），该数据集主要用于SAR到光学图像的转换任务。

LandCoverNet数据集（https://www.cvmart.net/dataSets/detail/1284，访问日期：2026年2月1日[99]）包含了覆盖整个非洲大陆的大规模光学遥感影像，并附有包括水体、裸土和各种植被类型在内的多种土地覆盖类别的注释。该数据集为大规模土地覆盖分类和场景理解任务提供了基础。

Hunan Multimodal数据集（https://github.com/LauraChow/HunanMultimodalDataset，访问日期：2026年2月1日[100]）包含了覆盖中国湖南省的共注册SAR和光学图像，对七个土地覆盖类别（包括水、农田、建筑区、草地、森林、湿地和未使用土地）进行了像素级注释。它支持多模态土地覆盖分类以及SAR和光学数据融合的研究。

OS数据集（https://drive.google.com/file/d/10gySGfj0-pH1N2TeZWYU1H38OskzKC27/view?usp=sharing，访问日期：2026年2月1日[101]）包含了从全球场景中收集的成对的SAR-光学图像块，其中SAR图像由GF-3 C波段卫星获取，光学图像来自谷歌地球。该数据集包含2673对512×512像素的注册块对和10,692对256×256像素的块对，为高分辨率SAR-光学配准和融合提供了数据支持。

SAR-Optical Ship数据集[102]包含了由Sentinel-1和Sentinel-2卫星在复杂海洋场景中获取的时间对齐的SAR-光学图像对。SAR图像是Sentinel-1 C波段数据，采用VV和VH极化方式，光学图像是RGB合成图像（Band 4/3/2），两者空间分辨率均为10米，支持SAR-光学船只检测和多模态融合研究。

SOPatch数据集[103]包含了超过650,000对来自WHU-SEN-CITY、OS数据集和SEN1-2的SAR-光学图像块，并进行了更精确的配准。每个块的大小为64×64像素，覆盖了城市区域、山脉、水体、农田和裸土等多种场景。SAR图像来自高分三号和Sentinel-1卫星，空间分辨率分别为1米和10米，光学图像来自Sentinel-2卫星，分辨率为10米，支持大规模SAR-光学表示学习和融合。

SARptical数据集[104]（https://github.com/zhu-xlab/SARptical，访问日期：2026年2月1日）包含了2009年至2013年间在德国柏林获取的10,108对注册的SAR-光学图像对。SAR图像由TerraSAR-X在聚光模式下捕获，空间分辨率约为1米，光学图像由UltraCAM传感器获取，地面采样距离为0.2米，每对图像以112×112像素的对齐形式提供，支持SAR-光学匹配、跨模态配准和城市多模态分析研究。

MultiResSAR[105]（https://github.com/betterlll/Multi-Resolution-SAR-dataset-，访问日期：2026年2月1日）包含了从多个商业SAR卫星收集的10,850对共注册的SAR-光学图像对，这些卫星的空间分辨率各不相同。SAR图像的分辨率范围从0.16米到10米，其中包括由Umbra卫星获取的850对超高分辨率图像对，相应的光学图像通过地理配准获得。该数据集涵盖了城市、农村、平原、山脉和水域等多种场景，为SAR-光学配准和跨分辨率性能评估提供了数据支持。

尽管有许多公开的SAR-光学数据集可供使用，其中一些提供了大量图像块，但实际上适合训练和公平评估融合模型的有效数据量仍然有限。这里所说的有效数据是指那些同时具备可靠的跨模态配准、良好的时间一致性、适合任务的空间分辨率、足够的场景多样性以及相对标准的数据源和预处理过程的配对样本。然而，在现有的数据集中，这些条件很少同时满足。此外，传感器来源、空间分辨率、极化模式、预处理流程和场景覆盖的显著异质性进一步阻碍了数据集的直接整合，也阻碍了研究之间的真正系统和公平比较。

3.3 定量比较
基于上述评估指标和基准数据集，本小节进一步总结了在两个广泛使用的公共数据集（即SEN1-2和WHU-OPT-SAR）上代表性SAR-光学图像融合方法的定量结果。回顾的方法主要包括基于生成对抗网络和扩散模型的融合方法，采用的评估指标主要包括PSNR、SSIM、SAM和FID。这些指标从不同角度评估 fusion 结果，包括重建保真度、结构相似性、光谱一致性和感知质量，从而为比较现有方法的性能提供了相对客观的基础。

具体来说，表2展示了SEN1-2数据集上的定量结果，表3报告了WHU-OPT-SAR数据集上的相应结果。最佳和第二佳结果分别用红色和蓝色突出显示。从这些表格可以看出，不同方法在不同的评估指标下表现出不同的优势，没有一种方法能够在所有指标上始终获得最佳性能。这表明，应通过全面的多维分析来评估SAR-光学图像融合方法的有效性，而不仅仅依赖单一指标。

表2. SEN1-2数据集上代表性SAR-光学图像融合方法的定量比较。
表3. WHU-OPT-SAR数据集上代表性SAR-光学图像融合方法的定量比较。
需要注意的是，虽然这些表格提供了有用的性能参考，但也揭示了当前研究中的一个实际问题：即使对于相同的方法，在不同研究中报告的结果也可能存在显著差异。这种差异通常是由于数据集划分、样本选择策略、场景组成、预处理程序和具体实现细节的差异造成的。因此，直接比较不同论文中报告的数值结果往往既不完全公平也不足够严谨。

总体而言，本综述中总结的定量结果提供了对常用公共数据集上代表性方法性能的总体理解，从而增强了调查的完整性和系统性。同时，这些观察结果进一步表明，该领域仍需要更统一的基准系统、更标准化的实验设置以及更透明的评估和报告协议，以支持更可靠的跨研究比较。

4. 应用
在遥感图像融合研究领域，以往的综述[21,39,122]主要关注方法论的技术发展和性能比较，而对于融合结果如何有效支持下游应用和提高实际任务性能的系统性讨论仍然不足。实际上，融合技术的价值不仅在于像素质量或特征表示的改进，还在于其在特定应用场景中解决实际问题的能力。如图23所示，本节旨在通过深入分析多模态融合技术在土地覆盖分类、土地表面变化监测和对象检测与识别等关键任务中的实际作用和贡献，超越传统方法综述的局限。它进一步讨论了融合技术在辅助任务（如云和雾去除）中的应用潜力。通过系统地探讨融合技术与后端应用之间的集成方法和实施路径，本节为该领域的研究人员提供了更系统和方向性的参考，推动了融合技术向语义和任务层面的深入发展。

4.1 土地覆盖分类
准确的土地覆盖分类对区域规划、资源管理和环境监测具有重要意义。在多源遥感数据融合的背景下，SAR和光学图像的集成为土地覆盖分类提供了更丰富的信息，显著提高了分类的准确性和鲁棒性。然而，由于SAR图像的空间分辨率和纹理细节的限制，加上云覆盖区域光学图像的可用性降低，有效融合这两种模态仍然是一个巨大挑战。
传统方法探索了各种图像融合策略来克服单模态数据的局限性。Feng等人[123]设计了一个多分支卷积神经网络，融合了多时相和多传感器的Sentinel数据，从而提高了沿海地区的土地覆盖分类准确性。该模型使用了可变形卷积来适应沿海景观的尺度变化，并结合了受Squeeze-and-Excitation Networks启发的特征融合模块，以更好地利用多模态互补性，在复杂的地形和时间尺度上表现出强大的性能。
随着深度学习的出现，出现了更复杂的架构。Liu等人[124]引入了TFNet，这是一种双流网络，它分别编码光学和SAR数据，然后进行融合以重建图像。它用卷积步进代替了标准的池化，并使用转置卷积进行上采样，保持了编码器-解码器的对称性。这种设计特别有效[28]，通过引入跨模态注意力机制增强了DeepLabV3+架构，促进了光学和SAR特征之间的更好交互，从而实现了更准确的语义分割。这些方法在利用复杂的文本和结构信息方面表现出色，适用于要求较高的分类环境。
近年来，研究人员进一步推进了这一领域的发展。Wang等人[31]整合了PidiNet进行SAR特征提取，并引入了一个创新的iAFF模块，实现了空间和通道维度上的多模态特征融合。这种方法在处理SAR图像的斑点噪声和光学图像中缺乏的边缘信息方面具有明显优势。MFFnet特别解决了SAR图像中的严重斑点噪声和缺乏清晰光学边缘的问题。通过先进的特征提取方法和全面的多模态特征融合，它进一步提高了土地覆盖分类的准确性。然而，在实际应用中，由于SAR和光学图像之间的噪声特性存在显著差异，设计更鲁棒的特征提取和融合策略仍然是一个关键的研究方向。
未来的研究将专注于探索针对SAR图像噪声的先进特征提取方法，以提高多模态数据融合的准确性和稳定性。同时，整合如Transformer这样的新型模型架构有望进一步释放多模态遥感数据在土地覆盖分类中的应用潜力。

4.2 土地表面监测
土地表面监测是遥感技术的关键应用，涉及城市扩张分析、生态评估和灾害监测等多个领域。SAR和光学图像的融合在多个关键场景中展示了明显的优势，特别是在不透水表面（IS）提取和冰监测方面。
随着城市化进程的加快，大量的自然土地表面被人工表面（如道路、建筑物和绿地）所取代，形成了广泛的不透水层。这种转变加剧了环境挑战，如城市热岛效应和洪水风险。为了准确映射这些变化，Zhang等人[125]引入了一种多层堆叠融合策略。他们的方法分别从光学和SAR图像中提取纹理特征，并通过深度堆叠进行特征级融合，显著提高了IS估计的准确性。它有效地利用了SAR对表面结构的敏感性和光学数据的丰富光谱信息，在复杂的城市环境中表现出很强的适应性。在此基础上，Sun等人[126]开发了一个两阶段的分层融合框架，用于城市规模的不透水表面映射。利用Sentinel-1 SAR和Sentinel-2光学图像，他们的方法建立了空间分层融合工作流程，有效缓解了光学图像中的阴影造成的误分类问题，从而提高了城市环境信息提取的稳定性和可靠性。Cro FuseNet网络[127]结合了SAR和光学图像的融合，通过语义分割技术实现了高精度的不透水表面提取。此外，Muhammad Nasar Ahmad等人[128]提出了一种基于XGBoost算法的融合方法。通过结合简单的层堆叠和特征提取，这种方法显著提高了城市不透水表面的分类准确性。这些方法不仅提高了分类精度，还为环境监测提供了新的视角。例如，通过分析城市热岛效应和地表温度变化等指标，可以进一步评估城市生态系统的健康状况。4.3 目标监测与识别
SAR（合成孔径雷达）与光学图像的融合在目标监测方面具有显著优势，尤其是在复杂环境中的目标识别和定位方面。船舶检测与识别在交通、渔业、反走私行动和救援作业等多个领域都起着关键作用。Tienin等人[129]提出了一种基于空间通道注意力机制和双线性池化网络的异构船舶数据分类方法。通过整合空间和通道注意力技术，该方法增强了模型对SAR和光学图像的特征表示能力，从而提高了跨模态的鲁棒性。随后，他们提出了MS3Net模型[130]，该模型采用了深度学习集成方法，结合了空间注意力和二阶池化策略。这有效地利用了SAR图像的全天候优势以及光学图像的可解释性，实现了多种传感模式下的船舶识别。为了解决这类复杂架构的高计算量和参数需求，提出了HOSI-ELM框架[131]。该框架也整合了空间注意力和二阶池化策略，以提高光学遥感图像中小型船舶的检测性能，即使在复杂背景下也能实现高精度识别。值得注意的是，该框架不仅保持了高精度，还显著减少了参数数量、计算负荷和存储需求。总体而言，这些基于融合的方法显著提高了在具有挑战性场景中自动目标识别系统的准确性和效率。4.4 其他应用
云层和雾层去除是SAR与光学图像融合的另一个关键应用。作为一种主动式遥感传感器，SAR可以在所有天气条件下观测地球表面，不受云层覆盖的影响，从而从根本上解决了光学图像中的信息丢失问题。近年来，利用SAR去除光学图像中厚云层的方法已成为研究热点。研究人员利用SAR和光学数据的互补特性，提出了多种方法论解决方案。Grohnfeldt等人[37]展示了如何利用CGAN（条件生成对抗网络）将SAR数据作为额外信息源来去除Sentinel-2卫星图像中的模拟云层。CGAN的对抗训练机制有效地增强了生成图像的真实感和细节保留能力。Li等人[132]提出了CR-GAN-PM，这是一种创新的半监督方法，结合了生成对抗网络和专门用于多光谱图像中薄云层去除的云物理畸变模型。他们的模型考虑了云层吸收效应，并通过将输入分解为背景和云层畸变层来进行重建，这一设计直接缓解了由薄云层引起的局部信息丢失问题，提供了更准确的背景恢复，满足了高精度图像分析的要求。Meraner等人[119]提出了一种基于深度残差神经网络的方法，用于单日期Sentinel-2图像中的云层去除。他们的融合策略将SAR图像作为补充信息，提供了有关土地表面特征的额外见解，以提高准确性。此外，为了解决同时获取受云层污染和无云图像对进行训练的挑战，他们设计了一种自适应云层损失函数来优化模型性能。这种设计在实际数据获取约束下具有实用性，同时提升了在不同全球季节和气候条件下的处理效果。Han等人[133]开发了一种名为Former-CR的方法，该方法利用基于Transformer的架构融合SAR和光学（RGB）信息以预测无云RGB图像。通过引入Lewin-Transformer模块，他们的方法在图像重建过程中实现了高效的局部特征提取，同时保持了全局感受野，从而获得了更好的全局一致性和色彩保真度。Former-CR专门适用于厚云覆盖下的图像恢复，旨在克服传统方法在这种挑战性场景中的局限性，并在复杂气象条件下提供可靠的图像输出。5. 研究挑战与未来方向
根据前面章节中的系统综述，可以发现当前SAR与光学图像融合研究中存在的几个反复出现的瓶颈。这些问题涉及不同的技术范式，并不是由单一模型架构引起的，主要源于注册和表示方面的固有跨模态差异、训练数据和监督的可用性限制、缺乏统一的评估协议，以及在实际应用场景中的泛化能力和部署要求。因此，本节进一步总结了一些亟待解决的关键研究挑战，并概述了潜在的未来研究方向。1. 图像注册挑战
大多数现有的基于深度学习的融合方法依赖于像素级或局部 patch 级的特征对应关系来实现跨模态互补性，因此通常隐含地假设输入图像已经很好地注册了对齐。然而，由于SAR和光学成像在几何特性、辐射响应和噪声统计方面的根本差异，在实际应用中实现高精度注册仍然具有挑战性。特别是SAR特有的斑点噪声和非线性几何失真常常会导致残余错位，这些错位可能会通过深度网络传播，并最终在融合结果中表现为结构模糊或鬼影伪影。因此，有效处理这些跨模态差异并减少注册误差对于提高融合质量至关重要。未来的研究可能专注于开发更先进的注册算法，或利用深度学习技术自动检测和校正错位，同时在融合模型层面采用对错位不敏感的机制，并采用更强大的生成建模能力来减轻不匹配的影响，从而提高整体融合性能。2. 数据集稀缺性
SAR与光学图像融合需要大量的高质量、对齐良好且标准化的配对数据来学习可靠的跨模态特征映射。尽管已经发布了多个公共数据集，但由于注册不完美、时间不一致以及传感器、分辨率和场景分布的巨大异质性，有效的训练数据仍然有限。此外，SAR成像特性以及获取时间匹配的光学图像的难度增加了数据采集成本，使得细粒度注释变得具有挑战性。因此，构建大规模、高质量且具有统一协议的SAR-光学基准数据集对于推动这一领域的发展至关重要。此外，半监督和无监督学习范式是减少对大量完美配对标记数据依赖性的有希望的方向。3. 提升融合评估框架
当前SAR与光学融合研究中广泛使用的信息论指标、结构相似性度量和其他客观评估指标在定义和重点上存在很大差异，尚未建立统一的评估标准。由于SAR与光学融合缺乏明确的“真实”融合图像，依赖单一指标或少数几组指标不足以全面反映融合结果的视觉质量和信息效用，而且不同指标得出的结论有时可能不一致。此外，定量分数的改进并不一定能在实际下游应用中转化为更好的性能。因此，有必要通过结合任务驱动的指标并在不同的注册准确性和噪声条件下进行全面的鲁棒性评估，开发一个更加系统化和以应用为导向的评估框架。4. 轻量级算法设计
用于融合任务的深度学习模型通常具有较高的计算复杂性和大量的参数数量，这使得它们不适合嵌入式系统或实时处理场景。因此，设计轻量级、高效的网络架构同时保持融合质量是一个至关重要的研究方向。5. 与高级视觉任务的集成
SAR与光学图像融合常被用作下游任务（如目标识别、土地覆盖分类和语义分割）的预处理步骤。然而，大多数融合模型主要针对图像级质量进行优化，而不是任务级性能。这种不匹配可能会限制融合在复杂场景中的实际效益。未来的研究应该探索任务驱动的融合策略，包括端到端联合优化和多任务学习框架，明确将融合目标与下游应用需求对齐。6. 动态特征贡献分配
大多数现有方法在融合SAR和光学特征时采用固定或全局一致的权重方案。然而，正如第5节中的应用研究所示，SAR与光学信息的相对重要性在不同场景、空间位置和语义类别中往往存在显著差异。因此，设计可以根据局部内容和语义上下文动态分配模态贡献的融合机制至关重要。未来的工作可以进一步探索类意识注意力机制、不确定性建模和层次化融合策略，以更充分地利用SAR和光学信息的互补特性。6. 结论
本文对当前光学和SAR图像融合的研究现状进行了系统综述，将现有方法分为传统方法和基于深度学习的方法。重点介绍了该领域深度学习的最新进展。虽然传统方法在计算效率方面具有优势，但在保留多模态信息方面存在局限性。相比之下，深度学习方法通过其强大的特征提取和非线性映射能力，在提高融合图像的视觉质量和语义一致性方面表现出显著优势。此外，本文还编制了一套标准的融合图像质量评估指标，作为评估不同融合算法性能的参考。同时，总结了常用的光学-SAR融合数据集的特点、规模和应用场景，为方法比较和未来研究提供了数据层面的基础。从典型应用的角度来看，本文分析了融合算法在土地覆盖分类、变化检测和灾害评估等任务中的支持作用，强调了融合技术的实际价值。尽管取得了显著进展，该领域仍面临几个关键挑战，包括SAR与光学图像之间的模态差异和注册难度、高质量像素级配对数据集的稀缺性、缺乏统一的评估系统，以及与复杂模型相关的高计算成本。未来的研究应重点开发高精度的跨模态注册技术，构建大规模高质量的标准数据集，设计轻量级高效的网络架构，并探索更加鲁棒的多模态特征交互和融合机制。作为遥感信息处理的基石，光学和SAR图像融合将在地球观测、环境监测和国家安全等关键领域发挥越来越重要的作用。深度学习的持续发展以及日益增长的应用需求确保了这一领域具有巨大的科学潜力和重要的实际影响。