利用扩散模型融合Sentinel-1和Sentinel-2的数据以去除云层影响

《Remote Sensing of Environment》：Fusing Sentinel-1 and Sentinel-2 data with diffusion models for cloud removal

增强扩散模型框架EDM-CR通过融合Sentinel-1 SAR与Sentinel-2光学影像，采用前向扩散云添加、双分支后向扩散优化及多波段LPIPS损失函数，实现高效云去除与光谱一致性保留，验证其在复杂云覆盖场景下的优越性，并应用于荷兰农田分割，提升语义分割精度。

　　在现代遥感技术中，光学遥感数据在农业监测和土地管理方面发挥着重要作用。以Sentinel-2为代表的多光谱遥感卫星提供了高分辨率的影像数据，使得植被状态、土壤属性等关键信息的分析成为可能。然而，云覆盖常常成为光学遥感数据应用的一大障碍。云层不仅遮挡了地表信息，还影响了遥感影像的连续性和可靠性。据国际卫星云气候学项目（ISCCP）的估算，全球约有66%的陆地表面受到云覆盖的影响，这对农业遥感监测和分析提出了严峻的挑战。

为了克服这一问题，云去除成为光学遥感数据预处理中的关键步骤。传统云去除方法可以分为基于空间、基于时间和基于多源的方法。基于空间的方法主要依赖于单张影像内部的信息，通过统计特性与空间相关性来推断和重建被云覆盖的区域。基于时间的方法则利用不同时间点获取的影像，假设地表具有时间一致性，并利用相邻时间点的无云观测来填补被遮挡的部分。基于多源的方法则结合不同传感器的数据，以弥补单一光学影像的不足。其中，合成孔径雷达（SAR）因其能够穿透云层并获取不受天气或光照条件影响的可靠信息而成为一种流行的选择。

近年来，深度学习技术在云去除领域取得了显著进展，特别是生成对抗网络（GANs）在生成高保真度的无云影像方面表现出色。然而，GANs在训练过程中存在固有的困难，如模式崩溃和训练不稳定，这些问题可能导致重建影像中出现伪影和不一致的情况，特别是在云覆盖复杂且地表类型多样的区域。相比之下，扩散模型（Diffusion Models）作为一种新兴的生成方法，因其在图像合成和修复方面的稳定性而展现出广阔的应用前景。

本文提出了一种名为“增强扩散模型用于云去除”（EDM-CR）的新型框架，该框架通过整合Sentinel-1 SAR数据和Sentinel-2光学影像，利用高效的扩散模型进行云去除。EDM-CR在三个方面进行了创新：首先，引入了一种无需掩码的扩散过程，与传统方法相比，该方法以先前时间步的影像和对应的Sentinel-2有云数据作为条件，模拟云添加过程，从而增强模型在后续去云过程中的能力。其次，EDM-CR设计了一个双分支的扩散架构，该架构以当前时间步的影像、有云的Sentinel-2数据和Sentinel-1 SAR数据为条件，专门用于单对影像的云去除任务，特别是在缺乏密集时间序列的情况下。该设计使得SAR信息可以通过时间条件的残差块进行专门注入，而主分支则处理拼接后的有云和预测无云的Sentinel-2影像。第三，为了确保Sentinel-2的13个波段在云去除后的全面保留，我们引入了一种改进的“学习感知图像块相似性”（LPIPS）损失函数，该函数通过在波段滑动窗口中计算感知相似性，从而确保重建影像不仅在RGB通道中具有视觉合理性，还能在整个光谱范围内保持一致性。

EDM-CR的框架使用了“SEN12MS-CR”数据集进行训练和评估。该数据集包含了全球多个地区的多模态影像，覆盖了多种云覆盖条件，为开发和评估云去除算法提供了良好的基础。实验结果表明，EDM-CR在云去除任务中表现优于五种最先进的云去除方法。此外，我们还将去除云的Sentinel-2影像作为全年输入用于荷兰农田的语义分割任务。这种方法提供了更丰富的时序信息，提高了分割的准确性，相较于仅使用有限时间点的条件，能够实现更可靠和精确的农业监测。

通过将云去除后的影像数据与语义分割模型结合，我们验证了EDM-CR在提升农田分割性能方面的有效性。这些发现强调了我们条件扩散模型在整合多传感器数据方面的能力，同时也突显了在农业遥感中引入时序信息的重要性。EDM-CR不仅提高了云去除的效率和质量，还为农业监测和土地管理提供了更加全面和可靠的数据支持。

此外，本文还探讨了扩散模型在遥感数据处理中的应用潜力。与传统的基于空间和时间的方法相比，扩散模型能够更有效地处理复杂的云覆盖问题。通过在训练过程中逐步添加噪声并学习如何去除这些噪声，扩散模型可以生成高质量的样本，同时具备更好的训练稳定性。这种特性使得扩散模型在处理多源数据融合和复杂地表变化的场景中具有显著优势。

EDM-CR的框架在设计上充分考虑了Sentinel-1和Sentinel-2数据之间的互补性。Sentinel-1 SAR数据能够穿透云层，提供不受天气影响的可靠信息，而Sentinel-2光学影像则在光谱分辨率和空间分辨率方面具有优势。通过结合这两种数据，EDM-CR能够在复杂的云覆盖条件下实现更准确的云去除和地表信息的恢复。同时，该框架在训练过程中利用了SEN12MS-CR数据集中的配对和共注册的Sentinel-1和Sentinel-2影像，确保了模型在实际应用中的泛化能力。

在实验结果方面，我们通过多种云覆盖条件下的影像样本对不同方法进行了对比分析。这些样本展示了从云影到完全云覆盖的不同场景，为模型性能的全面评估提供了依据。同时，我们还通过定量指标和视觉结果对各方法进行了综合评估，以验证EDM-CR在云去除任务中的优越性。这些定量指标不仅涵盖了云去除的准确性，还包括了影像质量的评估，为后续的农业监测和土地管理提供了可靠的数据基础。

EDM-CR的创新之处在于其在云去除任务中的高效性和稳定性。通过优化扩散过程，该框架将计算步骤减少到15步，从而在保证高质量重建的同时提升了计算效率。此外，双分支的扩散架构使得模型能够更有效地利用SAR和光学影像的互补信息，提高了云去除的精度和可靠性。这些设计特点使得EDM-CR能够在实际应用中更好地应对复杂的云覆盖问题，为农业遥感提供更加全面和精确的数据支持。

在实际应用中，EDM-CR不仅提高了云去除的效率，还为农业监测和土地管理提供了新的思路。通过将去除云的Sentinel-2影像作为全年输入，我们能够更全面地了解农田的变化情况，从而提高语义分割的准确性。这种方法在农业遥感中具有重要意义，因为它不仅能够提高数据的可用性，还能为农业决策提供更加精确的信息支持。

综上所述，EDM-CR作为一种创新的云去除框架，通过整合多传感器数据和高效的扩散模型，为农业遥感提供了新的解决方案。该框架在设计上充分考虑了Sentinel-1和Sentinel-2数据的互补性，通过优化扩散过程和双分支架构，提高了云去除的精度和可靠性。同时，通过改进的LPIPS损失函数，确保了光谱信息的全面保留。这些创新使得EDM-CR在处理复杂的云覆盖问题方面表现出色，为农业监测和土地管理提供了更加全面和可靠的数据支持。未来，随着遥感技术的不断发展和深度学习方法的进一步优化，EDM-CR有望在更广泛的农业遥感应用中发挥重要作用。