CloudRuler：一种基于规则的变换器，用于去除Landsat图像中的云层

《Remote Sensing of Environment》：CloudRuler: Rule-based transformer for cloud removal in Landsat images

薄云去除方法 CloudRuler 基于Transformer网络融合Landsat8/9多光谱数据，创新性整合半球坐标系（HS）、遥感镶嵌（WDWA）及物理模型优化（CTM）三大规则，解决传统方法忽略位置信息与跨波段物理建模缺陷，实验表明其性能优于七种基线方法。

　　云层是光学遥感图像中影响地表辐射信号传输的关键因素。在使用光学遥感图像进行地表测绘或监测时，去除云层是不可避免的步骤。近年来，基于深度学习（DL）的薄云去除方法在性能上显著优于传统方法。然而，这些基于深度学习的方法常常忽略位置信息或热红外波段中的物理云模型。此外，现有的大多数云物理模型在处理光学波段中的云下传特性时不够全面，也未充分考虑热红外波段的辐射特性。因此，本研究提出了一种新颖的基于Transformer网络的薄云去除方法——CloudRuler，结合了三个遥感领域的规则，以提升薄云去除的效果。实验结果表明，CloudRuler在20组Landsat 8和Landsat 9配对图像上优于七种基准方法，包括基于生成对抗网络（GAN）、卷积神经网络（CNN）和Transformer的模型。消融实验进一步验证了所提出的基于规则的模块在提升CloudRuler薄云去除性能方面的有效性。研究还表明，联合使用Landsat 8和Landsat 9图像进行云去除是有效的方法，相较于仅使用单一卫星图像的方法，其产生的数据在后续应用中更为可靠。为了促进后续研究，本文提供了用于复现实验结果的代码和数据集，网址为：https://github.com/Neooolee/CloudRuler。

近年来，随着遥感卫星的不断发射，光学遥感图像在地球观测中发挥了重要作用。光学遥感图像能够提供多空间分辨率和多光谱数据，且对人类而言较为直观。然而，云层会削弱地表信号的强度，这种影响的程度取决于云层的厚度。厚云层会完全阻挡背景光学信号，因此仅使用单张光学图像进行厚云去除往往难以实现，甚至可能是一个病态问题。为了解决这一问题，许多研究引入了多时相数据或合成孔径雷达（SAR）图像作为辅助数据。例如，Zhang等人（2019）提出了一种基于低秩成分和稀疏噪声分解的方法，利用鲁棒主成分分析（RPCA）检测云层并为云去除分配惩罚权重。Arp等人（2024）则扩展了VPint算法，通过使用先前获取的无云图像来表示区域的空间结构，并将非云像素的信息传播至云像素区域。Chen等人（2024）提出的低秩正则化自监督网络（LRRSSN）则采用多时相图像分解为低秩图像和稀疏云成分，并结合自监督网络探索图像成分的深层先验信息，最后使用半二次分裂（HQS）算法进行优化。尽管多时相方法在厚云去除方面表现良好，但在雨季某些地区由于云层覆盖频繁，云层去除效果可能受限。

SAR信号能够穿透密云，因此在光学遥感图像中常被用作辅助数据来去除厚云层。Meraner等人（2020）指出，SAR图像在厚云去除任务中具有重要价值。Li等人（2023a）提出了一种基于Transformer的生成对抗网络（TransGAN-CFR），通过融合SAR图像来实现厚云去除。该网络采用分层编码器-解码器结构，并引入了非重叠窗口多头自注意力（WMSA）机制，以提升特征表示并指导有效重建。Liu等人（2024a）则提出了一个两阶段的翻译-融合云去除网络（TransFusion-CR），第一阶段利用离散小波变换（DWT）将SAR图像转化为无云的光学图像，第二阶段设计了一个基于云掩膜得分的加权三源图像融合模块，以生成最终的云去除结果。Liu等人（2024b）进一步改进了这一方法，通过结合Transformer和CNN的优势，实现更精确的云去除效果。Li等人（2025）提出了一种双分支编码器架构，分别从SAR和光学图像中提取特征，并通过双域交互注意力（DDIA）机制融合这些特征。在解码器中，采用多尺度残差块组来扩展感受野，从而提升云去除的准确性。然而，SAR辅助的云去除方法仍然面临图像配准误差和不同传感器空间分辨率不匹配等问题，这使得准确去除云层仍具挑战。

与厚云不同，某些光学信号能够穿透薄云层。因此，仅使用单张图像去除薄云层可能是一个病态问题。基于这一特性，许多方法被提出用于去除薄云或雾气。这些方法可以分为三类：基于物理模型的方法（如Cai等人，2011；Liu和Hunt，1984；Rong和Jun，2014）、基于光谱分析的方法（如Chen等人，2016；He等人，2010；Jiang等人，2016）以及基于深度学习的方法（如Li等人，2021；Ma等人，2022；Xu等人，2022a）。Mitchell等人（1977）首次提出了基于物理模型的云去除方法，通过去除图像中的低频信息并保留高频信息，从而消除薄云信息。随后，Du等人（2002）引入了小波变换，将图像分解为不同的空间层，并通过替换云图像中的低频成分以获得无云图像。Shen等人（2014）进一步优化了这一方法，通过自适应确定每个通道的最佳截止频率，并在空间域中对云区域进行约束，而不是使用固定的阈值。然而，频域滤波可能导致图像信息的丢失或模糊，尤其是在处理复杂纹理时。此外，薄云在图像中的频率分布可能与地表特征相似，使得滤波器难以有效区分。

基于物理模型和暗物体减法（DOS）方法（Chavez，1988），He等人（2011）设计了暗通道先验（DCP）算法，用于获取传输图和大气光信息，以实现自然图像中的去雾处理。许多研究者在此基础上对DCP算法进行了改进，以提升其在遥感图像中的云去除效果（如Bui和Kim，2018；Guo等人，2019；Long等人，2014）。例如，Markchom和Lipikorn（2018）利用DCP算法估计云层的外观，并在HSI颜色空间中仅在强度通道进行减法操作，以避免影响原始颜色。同时，通过伽马校正增强了强度通道。为了应对DCP对噪声的敏感性，Shen等人（2015）引入了同态滤波，以提升去雾图像的质量。此外，Li等人（2019a）设计了一个球形模型，其半径为局部块RGB通道标准差的平均值，以获得更精确的传输图。Yi等人（2024）则通过超像素分割将图像划分为不规则子区域，从而在空间域中更准确地识别暗物体，并将其分为绝对暗对象（ADOs）和相对暗对象（RDOs）。通过空间插值和稠密化RDOs，生成薄云图，并将其从原始云图像中减去以实现云去除。

光谱特征在不同波段中的差异可以用于去除薄云。在清晰区域，红光和蓝光的反射信号具有较强的相关性，而在薄云区域，蓝光的反射率高于红光。基于这一特性，Zhang等人（2002）提出了基于热优化变换（HOT）的算法，用于修正波段间的相关性，以去除遥感图像中的薄云。Jiang等人（2016）采用R平方准则识别整个场景中的相对清晰区域，并在这些区域应用同态滤波。此外，还实施了百分位数DOS以消除伪HOT区域和光环伪影。然而，HOT方法通常会过度修正高亮度的地表覆盖类型，如雪或冰。此外，基于光谱差异的云去除方法假设云层和背景之间的光谱差异较大，但这一假设可能不适用于所有情况，尤其是在云层覆盖在明亮地表覆盖区域时，其效果可能受限。

卷积神经网络（CNN）在图像处理任务中取得了显著成果，广泛应用于遥感图像处理，如语义分割（Sun和Wang，2018）、目标检测（Jia等人，2023）和云检测（Li等人，2022；Wu等人，2019）。类似地，薄云去除可以被视为一种图像恢复问题，类似于自然图像中的去雾处理（Cai等人，2016）。Li等人（2019b）提出了一种深度残差对称连接网络（RSC-Net），用于端到端的薄云去除。该网络通过将每个卷积层的特征图连接到对称的反卷积层，实现信息的传递。基于薄云成像模型，通过减去薄云厚度图来恢复清晰图像。Zi等人（2021）则采用基于薄云成像模型的方法，通过减去薄云厚度图来去除云层。Ma等人（2022）提出了一种时间信息注入网络（TIIN），通过引入时间相邻图像来增强去雾效果。Guo等人（2023）则设计了一种结合云感知模型的快速傅里叶卷积网络（CP-FFCN），以获取长距离注意力并指导傅里叶卷积去除薄云。Du等人（2024）将深度注意力和通道注意力机制集成到U-Net中，以融合多尺度语义信息并实现通道间的信息交互。该方法首先通过DCP计算大气光图和传输图，然后利用AU-Net优化物理模型生成的初步结果，从而获得最终的云去除图像。

生成对抗网络（GAN）（Goodfellow等人，2014）也被广泛应用于云去除任务（Enomoto等人，2017；Gonzalez-Calabuig等人，2025；Liu等人，2022）。Li等人（2020）基于对云层畸变过程的分析，提出了一种新的云物理模型，该模型考虑了吸收和双向传输特性，并采用GAN解决云层成分，利用循环一致性优化网络参数。Zi等人（2022）则将简单的物理模型与CycleGAN结合，以去除未配对数据中的薄云。该方法从薄云图像中提取背景和云层，并将云层应用于真实的清晰图像，背景层则通过物理模型构建云图像。CycleGAN用于优化网络参数。Xu等人（2022a）提出了一种结合注意力机制和GAN的薄云去除方法（AMGAN-CR），通过注意力递归网络生成云注意力图，并引导注意力残差网络去除云特征。Jin等人（2024）则将通道和空间注意力机制集成到GAN中，以增强其对云区域的关注能力。Tan等人（2024）在GAN中引入了局部对比损失和全局内容损失，以提升云去除图像与输入图像之间的内容一致性。此外，还设计了一个频率-空间注意力模块，以更精准地聚焦于云区域。

尽管基于CNN和GAN的方法在性能上优于传统方法，但它们通常仅关注局部特征，而忽略了长距离信息。近年来，Transformer网络因其长距离感知能力在图像处理任务中表现出色。一些研究者探索了Transformer方法在去除薄云和雾气任务中的优势。Song等人（2023a）提出了一种RSDformer，其中设计了细节补偿转置注意力（DCTA）以捕捉局部和非局部特征，并采用双频率自适应块（DFAB）增强对退化特征的提取能力。动态门控融合块（DGFB）则用于在不同尺度上融合和交换特征。Li等人（2023a）和Li等人（2023b）设计了一种结合CNN和视觉Transformer（ViT）的网络（GTMNet），引入了引导传输图，并设计了增强-操作-减法优化模块，以提升恢复图像的局部特征。Song等人（2023b）基于Swin Transformer（Liu等人，2021）设计了DehazeFormer，用于去除雾气和云层。该方法引入了重标层归一化以解决重建图像中的网格伪影，并在多头自注意力中引入卷积操作以聚合空间信息。Liu等人（2024a）则结合CNN和Transformer，分别从SAR和光学图像中提取局部和全局信息。CNN本地信息记忆模块旨在从粗到细提取局部空间细节，而Transformer全局信息辅助模块则通过替换层归一化为自适应归一化，以从全局视角恢复图像细节。

大多数高分辨率遥感图像仅包含光学波段，而Landsat图像则包含热红外波段。因此，上述大多数方法在构建云物理模型时并未考虑热红外波段的影响。然而，热红外波段中的云辐射与光学波段中的云辐射存在显著差异，这使得它们不适合作为去除Landsat图像所有波段云层的依据。此外，上述方法中的模块设计多基于自然图像处理，未深入结合遥感领域的专业知识。为了解决这些问题，本文提出了一种基于Transformer的薄云去除方法CloudRuler，该方法在深度特征空间中引入了三个规则：半球坐标系统（HS）、遥感图像拼接（Li等人，2015）和光学与热红外波段的云物理模型。CloudRuler能够引入像素的2D位置信息，聚合全局信息，并结合无约束的云物理模型，以获得更精确的薄云去除结果。该方法的主要贡献包括：

1. 提出了一种新型的薄云去除方法，该方法结合了三个规则：半球坐标系统（HS）、遥感图像拼接（Li等人，2015）和光学与热红外波段的云物理模型。这是首次研究考虑联合使用Landsat 8和Landsat 9图像进行云去除，利用其8天的重访周期，提高数据的可用性和可靠性。

2. 分析了输入波段对Landsat 8和Landsat 9图像云去除的影响。研究发现，Cirrus波段由于缺乏背景信息，对可见波段的云去除效果较差。而其他四个光学波段贡献最大，热红外波段的贡献相对较小。消融实验表明，所有设计的基于规则的模块均能有效提升CloudRuler的薄云去除性能。

3. 收集了一个新的Landsat 8和Landsat 9薄云去除数据集（NUAA-CRL8/9）。CloudRuler在该数据集上优于七种基于深度学习的基准方法，包括基于GAN、CNN和Transformer的不同架构模型。这表明CloudRuler在提升云污染Landsat 8和Landsat 9图像的可用性和可靠性方面具有显著优势。

本文的其余部分组织如下：第二部分介绍了实验数据；第三部分详细介绍了CloudRuler的各个组件；第四部分展示了实验结果；第五部分进行了讨论；最后在第六部分进行了总结。