ECRformer：一种高效的云去除Transformer模型，采用语义解耦学习方法处理多模态卫星图像

《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》：ECRformer: An efficient cloud removal Transformer with semantic-decoupled learning for multimodal satellite imagery

　　

张在彦|李杰|梁远祺|严金宁|肖毅|苏欣|袁强强

武汉大学测绘与地理信息学院，中国湖北武汉430079

摘要

遥感图像对于全球环境监测至关重要，但频繁的云层覆盖严重限制了光学图像的实用性。将易受云层影响的光学图像与能够穿透云层的合成孔径雷达（SAR）数据融合，为全天候地球观测提供了一条途径。然而，这项任务面临双重挑战：先进方法的计算成本不断上升，以及在信息丢失情况下重建问题本身的不适定性，这使学习过程变得复杂。为了解决这些问题，我们提出了ECRformer（高效云层去除Transformer）。ECRformer结合了一种高效架构和一种原理性的学习范式，通过以下方式应对这两个挑战：（1）一系列高效注意力机制，包括用于计算感知的多模态特征融合的交叉协方差注意力（XCA）和用于以线性复杂度捕捉多尺度空间上下文的多扩张窗口注意力（MDWA）；（2）语义解耦特征学习（SDFL）范式，这是一种将不适定性重建任务分解为两个明确定义的子问题的新训练策略：结构恢复和纹理渲染。通过应用非对称监督（编码器上的结构损失，解码器上的纹理损失），SDFL提供了更原理性的学习过程。这些改进提高了重建质量、训练稳定性和可靠性，在SEN12MS-CR和LuojiaSET-OSFCR两大规模光学-SAR云层去除数据集上实现了新的最佳性能（SOTA）。值得注意的是，ECRformer在PSNR上比之前的SOTA方法提高了1.23/0.90 dB，同时仅需要28.9%的参数和24.5%的FLOPs，为多模态云层去除提供了一种强大、高效且可靠的解决方案。代码可在https://github.com/zzaiyan/ECRformer获得。

引言

光学遥感为农业监测、城市规划到灾害响应等众多应用提供了宝贵的数据（Yuan等人，2020年；Liu等人，2024年）。然而，其有效性从根本上受到天气条件的限制（Shen等人，2015年）。全球范围内，任何时候大约有67%的地球表面被云层遮挡，陆地地区的云层覆盖率约为55%（King等人，2013年）。这种普遍的污染导致了大量数据丢失，阻碍了持续监测和分析（Chen等人，2025年；Sun等人，2025年；Li等人，2025a）。为了解决这一挑战，从光学遥感图像中去除云层的任务引起了大量研究兴趣，相关方法也在不断进化以克服固有的局限性。

早期的努力主要集中在单图像云层去除上，将此任务视为图像修复问题（Pathak等人，2016年；Criminisi等人，2004年）。这些方法尝试使用周围无云像素的上下文信息来重建受损区域。虽然现代深度学习模型（如生成对抗网络GANs（Goodfellow等人，2014年）和Transformer（Vaswani等人，2017年；Dosovitskiy等人，2020年）取得了一些成功，但它们面临一个根本性的瓶颈：当云层厚重且不透明时，底层地面信息会不可逆转地丢失。这使得问题变得极度不适定，通常导致重建结果模糊、结构不一致或事实错误。

为了克服这一信息不足的问题，研究人员转向了多时相方法，这些方法利用同一地点的多时相图像序列（Gao和Gu，2017年）。通过从不同时间拍摄的无云参考图像中获取清晰像素，这些方法可以高保真地恢复信息。然而，这种方法也有其严格的依赖性：其成功取决于是否存在高质量、精确配准的、相同季节的无云参考图像；当这些条件满足时，这些方法会非常有效。但在土地覆盖快速变化、配准错误或云层持续覆盖的地区，性能会显著下降，限制了其用于即时分析的可靠性。

这些局限性为多模态融合铺平了道路，特别是利用能够穿透云层的合成孔径雷达（SAR）图像，这种技术已成为一种更为稳健和多用途的解决方案（图1）。SAR数据不受天气影响，提供了丰富的结构细节，是一个全天候、时间上一致的信息来源，无需“完美”的时间参考。在这个有前景的多模态范式中，该领域经历了快速的架构演变。最初的方法使用卷积神经网络（CNNs）（LeCun等人，1989年）来融合局部特征（Meraner等人，2020年）。然而，它们固有的有限感受野难以模拟全局上下文。这促使人们转向视觉Transformer（ViTs）（Vaswani等人，2017年；Dosovitskiy等人，2020年）来捕捉长距离依赖性（F. Xu等人，2022年；Gu等人，2025年）。最近，条件扩散模型主导了该领域的发展，它们通过生成高度真实的纹理树立了新的基准（Zou等人，2024年；Liu等人，2025年；Cai等人，2025年）。然而，这种进步带来了计算需求的急剧增加，使得这些模型变得缓慢且资源密集。该领域似乎遇到了计算瓶颈，进一步提高精度似乎需要不可持续的成本增加。

除了效率挑战之外，我们认为还有一个更根本的问题。正如文献中所观察到的，即使是先进的方法也面临着SAR引导的结构一致性和光学风格的纹理真实性之间的隐含权衡（Gu等人，2025年；Liu等人，2025年）。在这种情况下，我们将结构定义为低频几何信息，如物体边界、道路网络和土地形状，这些信息无论天气条件如何都可以被SAR传感器可靠地捕获。相反，纹理指的是高频细节，特别是光学图像特有的光谱信息和颜色模式，这些信息经常被云层破坏。我们认为这是更深层次问题的症状：传统的问题表述本身。多模态云层去除本质上是一个不适定问题，即单个光学-SAR输入对可以对应多个合理的重建结果。将这个问题视为一个端到端的任务，现有方法迫使单个网络同时使用SAR数据解决结构歧义，并基于光学上下文渲染细粒度纹理。这种复杂的学习目标往往导致次优的折中。无论从CNNs到扩散模型，现有方法都没有充分解决这个问题在问题表述上的根本挑战。

本文直接应对效率和不适定性这两个挑战。我们提出了一种结合了新原理性学习范式和高效架构的解决方案。我们的贡献有三个方面：

• •
  我们提出了ECRformer，这是一种结合理论创新和高效架构的光学-SAR云层去除方法。该架构包含一系列特定于任务的高效注意力机制，特别是用于计算感知的通道级融合的交叉协方差注意力（XCA）和用于线性复杂度空间建模的多扩张窗口注意力（MDWA）。
• •
  我们引入了语义解耦特征学习（SDFL）范式，这是一种重新定义不适定重建任务的新训练策略。通过将任务分解为两个明确定义的子问题——结构恢复和纹理渲染，并应用有针对性的非对称正则化，SDFL降低了伪影生成的风险，使学习过程更加稳定、可靠和可解释。
• •
  在多个大规模数据集上的广泛实验表明，ECRformer在单时相多模态方法中实现了最佳重建质量，同时计算效率也很高；特别是其轻量级变体ECRformer-Light，在极低的计算负载下也能取得竞争性能。

本文的其余部分组织如下：第2节回顾了多模态云层去除和高效深度学习架构的相关工作。第3节详细介绍了ECRformer架构和SDFL训练范式。第4节展示了包括定量评估、定性分析和消融研究在内的全面实验。最后，第5节总结了研究结果和未来研究的方向。

节摘

相关工作

从光学遥感图像中去除云层是一个具有挑战性的图像恢复问题。方法大致可以分为单图像、多时相和多模态（SAR辅助）（Shen等人，2016年）。

方法论

我们提出的方法包括两个主要组成部分：ECRformer模型，一种分层Transformer架构，以及语义解耦特征学习（SDFL）范式，这是一种新的训练策略。图2展示了整体架构。

设置

本节详细介绍了实验设置，包括数据集、基线方法、评估指标和用于验证我们提出模型的训练配置。

结论

在本文中，我们解决了多模态遥感云层去除中准确性和效率之间的关键挑战。我们提出了ECRformer，这是一种将高效架构与原理性学习范式相结合的解决方案，在重建质量和计算效率方面均超过了之前的最佳方法。我们的关键贡献是语义解耦特征学习（SDFL）范式和一系列高效注意力模块（XCA和MDWA）。

CRediT作者贡献声明

张在彦：撰写——原始草稿、可视化、软件、方法论、数据整理。李杰：撰写——审稿与编辑、监督、资金获取、概念化。梁远祺：验证、软件、调查。严金宁：验证、软件、调查。肖毅：验证、软件、调查。苏欣：验证、软件、调查。袁强强：撰写——审稿与编辑、监督、资金获取、概念化。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

致谢

本工作部分得到了中国教育部基础与跨学科学科突破计划的资助（项目编号JYB2025XDXM910）和国家自然科学基金的资助（项目编号42471504和42230108）。