为卫星图像中的云层去除效果，采用因果规则化的全分辨率通道注意力机制和频率细化技术

《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》：Causally regularized full-resolution channel attention and frequency refinement for cloud removal in satellite imagery

　　王军 | 徐新生 | 林长青 | 王峰
中国上海复旦大学信息科学与技术学院电磁波信息科学重点实验室（教育部），邮编200433

摘要
光学遥感图像对于地表分析至关重要；然而，由于年均可云覆盖面积超过60%，其应用受到云层遮挡的限制。引入时间补偿机制解决了单幅图像方法在面对厚云层时的局限性。合成孔径雷达（SAR）数据的整合进一步提升了图像去云效果。尽管如此，现有方法仍面临诸多挑战。具体而言，这些方法缺乏细粒度、长距离的补偿机制以及有效区分高频信息与噪声的自适应机制。此外，当前方法缺乏优化机制来确保获取最具代表性的特征。为了解决这些问题，本文提出了一种新颖的光学-SAR融合方法，该方法明确结合了受控的时空聚合与因果正则化（CR）技术。引入了具有高频细化的像素级通道注意力（PCA）模块（HRR），在可接受的计算复杂度下实现全分辨率特征提取，并利用频率补偿优势。同时应用时间注意力聚合来促进有效的时间补偿。CR模块用于抑制由光学-SAR融合和时间聚合产生的统计相关但语义无关的特征，从而提高模型的鲁棒性和泛化能力。在模拟和真实世界数据集上的广泛实验验证了所提出的时空特征提取架构的有效性，结果表明在真实云层污染条件下，该方法在指标上有所提升，同时具备先进的泛化能力。

引言
遥感分析对于地表特征描述至关重要。光学图像在农业、资源监测、灾害管理、能源监测和人类活动等领域特别有效（Minnett等人，2019年；Barmpoutis等人，2020年；Dai等人，2023年；Wang等人，2023年；Gong等人，2024年）。然而，国际卫星云气候项目的数据表明，年全球平均云覆盖面积超过60%（Zhao等人，2025年）。因此，这些图像不可避免地会被云层遮挡。云层造成的光学遮挡对遥感应用构成了重大挑战，降低了图像分析和解释的准确性和可靠性（Hou等人，2022年；Gawlikowski等人，2022年；Shastry等人，2023年）。近年来，为了减少云层覆盖带来的信息损失，研究人员越来越多地使用SAR作为补充数据，因为SAR具有全天候成像能力（Huang等人，2015年；Zhang等人，2023年；Duan等人，2024年；Pan等人，2024年）。SAR提供了补充的结构信息，可以在光学观测效果受损的云层覆盖区域实现部分补偿。然而，光学-SAR融合也引入了新的挑战，包括斑点噪声、模态不匹配以及合并统计相关但语义无关特征的风险。当在没有适当控制机制的情况下整合SAR信息时，这些问题会更加突出。在复杂的时空条件下，这种影响尤为严重。

现有的光学图像去云方法依据所使用的辅助信息分为三类，如图1所示。基于光谱的方法利用多光谱冗余来模拟云层衰减并恢复地表反射率（Li等人，2020年）。虽然这些方法对薄云有效，但在云层反射率与地表光谱特征重叠或厚云遮挡所有光谱带时常常失效。基于空间的方法依赖于单幅图像中清晰区域的上下文推理（Cheng等人，2014年；Ma等人，2023年；Yang等人，2025年）。它们的性能取决于类似非云像素的可用性，在大范围连续区域完全被遮挡时会显著下降。基于时间的方法利用多时相观测中地表特征的一致性来重建被遮挡区域（Sarukkai等人，2020年；Chen等人，2022年；Ebel等人，2022年；Stucker等人，2023年；Ebel等人，2023年）。当地表特征随时间保持稳定时，这些方法表现出较强的潜力。

尽管具有这些优点，但这些方法依赖于在实际操作条件难以保证的隐含假设（Isola等人，2017年；Zhu等人，2017年）。多时相方法假设地表反射率随时间稳定，然而土地覆盖变化、季节性变化和物体移动可能会引入误导性的时间线索（Chen等人，2019年；Christopoulos等人，2022年）。此外，现代基于注意力的多时相架构的计算成本较高，因为其记忆复杂度随着空间分辨率和时间长度的增加而呈二次方增长。因此，经常采用空间下采样来减轻计算负担。然而，最新研究表明，空间下采样对去云任务有害，因为细粒度的空间细节对于准确的像素级重建至关重要（Liu等人，2023年）。在空间表示质量下降的情况下，增加时间长度并不一定能改善性能。在更广泛的图像和视频恢复任务中也观察到类似的问题，空间保真度不足限制了时间聚合的效果，并导致序列长度增加时收益递减（Haris等人，2019年；Baniya等人，2025年）。另一个挑战在于遥感图像的频率特性。高频信息遵循长尾分布（Li等人，2025年），其中包含具有信息量的结构细节和类似噪声的成分。大多数当前方法对所有高频特征一视同仁，无法区分有意义的细节和噪声。SAR可以在云层区域部分补充高频结构细节，但其固有的斑点噪声和与光学数据的光谱对齐不良使得融合过程复杂化。这些问题可能导致模型过度拟合于虚假相关性，从而降低其在新的、未见数据集上的鲁棒性和泛化能力（Guo等人，2023年）。从这些挑战中，我们得出结论：简单叠加额外的空间、时间或多模态数据并不能一致提高去云性能。在实际应用中实现有效的去云效果取决于两个因素：充分利用空间、时间和跨模态信息，并确保它们的有效整合。具体来说，保持全空间分辨率、选择性地利用高频线索以及过滤掉语义无关的特征对于实现稳定、泛化的性能至关重要。

在这项研究中，我们提出了一个基于光学-SAR数据融合的时空去云框架，以应对这些实际操作限制。该框架包括全分辨率编码-解码架构、时间注意力聚合模块和CR模块。为了在保持细粒度空间细节的同时实现长距离通道交互，我们设计了PCA-HRR模块，该模块在全分辨率下运行，并使用受控的频率基底增强有信息量的高频结构。时间注意力用于通过选择性地聚合多时相信息来补偿被云层遮挡的区域。为了进一步减少统计相关但语义无关特征的干扰，我们添加了基于CR的正则化机制来指导稳健的特征选择。值得注意的是，虚假相关性不仅来自SAR融合，还来自时间聚合和频率增强，这使得控制特征利用成为一般要求，而不仅仅是特定模态的问题。首先在模拟数据集上验证了不包括CR模块的基线时空特征提取架构的有效性。随后，在具有挑战性的真实世界数据集上进行了实验，以评估CR基于的特征利用在存在分布差异时抑制虚假相关性的有效性。实验结果表明，所提出的方法在性能上超越了现有方法，且在不同区域和云层条件下表现出显著的鲁棒性和泛化能力提升。

本研究的主要贡献如下：
1) 我们明确分析了在真实操作条件下限制现有多时相和跨模态去云方法的关键因素。特别是，我们发现性能下降通常是由下采样、时间聚合和不受控制的特征融合引入的误导性统计相关性引起的，而非信息不足。基于这一观察，我们将去云问题表述为一个受控特征利用问题，并引入CR策略来抑制统计相关但语义无关的特征，从而提高鲁棒性和泛化能力。
2) 为了减轻云层污染和计算限制导致的判别性高频信息损失，我们设计了PCA-HRR模块。该模块在像素级别实现全域通道建模，同时自适应地增强有信息量的高频成分，实现了特征表达能力和计算效率之间的有效平衡。
3) 我们提出了一个多时相去云框架，将全分辨率编码、基于时间注意力的聚合和CR集成到一个统一的架构中。首先在模拟数据集上验证了时空特征增强的有效性，随后在受控条件下对具有挑战性的真实世界数据集进行了全面评估，证明了其相较于现有方法的持续性能提升，并实现了最佳的泛化性能。

本文的其余部分组织如下：第2节简要讨论了相关工作。第3节详细介绍了所提出的方法。第4节验证了该方法的有效性并讨论了实验结果。最后，第5节讨论和第6节分别提出了讨论和结论。

相关工作
多时相去云方法利用图像序列中的时间冗余来补偿被云层遮挡的区域（Sarukkai等人，2020年；Chen等人，2022年；Ebel等人，2022年；Stucker等人，2023年）。传统方法利用卷积神经网络（CNN）通过堆叠卷积操作来提取时空特征。基于CNN的方法限制了捕捉长距离空间依赖性和全局上下文关系的能力。

方法论
本节概述了CR-PCA-HRR方法，随后介绍了内部编码器-解码器、时间注意力模块、内部CR和损失函数。

实验
在本节中，我们描述了数据集、实现细节和评估指标。然后，我们将我们的方法与最先进的方法（SOTA）进行比较，以突出其优越的去云性能。此外，还进行了一系列全面的消融研究来验证我们提出的策略和模块的有效性。

讨论
基于时间序列数据，本文利用PCA获取多模态补偿信息。通过整合HRR和CR的协同效应，所提出的方法实现了全分辨率下的图像去云。与（Stucker等人，2023年；Shu等人，2025年）仅使用人工添加的掩码进行重建和验证的方法不同，我们的方法首先使用模拟云模式构建基线，然后在检测到真实云层污染的情况下优化模型。

结论
本文提出了一种适用于实际操作约束下的光学遥感图像的时空去云框架。通过避免空间下采样，所提出的架构保留了对像素级重建至关重要的细粒度空间信息。引入了PCA-HRR模块，以实现全分辨率通道交互和基于固定多尺度频率基底的结构化高频增强。此外，还整合了CR模块。

作者贡献声明
王军：撰写 – 审稿与编辑、撰写 – 原稿撰写、验证、方法论、数据管理、概念化。
徐新生：撰写 – 审稿与编辑、方法论、形式分析。
林长青：撰写 – 审稿与编辑、验证、监督、方法论。
王峰：撰写 – 审稿与编辑、监督、项目管理、概念化。

利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。