TCM-CR：基于参考图像与门控有界残差的多时相SAR–光学云去除方法

《Remote Sensing》：TCM-CR: Multi-Temporal SAR–Optical Cloud Removal with a Reference Image and Gated Bounded Residual

　　

云去除是光学遥感中不可或缺的预处理步骤。通过结合多时相光学观测与可穿透云层的合成孔径雷达（SAR）来重建无云影像，已成为主流方法。然而，现有研究大多采用简单合成结果作为基线，例如按像素选取最少云观测或时间中值，同时使用整景平均精度指标进行评估；这两种做法结合起来，可能会高估深度学习方法的真实收益。本文提出一种时序跨模态云去除方法（TCM-CR）。在多时相序列中，云量最低的那次获取在其无云像素处保留了真实地表反射率，并且其本身就是一个高精度基线。TCM-CR以两种方式利用该基线。首先，对于晴空和轻云输入，直接从参考图像中不加改变地取用无云像素，因此无需依赖训练即可无损保留真实反射率。其次，仅对被云覆盖的像素施加有界校正，其中SAR提供云下地表结构，多时相观测沿时间维进行整合，同时抑制重云覆盖获取的影响。基于SEN12MS-CR-TS数据集的实验表明，TCM-CR在晴空和轻云样本上保持与参考图像相当的精度，并在重云样本上将峰值信噪比（PSNR）提高7.93 dB。在跨区域实验中，当一个区域被完全排除于训练之外并仅用于测试时，重云样本仍可提高7.27 dB。

该研究发表于《Remote Sensing》，围绕多时相合成孔径雷达（SAR）—光学遥感影像云去除中的一个关键但常被忽视的问题展开：现有深度学习云去除研究通常将整景重建作为默认范式，即重新预测输出图像的每一个像素，并以整景平均的峰值信噪比（PSNR）、结构相似性（SSIM）等指标评价效果。然而，多时相输入中往往已经存在一幅云量较低的观测，其无云区域本身就是真实地表反射率，天然构成高精度基线。如果模型仍对这些原本可靠的像素进行“重绘”，就可能在低云量区域引入不必要误差。研究人员指出，既有工作普遍采用逐像素最少云合成或时间中值合成等较弱基线，并用整景平均指标掩盖低云样本上的精度损失，因而容易高估深度学习方法的增益。基于此，开展一项以“保留真实观测、仅修复被云遮挡区域”为核心思想的研究，具有明确的方法学意义和应用价值。

研究人员提出了TCM-CR，一种以参考图像为锚定的多时相SAR–光学云去除框架。该方法不直接生成整幅无云影像，而是从输入序列中选择场景平均云量最低的一次获取作为参考图像，在此基础上仅预测一个受门控约束且幅值有界的残差项，并将其叠加于参考图像之上。该结构确保：当参考图像几乎无云时，残差在整景范围内被抑制为零，输出在数值上与参考图像完全一致；当云量较高时，残差被限制在云覆盖区域内，并保持有界，从而避免对无云区域造成破坏。为生成这一残差，模型在编码器中引入跨模态空间建模与云感知时间建模两个状态空间模型（SSM）模块：前者利用SAR对光学特征在空间上传播进行引导，后者沿时间维聚合多时相特征并削弱高云量观测的贡献。实验表明，该方法在晴空与轻云样本上几乎不损失参考图像精度，而在重云样本上能显著提升重建质量，并在跨区域测试中保持稳定收益。研究由此得出结论：TCM-CR并非替代整景重建方法，而是作为一种互补方案，在保留已有可靠观测的前提下，有针对性地修复被云遮挡的信息，为农业监测、灾害响应和地表覆盖制图提供更可靠的去云影像。

就关键技术方法而言，研究基于SEN12MS-CR-TS公开数据集，使用四个区域（asiaWest、europa、africa、america）的Sentinel-2 L1C 13波段光学影像、对应的Sentinel-1双极化（VV/VH）SAR影像及云/云影掩膜构建样本。方法上主要包括：以最低场景云量影像作为参考图像；利用云驱动软门（soft gate）与tanh幅值限制构造有界残差输出；在编码阶段采用跨模态空间状态空间建模，将SAR用于引导光学特征的空间聚合；在最深层特征上实施云感知时间状态空间建模，按像素云分数抑制重云日期的时间更新；并结合L₁重建误差、云加权平方误差、Haar小波域L₁损失、1-SSIM以及残差L₁正则进行联合优化。

以下结合论文主体，对主要研究结果进行归纳解读。

3.1. Reference Image and Bounded Residual
研究人员首先明确了方法的结构性基础：在每组多时相输入中，按场景平均云分数选取云量最低的获取作为参考图像，而不是采用逐像素最少云合成。论文指出，逐像素方案更容易受到云掩膜噪声影响，导致误选像素；场景级选择更稳健。输出端采用“参考图像 + 残差”的形式，其中残差经过tanh限制至（?1,1），再由尺度因子s控制幅值上界，并通过云驱动软门g逐像素调制，仅在云覆盖区域发挥作用。通过这一设计，研究人员从输出结构层面保证了“无害性（no-harm）”：当参考图像场景云量低于阈值τ时，残差整景归零，输出与参考图像完全相同；当云量较高时，模型只对云区进行受限修正。训练时又通过参考图像权重退火与辅助有界项，防止网络退化为简单复制参考图像。该部分结果奠定了全文最核心的理论主张，即云去除不应默认重绘全图，而应在高精度参考观测之上施加局部、受控的修正。

3.2. Cross-Modal Spatial Modeling
在跨模态空间建模部分，研究人员针对云下光学信息缺失而SAR能够穿透云层、表征地表几何结构与粗糙度的特点，设计了逐层作用于编码器的跨模态状态空间模块。与简单输入拼接不同，该模块使SAR直接参与决定光学特征在空间中的传播与聚合方式，从而在大范围空间上下文中，将云外可靠区域的信息与SAR提供的云下结构共同引入云遮挡区域。模块在水平和垂直两个方向上进行双向聚合，以增强不同空间方向上的建模能力。消融实验显示，在四区域验证集的重云组中，加入跨模态空间建模后，PSNR可由参考图像的12.88 dB提升至20.09 dB，说明SAR并非只是附加输入，而是通过引导光学特征传播，对重云区域恢复作出了实质贡献。

3.3. Cloud-Aware Temporal Modeling
多时相特征整合方面，论文提出云感知时间建模模块。研究人员指出，不同日期对同一位置的遮挡程度不同，因此时间聚合时不应等权处理所有观测。该模块在最深层特征上沿前向与后向两个时间方向应用选择性状态空间递推，并引入按像素云分数定义的抑制因子α，使云量越高的日期，对整合状态的更新越弱；相应地，模型更倾向于保留来自相邻低云日期的信息。时间整合完成后，再依据日期云分数对多时相特征进行加权融合。消融结果表明，在重云组中，仅有跨模态空间建模时PSNR为20.09 dB，叠加时间建模后升至20.65 dB，完整模型达到20.81 dB，说明时间维信息在高遮挡条件下能够进一步增强重建性能，且这种提升集中体现在真正需要恢复的重云场景。

3.4. Loss Function and Optimization Objective
损失函数设计体现了“优先修复云区、尽量贴近参考图像”的目标。研究人员联合使用整景L₁重建误差、对云覆盖像素赋予更高权重的平方误差、Haar小波域L₁误差、1-SSIM项以及残差幅值L₁正则，以兼顾光谱保真性、结构相似性、高频细节恢复和不必要改动抑制。论文进一步说明，模型性能主要受参考图像锚定与有界残差结构支配，损失权重的具体数值在合理范围内并不敏感，这与后续消融分析的结论一致。

4.1. Dataset and Experimental Setup
实验使用SEN12MS-CR-TS数据集，覆盖asiaWest、europa、africa和america四个区域。每个样本包含3次邻近日期观测，每次观测包括Sentinel-2光学影像、Sentinel-1 SAR影像及云掩膜，目标是重建1幅无云13波段光学影像。研究人员按参考图像的场景云分数将样本划分为晴空、轻云、中云和重云四组，并在包含训练区域与排除训练区域两类设置下，使用PSNR、SSIM、光谱角映射（SAM）、平均绝对误差（MAE）和感知相似性（LPIPS）进行评价。这一分组评价策略是本文方法学贡献的重要组成部分，因为它揭示了不同模型在不同云量水平下的真实取舍关系。

4.2. Accuracy Comparison and Analysis by Cloud Cover
在精度比较中，研究人员首先证明了“参考图像本身即强基线”。在asiaWest测试集上，单独输出参考图像即可达到30.05 dB，显著高于逐像素最少云合成的20.38 dB、时间中值合成的19.28 dB，也高于UnCRtainTS两个公开版本约4–5 dB。TCM-CR整体PSNR为30.02 dB，与参考图像基本持平，而在SSIM、SAM和MAE上与对比方法接近。更关键的是分云量分析：在四区域验证集上，TCM-CR在晴空和轻云组与参考图像几乎完全一致，仅?0.01 dB，说明其确实保留了已有真实观测；在重云组则由12.88 dB提升至20.81 dB，增益达+7.93 dB。相比之下，UnCRtainTS在中云和重云组也有较大提升，但在晴空组相对参考图像损失约9 dB。论文据此强调，若仅看总体PSNR，可能误认为几种方法性能接近，但实际上它们的误差分布和策略取舍截然不同：TCM-CR是在低云样本“零伤害”的前提下提升高云样本，而整景重建方法则以低云样本精度下降换取高云样本改进。

4.3. Cross-Region Generalization and Visual Results
为验证泛化性，研究人员进行了留一区域测试。排除europa训练、仅在该区域测试时，TCM-CR仍将重云组PSNR从12.88 dB提高到20.15 dB，增益为+7.27 dB；轻云组保持与参考图像相当，中云组提升1.53 dB。排除america训练并在其上测试时，晴空和轻云组输出与参考图像逐像素完全相同，中云组提升0.32 dB。由此可见，无云区域的保真性质并不依赖于训练区域分布，而是来自输出结构本身。论文还通过残差空间分布图证明，修正主要集中于云区，云外像素残差被强烈抑制。对中云和重云样本进一步按云掩膜划分像素后发现，云外像素的PSNR不下降、MAE反而降低，表明即便在部分有云场景中，模型对云外区域的微小非零残差也是无害的；主要增益则集中在云覆盖像素上，重云组云区PSNR最多提升8.81 dB。阈值鲁棒性分析还显示，推理时软门阈值τ在0.01–0.50范围内变化，对europa重云组PSNR基本无影响，仅当τ=0时会损害轻云组精度，说明方法并非依赖精细调参获得收益。可视化案例进一步表明，在重云样本中，TCM-CR虽然纹理细节不如某些整景重建输出看似丰富，但误差更低且分布更均匀，更接近真实地表。

4.4. Ablation Study
消融研究明确了各组件的贡献层级。基础编码器—解码器整景重建模型仅达到23.52 dB；加入参考图像残差结构后，PSNR立即提升到30 dB以上；而从完整模型中移除该结构，则PSNR降至22.31 dB，SSIM也显著下降，同时失去无云区域无损保留能力。由此可知，模型的高精度与“无害性”首先来自参考图像锚定和有界残差输出结构，而非编码器内部模块。进一步在重云组上的分层消融则说明，跨模态空间建模和时间建模虽然在整体测试集中贡献有限，但在高云场景中作用明显，分别将PSNR由12.88 dB提升至20.09 dB、20.65 dB和20.81 dB。融合机制对比还显示，在相同参考图像锚定框架下，用简单通道拼接替代跨模态空间建模时，重云组PSNR下降1.14 dB，证明让SAR引导光学特征空间传播优于直接拼接。

讨论部分主要围绕方法定位、云量影响、局限性与适用边界展开。研究人员认为，TCM-CR与整景重建方法代表两类不同取舍：前者优先保持已有可靠观测，并仅对被云遮挡区域进行受控修复；后者追求整体重建精度，但可能牺牲低云样本上原始观测的真实性。按云量分组并以参考图像为基线，是揭示这种取舍的关键。论文同时指出，该方法适用性受到两方面限制：其一，多时相序列中需至少存在一幅相对低云图像；若所有日期均被厚云持续覆盖，则参考图像本身质量有限，校正基础随之减弱。其二，方法高度依赖云掩膜，掩膜噪声会同时影响云外区域保留与云区修复判定。研究还说明，参考图像与目标日期间的时间间隔可能引入物候或地表覆盖变化，使参考图像局部失真；不过验证集按参考可靠性分层后发现，参考越不可靠，TCM-CR的修正增益越大，而在参考已经准确时几乎保持中性。此外，对推理阶段云掩膜进行膨胀或腐蚀扰动后，重云组PSNR下降有限，表明方法对一定程度掩膜误差具有鲁棒性。研究人员也指出，当前实验基于Sentinel-2 L1C大气顶反射率数据，是否能推广到地表反射率产品、以及在植被指数计算、地表覆盖分类等下游任务中的效用，仍需后续研究验证。

研究结论部分可译为：
光学卫星影像云去除通常以整景重建为目标。然而，多时相序列中往往已经包含一幅低云量获取，其无云像素是真实地表观测，本身就是高精度基线。既往研究大多针对较弱基线并采用整景平均指标评估，因此既高估了重建方法的贡献，也掩盖了其在无云像素上的精度损失。为此，研究人员提出TCM-CR：保留参考图像中的无云观测，仅对云覆盖像素施加有界校正。无云像素直接取自参考图像，其精度不受训练影响；对云覆盖像素的校正则结合SAR与多时相信息，其中SAR提供云下地表结构，时间分支优先利用时序中遮挡较轻的观测。在SEN12MS-CR-TS数据集上，TCM-CR在晴空和轻云样本上不损失参考图像精度，同时在重云样本上相对于参考图像显著提升重建质量。跨区域泛化实验进一步表明，即使某一区域完全不参与训练，其重云样本的PSNR仍可提高7.27 dB，且在另一未见区域中，对无云区域的无损保留性质同样成立。作为一种保留已有无云观测、仅恢复云遮挡信息的方法，TCM-CR可被定位为对整景重建精度导向方法的补充；在光学观测频繁受云阻挡的背景下，该方法有助于为农业、灾害和地表覆盖监测等应用提供更可靠的去云影像。