多时序SAR与受污染光学数据驱动的高质量无云光学影像生成:CRGenNet框架及其TCSEN12数据集

《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》:High-quality cloud-free optical image generation using multi-temporal SAR and contaminated optical data

【字体: 大 中 小 】 时间:2026年04月09日 来源:ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING 12.2

编辑推荐:

  本研究针对多云条件下光学卫星影像缺失难题,提出融合多时序SAR与含云光学数据的CRGenNet生成网络,设计DownUpBlock跨模态特征提取与FusionAttention时序融合机制,构建洪灾场景TCSEN12数据集。实验表明该方法在PSNR、SSIM等指标上优于主流模型,为灾害应急与动态监测提供高精度无云影像生成方案。

  
在灾害管理、气候变化监测与城市规划等领域,高质量的光学遥感影像是不可或缺的数据源。然而,云层覆盖、传感器故障等因素常导致光学影像大面积缺失,尤其在雨季或极端天气频发区域,这一问题严重制约了实时地表监测与应急响应能力。传统方法如单一时序插值、基于同源光学数据的云去除等,难以应对全幅缺失或剧烈地表变化(如洪水淹没)的场景;而仅依赖合成孔径雷达(SAR)到光学影像的翻译方法,因成像机理差异大,往往丢失纹理细节。更棘手的是,现实场景中“完全无云”的辅助光学数据极为罕见,现有方法假设的理想条件与实际需求存在显著鸿沟。
针对这一挑战,Chenxi Duan、Mariana Belgiu与Alfred Stein在《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》发表研究,提出CRGenNet(Cloud-Resilient Generation Network)——一个面向含云输入鲁棒的多模态时序影像生成框架,并构建了聚焦郑州“7·20”特大暴雨洪灾的TCSEN12数据集,为复杂场景下的无云光学影像生成提供了创新解决方案与评测基准。

关键技术方法概览

研究采用生成对抗网络(GAN)架构,核心包括:① 设计DownUpBlock模块实现同时间点SAR与光学数据的早期跨模态融合,强化含云区域的SAR结构引导;② 提出FusionAttention机制动态加权多时序特征,避免独立变化检测的误差传播;③ 构建包含双时序/三时序配置的TCSEN12数据集,覆盖洪灾前后多土地覆被类型;④ 联合感知损失(LVGG)、余弦相似度损失(LCS)与多尺度结构相似性损失(LMS-SSIM)优化生成质量,并通过梯度惩罚Wasserstein GAN提升训练稳定性。

研究结果

数据集构建:TCSEN12的真实性与挑战性

TCSEN12数据集以2021年7月郑州洪水灾区为核心,地理范围覆盖东经112.0°–116.0°、北纬33.0°–36.5°,包含双时序(t1含云光学+t1/t2SAR,预测t2近无云光学)与三时序(引入额外观测支撑长时序推理)两个子集。数据预处理通过Google Earth Engine(GEE)平台完成Sentinel-2 L2A级影像的云量筛选(CLOUDY_PIXEL_PERCENTAGE≤30%)与±3天时序复合,Sentinel-1数据经热噪去除、辐射定标与地形校正。该数据集首次整合了真实含云光学影像与多时序SAR,涵盖城市扩张、农田破碎化、水体淹没等典型洪灾场景变化,突破了以往数据集“辅助光学数据完全无云”的假设,更贴合实际应用需求。

CRGenNet架构的有效性验证

定量实验中,CRGenNet在TCSEN12测试集上取得PSNR=26.978、SSIM=0.648、MAE=0.041、RMSE=0.050、FID=72.789的综合最优性能,显著优于BicycleGAN、MUNIT、MTS2ONet等对比模型。在公开DTSEN1-2数据集上,CRGenNet进一步达到PSNR=88.9263、SSIM=0.9999,验证了其在稳定环境中的超高精度。消融实验显示,移除DownUpBlock导致FID从72.789升至81.240,证明跨模态早期融合对特征一致性的关键作用;剔除FusionAttention后时序特征混淆加剧,凸显注意力机制对动态场景的适应性。

场景泛化能力:从林地到复杂城镇

定性分析涵盖林地、农田、城市建筑、村落四类典型场景。在城市密集区(图13),CRGenNet成功修复云遮挡的道路网与建筑轮廓,避免了Pix2Pix的模糊伪影与MUNIT的语义失真(如错误生成的农田);在高度破碎的农田区(图11),模型利用SAR结构线索还原地块边界,克服了厚云干扰下其他方法的纹理涂抹问题;对于洪灾后的混合地类(图15),CRGenNet精准保留了水体-陆地过渡带的结构连续性,而扩散模型DGMR虽纹理丰富但空间一致性不足。可视化特征图(图19)证实,FusionAttention的高激活区域集中于原光学影像的云覆盖区,说明模型主动聚焦于缺失信息的重建。

时序输入的“质量优于数量”规律

三时序输入实验揭示关键现象:仅用与目标时间(7月27日)地表状态相近的8月8日数据(Scenario 1),性能(PSNR=32.615)优于同时加入灾前7月15日数据(Scenario 3,PSNR=32.049)。这表明语义相关性比单纯增加时序长度更重要——灾前过时信息可能误导模型,反成噪声。这与多时序遥感分析的“选择性融合”理论一致,为实际应用中观测时相选择提供了实证依据。

计算效率与实用性平衡

CRGenNet参数量(41.25 M)仅为ResViT的三分之一,推理速度达89.09 FPS(256×256输入),较MTS2ONet(69.37 FPS)提升28%,且显著快于串行结构的HPN-CR(43.49 FPS)。这种“高精度+实时性”组合,使其更适合灾害应急等时效敏感场景的部署。

结论与讨论

本研究提出的CRGenNet框架,通过DownUpBlock与FusionAttention的创新设计,实现了多云条件下多模态时序数据的有效融合,解决了传统方法依赖无云假设、时序变化敏感度过高两大痛点。TCSEN12数据集的发布,填补了面向真实含云场景与突发灾害(如洪水)的评测空白,推动遥感生成模型从“理想实验室”向“复杂现实”跨越。
讨论部分深入剖析了性能增益根源:① 跨模态互补:SAR的全天候结构信息弥补了光学云的盲区,而光学云隙的谱段特征被选择性保留,形成“结构-光谱”双重约束;② 时序选择性:模型并非简单平均多时相,而是通过注意力筛选与目标时间最相关的特征演化路径,避免无关变化的干扰;③ 物理一致性:相比纯生成式扩散模型,CRGenNet的SAR引导确保了重建结果的地表物理合理性(如洪水边界与地形吻合)。
研究的局限性在于:极端云盖下若光学有效信息过少,SAR无法完全填补细粒度纹理(如特定作物种植模式);未来可探索不确定性量化(如生成置信度图)与轻量化部署(知识蒸馏),并扩展数据集至更多气候带与季节变化,进一步提升模型的普适性与业务化能力。
综上,CRGenNet不仅为多云地区的光学影像缺失问题提供了技术突破,更为遥感人工智能在防灾减灾、农业监测等领域的落地应用奠定了方法与数据基础。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号