云污染下近实时土地利用与土地覆盖制图的异构 SAR-光学融合:一种新型框架与全球基准数据集
《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》:Heterogeneous SAR–optical fusion for near-real-time land use and land cover mapping under cloud contamination: A novel framework and global benchmark dataset
【字体:
大
中
小
】
时间:2026年10月24日
来源:ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING 12.9
编辑推荐:
光学遥感影像经常受到云和云阴影污染的退化,这限制了其在近实时土地利用与土地覆盖(LULC)制图中的可靠性。尽管合成孔径雷达(SAR)能够提供穿云的结构信息,但现有的SAR-光学融合方法通常假定光学观测是可靠的,且未能充分解决云污染引入的语义不确定性。针对这一问题,我们提出了C
光学遥感影像经常受到云和云阴影污染的退化,这限制了其在近实时土地利用与土地覆盖(LULC)制图中的可靠性。尽管合成孔径雷达(SAR)能够提供穿云的结构信息,但现有的SAR-光学融合方法通常假定光学观测是可靠的,且未能充分解决云污染引入的语义不确定性。针对这一问题,我们提出了CloudLULC-Net,一种端到端的异构SAR-光学融合框架,能够直接从受云污染的Sentinel-2影像和时间相邻的Sentinel-1 SAR观测数据中预测LULC图。所提出的网络首先利用光学可靠性调制来自适应地调节不可靠的光学响应,然后使用异构信息自适应聚合来逐步建模光学与SAR表示之间的跨模态空间和通道交互,最后应用统一的语义映射Transformer来组织融合特征于面向LULC的潜在空间中。此外,我们引入了语义锚点引导的优化策略以提高中间语义表示的一致性。为支持该任务,我们构建了CloudLULC-Set,一个大规模基准数据集,包含40,223个经过筛选的SAR-光学-标签三元组,涵盖不同地理区域和云条件下的像素级LULC标注。实验结果表明,CloudLULC-Net达到了86.60%的总体精度(OA)、83.29%的F1分数和73.51%的mIoU,分别比次优方法高出0.94、1.25和0.78个百分点。与现有全球LULC产品的产品级参考比较以及在不同云覆盖水平下的分析进一步证明了CloudLULC-Net在多云地区进行目标日期LULC制图的鲁棒性和实用价值。项目公开地址为:https://github.com/RSIIPAC/CloudLULC
引言
准确且及时的土地利用与土地覆盖(LULC)信息是监测陆地表面动态变化和支持多种对地观测应用的基础,包括农业评估、城市扩张分析、灾害响应、生态保护和自然资源管理(Ghorbanian等,2020;Wang等,2023;Li等,2024;Li等,2026a)。光学遥感影像长期以来一直是LULC制图的主要数据来源之一,因为它提供了与陆地表面特性直接相关的丰富光谱、空间和纹理信息(Zhu等,2017;Ma等,2019;Liu等,2026)。近年来,一系列基于光学卫星观测的区域性和全球性LULC产品,如ESA WorldCover(Zanaga等,2022)、Esri Land Cover(Karra等,2021)和Google Dynamic World(Brown等,2022),极大地推动了大规模土地覆盖监测。然而,光学遥感本质上受大气条件影响。云层和云阴影经常遮挡陆地表面信号、扭曲光谱响应,并减少有效光学观测的可用性,在热带、亚热带、季风区和高纬度地区尤为明显(Qiu等,2019;Williamson等,2019;Li等,2026b)。这一局限性对于近实时或目标日期LULC制图尤为关键,因为所生成的地图应反映当前或近期陆地表面状态,而非时间延迟或大量合成的表示。
现有方法大致可按三个维度进行分类:输入观测的类型、多时相或多模态信息集成的阶段,以及信息融合与LULC预测是分别优化还是联合优化。基于这些标准,我们总结了云污染条件下LULC制图的四种代表性范式,如图1所示。第一类是同构时序制图,利用同一或类似传感器的多时相光学观测来恢复缺失的表面信息或提高时间连续性。根据融合与分类的执行顺序,这些方法可分为两种典型方案。第一种方案遵循同构先融合后制图范式,即先对受云污染的光学影像进行重建或时间融合,然后利用恢复的影像进行LULC分类(Zhu和Woodcock,2014;Chen等,2016;Shu等,2025)。第二种方案采用同构先分类后制图范式,即独立对多个光学观测进行分类,随后将得到的LULC地图进行整合以获得更完整的土地覆盖表示(Li等,2024;Zhang等,2025b)。这些同构时序方法具有吸引力,因为它们可以充分利用现有的光学时间序列存档,而无需额外的传感器模态。然而,其有效性强烈依赖于在合适的时间窗口内是否存在足够多的无云或低云光学观测。在持续多云地区,有效的光学观测可能在很长一段时间内仍然稀缺。在快速变化的景观中,时间替代的观测可能引入物候不匹配、季节不一致或过时的陆地表面信息。此外,这些方法的两步性质意味着影像重建或地图级整合通常与最终分类目标分开优化,这可能会限制下游LULC制图中类判别信息的保留(Xu等,2024;Xu等,2025)。
第二类是异构SAR-光学制图,引入具有不同成像机制的传感器观测来补充受云污染的光学影像。合成孔径雷达(SAR)在此背景下引起了越来越多的关注,因为它是一种主动微波成像系统,能够在多云条件下独立于太阳光照获取陆地表面观测(Kattenborn等,2019;Li等,2021)。与光学影像相比,SAR提供与表面结构、粗糙度、几何形状和水分状况相关的物理不同的信息(Moreira等,2013)。因此,当光学光谱信息部分或完全被云退化时,SAR可以为识别土地覆盖类别提供补充线索。现有的异构SAR-光学制图方法也可大致分为两种代表性方案。第一种方案是异构先重建后制图,即首先利用SAR数据辅助去除云层或光学影像重建,然后在重建的光学影像上进行LULC分类(Li等,2023;Pan等,2024;Xu等,2025;Zhang等,2025c)。该策略提高了光学影像的视觉完整性,但去云过程通常使用逐像素重建损失进行优化,可能无法保留下游分类所需的高层语义信息。第二种方案是异构端到端制图,即直接将受云污染的光学影像和SAR观测进行融合以进行LULC分类,允许异构交互和语义预测针对最终制图目标进行联合优化(Xu等,2024;Zhang等,2024;Wu等,2025;Yu等,2025)。与先重建的流程相比,该范式避免了显式的光学重建,减少了重建与分类之间潜在的语义信息损失。近期方法从不同角度进一步改进了这一范式。SegCR(Wu等,2025)引入了云影响感知的互补融合,结合辅助特征转换和去云;而STSNet(Yu等,2025)利用空间、时间和光谱信息进行多模态土地覆盖分割。然而,在严重云污染条件下,空间变化的光学可靠性和融合异构特征的任务导向语义组织仍然是重要挑战。
尽管取得了这些进展,从受云污染的SAR-光学影像中进行鲁棒的LULC制图仍然具有挑战性。首先,SAR和光学影像是异构数据源,在成像机制、辐射特性、噪声特性、几何畸变和语义表示方面存在显著差异(Wu等,2022;Zhang等,2025a)。这些差异可能在融合过程中导致域间隙和特征错位,尤其是在两种观测在不同日期或不同成像几何条件下获取时。其次,受云污染的光学影像提供的信息在空间上是非均匀的。无云或弱污染区域仍然包含有价值的光谱和纹理线索,而云覆盖区域可能提供不完整或误导性的表面信息(Xu等,2024)。在不考虑这种空间变化可靠性的情况下直接融合光学和SAR特征,可能导致模型在云覆盖区域过度使用受损的光学特征,或在晴空区域未能充分利用信息丰富的光学特征。第三,许多现有的SAR-光学融合模型是在晴空或高质量光学条件下设计的,因此未能充分解决云污染引入的语义不确定性(Li等,2022a;Zhang等,2024)。最后,尽管已发布了若干SAR-光学或基于SAR的基准数据集,但它们主要集中在建筑提取、无云土地覆盖分类或仅SAR制图上,而专门针对受云污染的SAR-光学LULC制图的公开数据集在地理覆盖范围、云条件多样性、标注透明度和标准化评估协议方面仍然有限(Shermeyer等,2020;Xia等,2025)。
针对这些问题,本研究提出了CloudLULC-Net,一种用于云污染条件下近实时LULC制图的异构SAR-光学融合框架。CloudLULC-Net不是将去云和LULC分类视为两个独立的任务,而是以端到端的方式直接集成受云污染的光学影像和时间相邻的SAR影像,并将融合表示针对最终LULC制图目标进行优化。核心思想是利用光学和SAR观测的互补优势,同时减少云引起的光学退化和跨模态差异的负面影响。具体而言,该模型引入了光学可靠性调制模块来自适应调节受云污染的光学特征的贡献,异构信息自适应聚合模块来建模SAR和光学表示之间的高阶空间-通道交互,以及统一的语义映射Transformer来在面向LULC的潜在空间中组织融合特征。此外,还设计了语义锚点引导的优化策略,利用标签导出的语义锚点来正则化中间语义表示。通过这一设计,CloudLULC-Net能够在受污染较少的区域保留有用的光学光谱信息,在云遮挡区域融入SAR衍生的结构线索,并在不同云条件下提高LULC预测的语义一致性。
除了方法框架之外,本研究还构建了CloudLULC-Set,一个针对受云污染的SAR-光学LULC制图的大规模基准数据集。该数据集包含时间配对的Sentinel-2光学影像、Sentinel-1 SAR影像、云条件信息和像素级LULC标注,涵盖地理多样化的区域。为提高基准的可靠性和可重复性,数据集构建过程考虑了区域和季节多样性、云覆盖分布、标签一致性、质量控制以及固定的训练/验证/测试划分。通过提供专用数据集和标准化评估协议,CloudLULC-Set支持针对现实世界云污染条件下LULC制图的异构SAR-光学融合进行系统性研究。基于该基准的广泛实验表明,CloudLULC-Net在不同云覆盖水平、土地覆盖类别和代表性区域上均实现了鲁棒的分类性能,展示了其在多云地区进行目标日期LULC制图的潜力。
本研究的主要贡献总结如下:
(1)我们将云污染条件下的近实时LULC制图表述为异构SAR-光学融合问题,并系统地将其与同构时序融合和异构先重建后制图范式区分开来。
(2)我们构建了CloudLULC-Set,一个针对受云污染的SAR-光学LULC制图的大规模基准数据集,提供时间配对的Sentinel-2/Sentinel-1观测、像素级LULC标注、云条件统计和标准化评估协议。
(3)我们提出了CloudLULC-Net,一种端到端的异构SAR-光学融合框架,能够直接从受云污染的光学影像和时间相邻的SAR观测中预测LULC地图,避免了先重建流水线中可能出现的语义退化。
(4)我们设计了光学可靠性调制和异构信息自适应聚合模块,以抑制不可靠的光学响应并增强云影响条件下SAR和光学表示之间的高阶空间-通道交互。
(5)我们引入了统一的语义映射Transformer和语义锚点引导的优化策略,将融合的SAR-光学特征与面向LULC的语义潜在空间对齐,提高了语义一致性和分类鲁棒性。
本文其余部分组织如下。第2节综述相关工作。第3节介绍CloudLULC-Set的构建。第4节提出所设计的异构SAR-光学融合框架。第5节报告实验结果和分析。第6节讨论发现和局限性,第7节对论文进行总结。
章节片段
用于云污染遥感解译的SAR-光学融合
SAR-光学融合已成为遥感解译中的一个重要方向,因为这两种传感器提供了对陆地表面的互补观测。光学影像记录反射的太阳辐射,包含丰富的光谱、空间和纹理信息;而SAR测量微波后向散射,对表面结构、粗糙度、几何形状和水分相关特性敏感(Verhoest等,2008;Moreira等,2013)。这种互补性激发了……
基准数据集构建
为支持云污染条件下的目标日期LULC制图,我们构建了CloudLULC-Set,一个专用的SAR-光学基准数据集,集成了受云污染的Sentinel-2光学影像、时间相邻的Sentinel-1 SAR观测和像素级LULC标注。与主要面向无云土地覆盖分类、影像匹配或通用多模态融合的常规SAR-光学数据集不同,CloudLULC-Set聚焦于一个更具挑战性和实用性的……
所提方法
本节介绍所提出的CloudLULC-Net,用于从受云污染的SAR-光学观测中进行近实时LULC制图。
CloudLULC-Net直接从受云层污染的可见光影像及其在时间上邻近的SAR观测数据中学习任务导向的映射,从而生成像素级的土地利用/覆盖类型标签。如图4所示,主要预测路径由模态特定的特征编码、可见光可靠性调制(ORM)、异构信息自适应聚合(HIAA)以及统一实验与分析。
本部分评估了所提出的CloudLULC-Net在CloudLULC-Set基准数据集上的有效性。实验旨在检验所提出框架在受云层污染的SAR与可见光土地利用/覆盖类型映射中的准确性与实际适用性。首先,在统一的实验协议下与代表性方法进行对比,以评估CloudLULC-Net的整体分类性能与计算效率。随后,与现有的全球LULC进行比较验证。
讨论:实验结果表明,CloudLULC-Net在受云层污染的SAR与可见光土地利用/覆盖类型映射中取得了具有竞争力的性能。除了与代表性方法和全球LULC产品的整体比较之外,还需要进一步分析为什么所提出的框架在恶劣观测条件下有效。因此,本部分讨论了云层污染的影响、SAR观测的贡献、关键模块的有效性以及潜在……
结论:本研究探讨了在受云层污染的可见光观测条件下近实时土地利用/覆盖类型映射的问题,并提出了CloudLULC-Net,这是一种异构SAR与可见光融合框架,旨在直接从受云层污染的Sentinel-2影像及时间上邻近的Sentinel-1 SAR观测数据中预测土地利用/覆盖类型图。为支持这一任务,我们构建了CloudLULC-Set,这是一个由精心整理的SAR、可见光和标签三元组组成的大规模基准数据集,包含像素级的土地利用/覆盖类型标注。
作者贡献声明:
许江贡:撰写——初稿,软件,方法论,调查研究,数据整理,概念构思。
薛维宝:撰写——审阅与编辑,验证,方法论,调查研究。
尤晓宇:撰写——审阅与编辑,方法论,调查研究。
潘俊:验证,监督,项目管理,资金获取,形式分析,概念构思。
梁新联:撰写——审阅与编辑,监督。
王米:撰写——审阅与编辑,监督。
利益冲突声明:作者声明没有已知的竞争性经济利益或个人关系可能影响本文所报告的工作。
致谢:作者衷心感谢欧洲空间局(ESA)为提供本研究所需的高质量卫星影像。本研究得到了中国国家自然科学基金的资助,项目编号为62371352和62425102。
许江贡 | 薛维宝 | 尤晓宇 | 潘俊 | 梁新联 | 王米
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号