基于多模态遥感数据的中国博斯腾湖湿地植被制图自监督学习

《Remote Sensing Applications: Society and Environment》：Self-Supervised Learning with Multimodal Remote Sensing Data for Wetland Vegetation Mapping in Bosten Lake, China

　　

摘要：在高山环境中实现精确的湿地植被制图仍然具有挑战性，原因包括植被类别间的高光谱相似性、复杂的空间格局、季节性的水文变化以及实地标注样本的有限性。本研究提出了一种基于自监督学习（SSL）的多模态遥感方法，用于中国新疆博斯腾湖高山湿地的植被制图。通过将Pléiades、PlanetScope-3、Sentinel-2、珠海-1和RadarSat-2 SAR影像进行组合，构建了单传感器、配对融合和全多源融合输入，以利用互补的空间、光谱和结构信息。使用四种SSL方法（Barlow Twins、SimCLR、SwAV和SimSiam）在无标签多源图像斑块上对ResNet-50模型进行预训练，然后将ResNet-50学习到的表示应用于两个分割模型：DeepLabV3+和HRNet。无SSL预训练的有监督模型用于比较，并在有限标注情况下（每类3、5、7和10个标注多边形）进行了进一步评估。使用配对融合数据集（PS+ZH），基线模型DeepLabV3+在全多源融合输入下表现良好，获得了最高的平均交并比（mIoU）值0.65。在所有评估的配置中，SSL预训练模型始终优于有监督基线模型，而多模态融合通过融合互补的光学和SAR多状态信息实现了更加一致的分割性能。结果还表明，仅仅增加光谱维度并不能实现更好的分割结果，因为珠海-1的分割结果仍受到类别混淆和空间不一致性的显著影响。HRNet保留了更多细节的空间信息，但对局部变化和复杂类别边界更为敏感，而DeepLabV3+则产生了更具空间连贯性的分割图。总之，所提出的框架清楚地表明，基于多模态遥感的自监督表示学习是有限标注条件下湿地植被制图的一种有前途的工具，在高山湿地环境的生态监测和规划中展现出巨大的潜力。

引言：湿地是地球上最具价值也最脆弱的生态系统，在碳封存、水文调节、生物多样性保护、洪水缓冲、水净化和气候韧性等方面提供生态系统服务（Davidson等，2019；Mitsch & Gosselink，2000）。虽然高海拔环境十分敏感，但在高山湿地中，植被生长、水分可用性与气候过程密切相关。在气候变暖、季节性水文波动和日益增加的土地利用压力下，这些系统可能会经历植被组成、地表水分和栖息地结构的非常快速的变化。使用机器学习和深度学习方法进行湿地分类仍然面临若干挑战，包括获取标注样本的困难、有噪声的参考数据，以及模型在不同地理区域或卫星平台之间缺乏可迁移性（Effah等，2025）。

遥感技术可用于对大面积且难以到达的偏远地区进行监测，具有空间连续性和可重复性。从光学卫星影像中获取的植被反射率可用于检测与冠层状况、生物量、叶绿素含量和地表覆盖相关的信息，而合成孔径雷达（SAR）则提供关于植被结构、地表粗糙度和水分状况的互补信息（Mahdianpari等，2018）。这些观测在湿地中尤其有用，因为湿地的植被分布受淹没梯度和水分制度变化及/或季节性水位波动的影响。然而，细尺度的湿地植被制图仍然是一项挑战，因为许多植被群落混生于区域内，并且在生长季期间，水陆过渡区域没有清晰的类别边界，而是呈渐进式过渡（Fromm等，2025）。

深度学习已被用于通过从遥感影像中提取层次化的空间和光谱特征来提升土地覆盖和植被制图。语义分割的主要优势之一是能够生成像素级信息，从而同时捕获纹理细节和空间上下文。空洞卷积用于增强DeepLabV3+中的多尺度上下文学习，而HRNet在整个网络中保持高分辨率空间信息，两者均适用于细尺度植被分割（L.-C. Chen等，2017；J. Wang等，2021）。基于transformer的模型也展示了长程上下文表示在图像分析和遥感解译中的应用（Aleissaee等，2023）。此外，最近的研究表明，基于深度学习的语义分割已成为遥感在环境监测、水文、农业和土地覆盖分析应用中主要研究焦点（Li等，2024）。

尽管取得了这些进展，但有监督分割模型通常需要大量可靠的标注数据集。这些模型在现场使用中困难且昂贵，受季节限制，地理范围有限，有时还受生态保护需求的限制，因此限制了它们在高山湿地和保护区湿地中的实际应用。已有的湿地制图研究通过使用多光谱光学影像、SAR数据和多源融合提高了分类精度。光学数据可用于收集植被反射率和状况的信息，而SAR可以提供对水分和结构敏感的数据，从而在水文动态条件下的区域增强制图效果（Schmitt & Zhu，2016）。空间细节和光谱信息与结构信号的结合可以克服单传感器的不足，这被称为多模态融合（Zhang等，2020）。然而，许多基于融合的研究仍使用全监督学习，并假设有足够的标注样本可用。这一假设在高山湿地中几乎不可能实现，因为高山湿地通常缺乏对植被类别的可及性，标注多边形有限，且存在类别不平衡问题。

增加波段并不能更好地进行分割。然而，在实际的湿地应用中，不同传感器之间的空间一致性、配准精度、传感器噪声和类别重叠也是影响模型性能的重要因素，一个有效的湿地制图框架应能够从多源数据中学习可迁移的特征（X. Wang等，2020；D. Xu等，2025）。

自监督学习是从大量无标签图像中学习可迁移表示的一种潜在有效策略。一些方法，如SimCLR、SimSiam、SwAV和Barlow Twins，旨在通过强制图像增强视图之间的一致性、在表示空间中聚类语义相似样本或最小化学习特征的冗余性来学习信息丰富的特征（Caron等，2020；T. Chen等，2020；X. Chen & He，2021；Zbontar等，2021）。在处理遥感卫星图像时，这一点尤其有用，因为像素级标注昂贵、耗时且难以获取。相比之下，使用SSL结合多模态遥感数据分割湿地植被的研究仍大大不足，特别是在植被光谱类别相似、空间边界模糊且训练样本稀缺的高山景观中（Ayush等，2021；Vincenzi等，2021；Y. Wang等，2022）。尽管取得了这些进展，但当前的自监督学习方法并不能直接应用于高山湿地植被的制图。与传统的土地覆盖分类不同，高山湿地的植被群落之间具有高度的光谱相似性，水陆过渡边界缓慢，空间变异性显著，使得在单像素级别上对这些像素的判别更加困难。此外，多模态数据集结合了具有不同空间分辨率、传感机制和采集时间的光学和SAR影像，这造成了一些跨模态不一致性，对现有的自监督学习框架仍然构成挑战（Zong等，2024；Xue等，2025）。此外，在高山湿地中，由于难以到达、生态保护需求以及实地调查的时间和费用，现场标注样本难以获取。近年来，湿地制图的研发受到了互补的光学和SAR信息集成以及最小化标注数据需求的指导，这在近期的综述中得到了强调（Waleed等，2025；Yuan等，2025）。因此，需要在多模态环境下评估自监督学习，即利用大量无标签影像学习鲁棒且具有可迁移性的特征表示，然后再使用有限标注影像进行微调。

当标注数据较少时，有限标注评估是衡量模型性能的实用方法。这对于受保护、偏远或水文条件复杂的景观中的湿地监测尤其相关，因为这些地方缺乏密集的实地标注。近年来，在使用遥感数据进行有限标注场景的研究中，由于大规模标注成本高昂或不切实际，越来越受到关注，在此背景下，当标注样本有限时，迁移学习、自监督学习和多模态特征融合可用于提升性能（Qiu等，2024）。在此背景下，评估通过每类3、5、7和10个标注多边形进行，模拟逐步增加的标注难度，并丰富了与传统全监督训练所得结果的对比评估。

本研究提出了一种有限标注条件下的基于自监督多模态遥感的湿地植被分割方法。该框架整合了一个由Pléiades、PlanetScope-3、珠海-1和SAR数据组成的48波段多模态融合数据集，以及配对融合数据集（Sentinel-2 + Pléiades和珠海-1 + Pléiades）。该设计将精细空间数据、多光谱和高光谱植被数据与基于SAR的结构和水分敏感数据进行了集成。首先，使用自监督学习在无标签多源图像斑块上对ResNet-50骨干网络进行预训练。然后将学习到的表示导出到DeepLabV3+和HRNet中用于下游语义分割，并使用无SSL预训练的基线模型来衡量自监督特征学习的影响。该框架最大的优势之一在于同时解决了湿地植被制图的两大挑战：传感器信息不足和标注数据缺乏。此外，多模态融合传递了空间、光谱和结构信息，支持复杂植被群落的分离，而SSL预训练使模型能够在有监督微调之前学习可迁移的光谱-空间表示。随后在3标签、5标签、7标签和10标签设置下进行的进一步实验，测试了当标注多边形数量较少时学习到的表示的有效性。所提出的框架通过将无标签表示学习和有限标注评估纳入基于多源数据融合的单一分割流程，超越了传统的有监督湿地制图方法。这是在高山地区密集实地标注环境下进行细尺度湿地植被制图的一种实用且可扩展的方法。

研究片段

研究区域：本研究在中国新疆西北部博斯腾湖区域开展。该高山湿地地形复杂，大陆性气候条件显著，冬季漫长，生长季短，季节变化明显。当地水文过程具有动态性，受融雪和季节性径流的影响，驱动着湿地中水位和植被带谱的变化。其他高山湿地研究发现，季节性气候变化和积雪动态

提出的框架：所提出的框架基于多源遥感融合、自监督表示学习和下游语义分割，用于有限标注条件下的湿地植被制图。总的来说，整个框架流程可以分为四个主要步骤：数据准备、多源融合、自监督预训练和用于语义分割的有监督微调，如图5所示。在数据准备阶段，多传感器卫星

基线分割性能：作为评估SSL预训练表示效果的基线，基线分割模型在未进行自监督预训练的情况下训练了50个epoch。选择50个epoch训练是因为DeepLabV3+和HRNet两个模型均在该范围内达到了稳定收敛，并且初步实验表明，超过50个epoch的进一步有监督训练并未在验证集上带来显著改进。100

多模态融合如何改进湿地制图：实验结果表明，融合多种遥感数据源，如光谱、空间和结构数据，显著增强了湿地植被的分割效果。光学数据是获取植被反射率、土地覆盖组成和精细空间细节的主要数据源，而SAR则为植被结构、地表粗糙度和地表水分提供了互补信息。

在湿地中，植被的分布强烈受……影响结论本研究探索了在无标签条件下，自监督学习与多模态遥感数据相结合在中国博斯腾湖高山湿地植被制图中的表现。在ResNet-50骨干网络上使用了四种自监督学习方法（Barlow Twins、SimCLR、SwAV和SimSiam）对其进行预训练，随后迁移到DeepLabV3+和HRNet语义分割网络中。所提出的框架全面测试了……CRediT作者贡献声明Albert Poponi Maniraho：撰写—审阅与编辑。Arslan Akhtar：撰写—审阅与编辑。Firdavs Vosidov：撰写—审阅与编辑。Muhammad Murtaza Zaka：撰写—初稿、可视化、验证、软件、方法、调查、形式分析、数据整理、概念化。Alim Samat：撰写—审阅与编辑、验证、监督、资源、项目管理、方法、调查、资金获取、形式分析、概念化。Ali Usman：未引用参考文献Fu等，2024；Xu等，2025。涉及人类和动物的研究声明本研究未涉及人类参与者、人类数据、动物受试者或动物实验。该研究基于遥感数据、野外植被观测以及湿地植被制图的用地覆盖参考样本。因此，不需要进行人类或动物研究的伦理审批。利益冲突声明? 作者声明他们没有已知的竞争性财务利益或个人关系，这些利益或关系可能会影响本文所报告的工作。Muhammad Murtaza Zaka｜Alim Samat｜Ali Usman｜Albert Poponi Maniraho｜Arslan Akhtar｜Firdavs Vosidov干旱地区生态安全与可持续发展国家重点实验室，中国科学院新疆生态与地理研究所，乌鲁木齐 830011，中国