通过卷积块注意力模块和深度监督技术提升土地覆盖语义分割的效果

《Artificial Intelligence in Geosciences》：Enhancing land cover semantic segmentation with convolutional block attention modules and deep supervision

　　萨拉·莫布赛特（Sara Mobsite）| 雷诺·霍斯塔什（Renaud Hostache）| 劳尔·贝尔蒂-埃奎尔（Laure Berti-équille）| 埃马纽埃尔·鲁（Emmanuel Roux）| 蒂博·卡特里（Thibault Catry）| 乔里斯·盖兰（Joris Guérin）

ESPACE-DEV，法国国家可持续发展研究所（IRD），法国

**摘要**

高分辨率土地覆盖语义分割面临着类别不平衡、少数类别的空间碎片化以及细粒度纹理和传感器噪声的影响，这些因素可能主导早期特征学习过程。此外，生成高分辨率标注地图既耗时又需要专家注释，而低分辨率地图虽然容易获得，但缺乏空间精度。为解决这些挑战，我们提出了MUSCLE-Net，这是一种多尺度土地覆盖网络，通过深度监督显式地确保不同空间分辨率下的语义一致性。通过在早期解码阶段引入辅助的低分辨率分割任务，该网络被限制在恢复细粒度空间细节之前先学习具有语义意义的区域表示，从而促进从粗到细的解码过程，减少了对高频噪声的过拟合。解码器中融入了卷积块注意力模块（Convolutional Block Attention Modules），以进一步优化空间和通道级的特征选择。

对于DynamicEarthNet数据集，MUSCLE-Net的总体准确率为66.48%，比UNet高出1.05%，比DeepLabV3高出6.21%，比PSPNet高出7.70%。对于DFC2020数据集，MUSCLE-Net的总体准确率为70.10%，比UNet高出2.86%，比PSPNet高出4.98%，比DeepLabV3高出6.10%，并且在不同运行之间表现出更低的变异性，反映了其在少数土地覆盖类别上的更强鲁棒性。

**1. 引言**

高分辨率土地覆盖（Land Cover, LC）映射通常使用基于深度学习的语义分割技术，在带有标注的卫星图像上进行监督训练（Yuan等人，2021年）。LC语义分割涉及为输入数据中的每个像素分配一个独特的标签。LC语义分割的应用范围很广，包括森林砍伐监测（Choi等人，2024年）、土地退化监测（Vo Quang等人，2025年；Tian等人，2025年）到海冰识别（Wang等人，2025年）。根据任务的不同，可以使用来自不同卫星的数据：一些近期研究使用雷达数据（Sentinel-1）进行LC分割（Jamali等人，2024年；Pech-May等人，2024年；Zhao等人，2024年），而其他研究则偏好使用光学数据（Sentinel-2）（Buttar和Sachan，2024年；Andresini等人，2024b年）。雷达因其能在云层覆盖下工作而常被选用。相比之下，光学图像提供了可见光、近红外（NIR）和短波红外（SWIR）波段的丰富光谱信息，从而能够提取详细的光谱和纹理特征。然而，光学数据对云层干扰和大气效应很敏感。因此，许多研究结合了雷达和光学图像以实现更可靠的像素级LC识别（S. Wang等人，2024年）。

在像素级别对LC进行分类时，一个根本性挑战是表示大范围区域的类别与占据较小区域的类别之间的不平衡（Sharma和Gosain，2025年）。例如，森林和农田通常覆盖大片区域，而建筑物和道路等特征的空间范围相对有限。另一个重要问题是某些LC类别之间具有高度的语义相似性，这些类别常常表现出重叠的光谱和空间特征。例如，区分裸地和灌木丛在遥感图像中可能非常困难，因为岩石或沙质地形上的稀疏植被可能与裸土几乎相同。这些挑战因高分辨率、专家标注的LC数据集的有限可用性而变得更加严峻。代表性不足的类别和高质量注释的缺乏常常导致深度学习模型过度拟合主导类别和无关的细粒度模式，从而限制了它们的泛化能力。

在常用的土地覆盖语义分割的编码器-解码器架构中，解码器逐步从紧凑的高级特征表示中恢复空间分辨率。在解码的早期阶段，空间分辨率得到提升，而全局语义上下文仍然不完整，需要从语义有限的特征中重建细粒度细节。对于高分辨率遥感图像，早期的解码器特征可能会强调局部纹理和噪声，而不是有意义的土地覆盖语义，特别是对于碎片化和少数类别。因此，约束早期解码器表示以在较粗的空间尺度上编码语义一致的信息，对于实现稳健且可泛化的土地覆盖分割至关重要。

为了解决上述限制，我们引入了MUSCLE-Net（多尺度土地覆盖网络），这是一种用于土地覆盖语义分割的编码器-解码器架构。该模型通过引入辅助分割输出，在早期解码阶段强制执行全局语义信息，从而在恢复细粒度空间细节之前学习具有语义意义和尺度一致性的表示，促进从粗到细的土地覆盖区域细化。通过辅助监督学到的特征随后被重新整合到主解码路径中，加强主要的分割目标。此外，编码器和解码器之间还采用了跳跃连接，以保留细粒度空间细节和大规模上下文信息。

MUSCLE-Net的解码器由顺序卷积层组成，并结合了卷积块注意力模块（CBAM）（Woo等人，2018年）。CBAM通过自适应地关注编码器提取的最具信息量的通道级和空间成分来增强特征表示。这种注意力机制使模型能够更有效地捕捉复杂的景观结构。

所提出的MUSCLE-Net架构对编码器不挑剔，可以与其他基于卷积或变换器的主干网络结合使用。为了评估编码器选择的影响，并在性能和计算成本之间找到一个实际的折中方案，我们评估了几个使用在reBEN数据集（Hackel等人，2024年；Clasen等人，2025年）上预训练的公开可用权重初始化的编码器。基于这一分析，本研究选择了ResNet-50（He等人，2016年）。

本文的主要贡献如下：
- 为了有效利用高分辨率和低分辨率标签，将深度监督机制集成到早期解码阶段，以促进语义一致性，指导特征学习，并通过低分辨率地图的监督在初始层改善类别区分能力。
- 引入了增强了卷积块注意力模块的解码器，以选择性地强调对于准确区分不同土地覆盖类型至关重要的相关空间和通道特征。
- 在提出的MUSCLE-Net框架内系统地评估了基于变换器和基于卷积的编码器，在有无深度监督的配置下，以确定在分割性能和计算效率之间提供最佳折中方案的编码器架构。
- 通过深度监督任务学到的特征被重新注入到主分割路径中，来自深度编码器层的跳跃连接用于加强细粒度和大规模LC特征的表示。

本文的其余部分组织如下：
- **相关工作**部分回顾了关于LC语义分割的先前研究，特别关注基于弱监督和多任务学习的方法。
- **方法论**部分描述了所提出的MUSCLE-Net架构，包括基于CBAM的注意力增强解码器和多尺度深度监督的集成。
- **结果与讨论**部分展示了消融和优化研究，分析了编码器架构、CBAM集成和辅助监督策略的影响。该部分还使用相同的编码器配置对提出的模型与其他语义分割基线进行了比较评估，以确保公平比较。此外，还与其他使用不同编码器架构和解码策略的架构进行了额外的比较。

**2. 相关工作**

使用深度学习进行LC分割可以被视为单一任务问题，其中模型直接预测对应于预定义类别的LC地图；或者被视为多任务学习框架，其中加入额外任务以细化学习过程并提高分割性能。在Pe?ek等人（2024年）的研究中，训练并评估了多个基于单一任务的网络，包括FCN（Long等人，2015年）、UNet（Ronneberger等人，2015年）、SegNet（Badrinarayanan等人，2017年）和DeepLabv3（Chen等人，2017年），使用光学（OPT）数据来分割绿色城市区域。为了评估模型性能，该研究使用多种输入配置进行了比较分析，包括红-绿-蓝（RGB）波段和归一化植被指数（NDVI）。在Cong等人（2022年）的研究中，采用了基于变换器的自编码器来捕捉OPT数据中的时间和光谱关系，利用空间、时间和光谱维度上的位置编码来改进LC分析。在Jamali等人（2024年）的研究中，还提出了一种基于UNet的模型，使用合成孔径雷达（SAR）数据进行洪水映射。该方法通过波视觉模块和视觉多层感知器机制结合了任务特定的特征。同样，在Zhao等人（2024年）的研究中，也使用了SAR进行开放式城市环境的洪水映射。此外，还引入了一个名为UrbanSARFloods的新数据集，并在其上训练和评估了多个语义分割模型，如UNet++（Zhou等人，2018年）、MANet（Fan等人，2020年）和PAN（Li等人，2018年）。在Gimar?es等人（2000年）的研究中，通过引入注意力块以及残差和膨胀连接，对UNet、SF-Net（Li等人，2024年）和LSTM（Hochreiter和Schmidhuber，1997年）架构进行了修改。该研究的目的是利用SAR的相干特征来改进亚马逊南部不同地区的土地利用和森林砍伐映射，其中改进后的UNet架构实现了最高的准确率。

多样化输入数据源是提高LC语义分割的一种策略。例如，云层和大气扰动常常限制了OPT图像的可用性。为了解决这一限制，Huang等人（2022年）提出了光学和SAR图像组合红树林指数（OSCMI），该指数将光学数据与SAR观测数据结合起来。在这种方法中，SAR数据的垂直-垂直（VV）极化用于补充光学信息并增强红树林检测。同样，Xu等人（2024年）引入了一个多头网络，该网络结合了长跳跃连接以保留空间细节和对称注意力机制，逐步融合SAR和光学特征。这些研究表明，在具有挑战性的观测条件下，结合互补的输入模态可以提高分割性能。

然而，另一种策略也被采用（Amin等人，2025年），提出了一种多任务学习的全卷积网络，用于同时进行分割和边界检测，以支持早季农业边界映射。该模型仅依赖多光谱OPT图像作为输入。由于单独的分割对于这一特定任务来说不够，作者通过引入边界检测以及距离边界估计和分类置信度等辅助任务来增强学习过程。Lu等人（2025年）使用光学卫星数据和索引-特征-空间-注意力融合深度学习模型（IFSA-DLM）进行了塑料覆盖土地的映射。IFSA-DLM模型采用了双分支架构：一个分支提取多尺度索引特征，另一个分支直接处理来自OPT图像的原始光谱特征。然后通过空间注意力机制整合两个分支的输出以增强特征区分。在Andresini等人（2024a）的研究中，作者通过在将特征通过跳跃连接传递到解码器之前，在编码器特征中加入通道级注意力来改进UNet架构。所提出的模型利用OPT图像来检测和映射森林树木衰退。作者引入了教师-学生学习策略，其中一个辅助输出层（学生）从主要解码器层（教师）学习。在Fuller等人（2023年）的研究中，采用了自我监督学习来利用未标记的OPT和SAR数据。所提出的模型利用配对SAR和光学图像之间的对比学习，结合额外的重建任务来增强跨模态特征表示。然后可以将预训练模型转移到下游应用中并进行轻微微调，用于LC语义分割任务。

为了改进LC语义分割，Chen等人（2023年）采用了弱监督。该方法采用了两阶段框架，首先从低分辨率土地覆盖地图转移可靠的样本，然后使用部分标注的超像素和动态伪标签传播训练分割网络。在Cui等人（2024年）的研究中，提出了一种基于弱监督的框架，使用低分辨率土地覆盖产品作为指导来改进高分辨率土地覆盖分类。该方法首先通过基于超像素的训练策略从低分辨率标签中提取粗略的语义信息，以减少与高分辨率图像的不一致性。然后通过动态选择高置信度点标签来细化预测，使模型逐步学习更详细的特征，同时一致性正则化结合了粗略和精细的知识以提高分割性能。同样，在Chen等人（2025）的研究中，作者采用了超像素作为训练单元，以减少由于分辨率差异和小型误分类区域导致的错误。他们进一步引入了一种双专家学习策略，在训练过程中评估预测的可靠性，并自适应地校正大规模的噪声标签，使模型能够更好地处理标签噪声并生成更可靠的高分辨率土地覆盖图。尽管这些方法（监督学习和无监督学习）取得了进展，但土地覆盖（LC）类别的空间分布不平衡仍然是LC分割任务中的一个主要挑战。大多数数据集对于某些类别提供的样本有限，导致类别不平衡和分割错误。此外，一些LC类别之间的高度语义相似性可能导致模型过度拟合到覆盖大面积空间的主导类别（Sharma和Gosain，2025）。

3. 方法
本节描述了所提出的MUSCLE-Net架构的设计和核心组件，用于LC语义分割。它介绍了编码器-解码器框架、基于CBAM模块的注意力增强解码器，以及深度监督的整合，以改善多尺度特征学习。这种设计使得在整个训练过程中能够有效利用高分辨率和低分辨率的信息，并在解码的早期阶段更好地控制学习过程。

下载：下载高分辨率图像（489KB）
下载：下载全尺寸图像
图1. 所提出的MUSCLE-Net架构概览。该模型处理大小为H×W×N的多通道雷达和/或光学输入，并输出一个C通道的分割掩码。D1–D3表示解码器模块，而Aux表示用于深度监督的辅助输出。

3.1. MUSCLE-Net概述
所提出的MUSCLE-Net遵循自编码器架构。编码器可以是任何预训练的骨架网络，包括卷积网络、基于视觉变换器的模型或混合架构。在实践中，我们进行了比较实验研究，并选择了在reBEN数据集（Hackel等人，2024；Clasen等人，2025）上进行LC分类预训练的ResNet-50骨架。如图1所示，MUSCLE-Net的主要贡献在于其解码器设计。解码器专门设计用于逐步融合多尺度特征，并实现准确的空间重建，这使其区别于标准自编码器架构。如图1所示，解码器架构由三个深度逐渐增加的连续处理模块组成。每个模块都结合了一个卷积操作（Conv），无论是传统的还是深度可分离的（Chollet，2017），然后是CBAM（Woo等人，2018）。解码器结合了CBAM来模拟提取的特征图中的通道间和空间依赖性。为了促进更有效的梯度流动和特征细化，在解码阶段引入了深度监督。这种设置能够提取高度区分性和特定于任务的特征，从而提高分割性能。深度监督的位置和权重是通过比较分析经验确定的。

3.2. 卷积模块注意力模块
CBAM集成在MUSCLE-Net解码器的卷积层之后，以细化特征表示。该机制包括两个连续组成部分：通道注意力和空间注意力。在通道注意力模块中，输入特征图X∈RD×H×W首先沿着空间维度进行全局平均池化（AvgPool）和全局最大池化（MaxPool），产生两个形状为RD×1×1的描述符。平均池化捕获了一般的激活分布，而最大池化突出了最显著的特征。这些描述符被 flattened并通过一个由两个全连接层组成的共享多层感知器（MLP），中间有一个修正线性单元（ReLU）激活函数。第一层将维度从D减少到D/r，第二层将其恢复到D，从而实现高效且有表现力的特征转换。通道注意力机制在方程（1）中描述，其中Θ1和Θ2表示MLP的可学习权重。通过将两个池化路径的MLP输出相加并应用sigmoid激活函数σ，得到改进后的输出Yc。（1）Avg=AvgPool(X)，Max=MaxPool(X)，Favg=Θ2(ReLU(Θ1(Avg)))，Fmax=Θ2(ReLU(Θ1(Max)))，Mc(X)=σ(Favg+Fmax)，Yc=Mc(X)⊙X。随后，空间注意力模块对通道注意力的输出进行处理。它沿着通道轴应用平均池化和最大池化，生成两个大小为R1×H×W的空间映射。这些映射被连接起来形成两个通道的空间描述符R2×H×W，然后通过一个7×7核的卷积层进行处理。然后应用sigmoid激活函数产生空间注意力映射，该映射与通道细化后的特征图进行元素级乘法，以强调信息丰富的空间位置，从而得到输出Ys。这个过程在方程（2）中表示。（2）Ys=σ(Conv7×7ConcatAvgPool(Yc)，MaxPool(Yc)⊙Yc）

CBAM中通道和空间注意力的依次应用使网络能够强调通道和空间维度的信息丰富的特征。在原始CBAM设计中，使用带有元素级加法的残差连接在输入特征图X和CBAM输出Ys之间，以恢复可能丢失的信息（图2a）。然而，通过这种跳跃连接重新引入原始特征可能会减弱注意力机制的效果，因为它允许特征绕过学到的注意力权重。在这项工作中，我们通过有无残差连接的消融研究来评估残差连接的有效性（图2）。在所提出的网络中，CBAM没有应用于编码器，因为保持骨架架构的完整性，以便从reBEN数据集进行权重初始化。

下载：下载高分辨率图像（27KB）
下载：下载全尺寸图像
(a). 带有残差连接的CBAM。
下载：下载高分辨率图像（22KB）
下载：下载全尺寸图像
(b). 带有直接连接的CBAM。

3.3. 通过深度监督增强土地覆盖分割
为了改进和指导从解码器早期到后期的学习，在解码的初始步骤中应用了带有跳跃连接的辅助监督。这项任务通过促进对主要分割目标有益的特征的提取并将它们重新注入解码器来指导学习过程。它还促进了与每个解码阶段的分辨率语义对齐的中间表示的学习。与通常针对相关但不同目标的传统辅助任务不同，我们方法中的辅助输出来自相同的主要分割任务。因此，它们使用最近邻插值进行下采样，以匹配相应解码器块内特征图的空间维度。这种对齐使得在早期解码层中提取相关的空间语义成为可能，并改善了有意义信息通过解码器层次结构的流动。如图3所示，我们评估了辅助监督策略的效果，即早期监督（Aux 1）、接近最终输出的晚期监督（Aux 2）以及它们与最终预测（Final）的结合。在解码阶段，结合CBAM的卷积操作用于将低分辨率特征转换为高分辨率分割掩码，有效捕捉通道间和空间依赖性。使用双线性插值而不是转置卷积进行上采样，从而减少了可训练参数的数量。空间维度在三个阶段逐步恢复：从H/4×W/4到H/2×W/2，最后恢复到原始的H×W大小。模型训练由加权的全局损失函数（方程（3）指导，其中Ltotal表示在优化过程中最小化的总损失。LFinal项对应于从最终高分辨率分割输出计算的损失，而LAux1和LAux2分别表示与早期和晚期监督分支相关的辅助损失。权重系数λFinal、λAux1和λAux2调节每个损失组分的相对贡献。Ltotal=λFinalLFinal+λAux1LAux1+λAux2LAux2（3）受限于λFinal≥λAux1+λAux2，λFinal+λAux1+λAux2=1

下载：下载高分辨率图像（192KB）
下载：下载全尺寸图像
图3. 所提出的MUSCLE-Net通过两个辅助输出Aux 1和Aux 2结合深度监督。通过消融和比较分析评估它们的有效性，在全局损失函数中为Aux 1和Aux 2分配了不同的权重配置。

在现实世界场景中，辅助输出可以对应于同一地理区域的多种分辨率的产品。例如，一些土地使用和土地覆盖映射服务提供高分辨率产品，这些产品能够捕捉精细的空间细节，但获取和处理成本较高；还有低分辨率产品，这些产品更广泛可用，但包含较粗略的信息。与其丢弃低分辨率数据，不如在训练过程中将其作为补充监督使用。通过将这些不同分辨率级别的辅助输出对齐，鼓励模型学习多尺度特征表示，利用低分辨率数据的广泛上下文信息和高分辨率数据的详细空间模式。这种多分辨率监督最终可以提高模型的稳健性和预测性能。

4. 数据集和实验设计
本节描述了我们研究中使用的数据集以及用于评估MUSCLE-Net的总体实验方案。我们首先介绍了所使用数据集的特征和预处理。然后详细介绍了实验设计，包括比较策略和消融研究，随后是评估指标和实施细节，以确保结果公平和可重复。

4.1. 数据集
4.1.1. DFC2020
该数据集是为IEEE GRSS数据融合竞赛（DFC）2020（Schmitt等人，2019a；Robinson等人，2021）开发的，作为SEN12MS数据集（Schmitt等人，2019b）的扩展，包括8个LC类别以及Sentinel-1和Sentinel-2影像和相应的注释，空间分辨率为每像素10米。根据之前的研究（Fuller等人，2023；Y. Wang等人，2024；Cong等人，2022），我们使用原始测试集（5128个样本）进行训练（85%训练，15%验证），并使用原始验证集（986个样本）进行评估。

4.1.2. DynamicEarthNet
DynamicEarthNet数据集（Toker等人，2022）包含来自全球75个区域的Sentinel-2影像，以及7个LC类别的像素级注释。由于我们的模型使用预训练的编码器，该编码器期望输入分辨率为每像素10米，我们使用双线性插值对Sentinel-2波段进行下采样，并使用最近邻插值对相应的标签进行下采样。根据原始研究，冰和雪类别被排除在外，因为它们没有出现在验证或测试集中。我们任务的一个关键限制是该数据集专注于LC分割和变化检测，数据收集自2018年至2019年。许多类别，如森林和不透水面，变化很小，这使得每个位置的时间样本非常相似。为了引入变异性并帮助模型学习有意义的表示，我们对每个区域内的每个月度样本应用了随机独特的作物和旋转。所有光学数据和标签都被调整为256×256像素，空间分辨率为10米。我们使用10个区域的全部样本进行测试，11个区域进行验证，其余区域用于训练。这种策略确保即使在不同时间段收集的数据也不会同时出现在训练和验证集中。

下载：下载高分辨率图像（99KB）
下载：下载全尺寸图像
图4. 实验工作流程，展示了三个主要分析阶段：编码器和输入评估、解码器消融、CBAM和深度监督分析以及基线比较。

4.2. 实验设计
图4总结了我们研究中使用的实验工作流程。在第一步中，我们进行了没有深度监督的编码器架构的比较评估。这一步旨在评估在reBEN LC分类数据集上预训练的几种编码器的性能，并建立公平的比较。此分析中使用的模型包括ResNet-50、MobileViT-S（Mehta和Rastegari，2021）、ConvNeXt V2 Base（Woo等人，2023）和Inception NeXt Base（Yu等人，2024）。ResNet-50在整个网络架构中结合了跳跃连接，以缓解梯度消失问题并保留深度编码块之间的信息。Inception NeXt Base旨在在不同感受野级别高效地提取特征。受ConvNeXt（Liu等人，2022）和InceptionNet（Szegedy等人，2015）的启发，这种架构采用了深度可分离卷积而不是标准卷积，并在块之间添加了残差跳跃连接。此外，类似于MetaFormer块（Yu等人，2022；Yu等人，2023），Inception NeXt在MLP操作之后严格在块级别进行残差连接；然而，与MetaFormer不同的是，在Inception NeXt中，残差连接是在MLP之后添加的。ConvNeXt V2 Base通过引入全局响应归一化（GRN）扩展了ConvNeXt，这提高了表示学习和训练稳定性。最终，MobileViT-S将卷积操作与轻量级的视觉变换器结合在一起，实现了高效的空间上下文建模，同时保持了计算效率。在第二步中，我们进行了解码器组件分析，以隔离每个元素的贡献，包括CBAM、深度监督以及卷积层和CBAM输出之间的残差添加操作。这些实验基于ResNet-50，与其它编码器相比，它在性能和模型复杂性之间展现了良好的平衡，尤其是在小批量条件下（见附录部分的表C.1）。此外，我们还进一步分析了使用从这些实验中获得的最佳参数的CBAM和深度监督的效果，以验证观察到的改进是普遍的，不受编码器的影响。最后，在第三步中，我们使用相同的编码器架构和在reBEN数据集上预训练的相同初始权重，将优化的MUSCLE-Net配置与已建立的语义分割基准进行了基准测试，包括UNet、PSPNet（Zhao等人，2017年）和DeepLabV3。UNet被选为一个广泛采用的编码器-解码器架构，它利用跳跃连接来保留空间细节。PSPNet被包括进来是为了代表基于金字塔池化的方法，这些方法可以捕获多尺度的上下文信息。DeepLabV3被选为基于孔洞卷积的模型的代表，这些模型在保持空间分辨率的同时增强了感受野。这种选择使得可以全面比较不同的解码器设计哲学。

4.3 评估指标
在分析过程中，使用了平均交并比（MIoU）（公式（5）作为评估指标，该指标计算为按类别划分的IoU值（公式（4）的平均值），以及总体准确率（OA）（公式（6））、其中K表示类别的数量。对于每个类别i，TPi、FPi、FNi和TNi分别代表真正例、假正例、假负例和真负例的数量。真正例是指正确分类为类别i的像素，假正例是指错误地分配给类别i的像素，假负例是指正确分类为不属于类别i的像素。（4）IoUi=TPi/(TPi+FPi+FNi)，i=1,2,…,K；（5）MIoU=1/K∑i=1KIoUi；（6）OA=∑i=1KTPi/(TPi+FNi)。

4.4 实现细节
两个数据集中的Sentinel图像的输入大小均为256 × 256像素。每个输入由10个OPT波段和2个SAR通道组成：具体来说，DFC2020数据集有10个Sentinel-2波段和2个Sentinel-1通道，而DynamicEarthNet数据集仅包含光学波段（表1）。在组合SAR和OPT输入时，通道顺序如下：“VV”、“VH”、“B02”、“B03”、“B04”、“B05”、“B06”、“B07”、“B08”、“B8A”、“B11”和“B12”。
为了在所有实验中保持一致的初始化，编码器（ResNet-50、MobileViT-S、ConvNeXt V2 Base和Inception NeXt Base）在比较分析期间都使用了来自reBEN数据集的预训练权重。对于比较分析，编码器被固定在ResNet-50架构上，并均匀应用于所有模型（UNet、PSPNet、DeepLabV3和MUSCLE-Net），以确保公平评估。对于DFC2020，编码器权重是经过训练的，而对于DynamicEarthNet，编码器权重在所有模型中保持不变，以便系统地评估两种训练策略。
在所有实验中，使用交叉熵损失（Goodfellow等人，2016年）作为训练目标。模型训练的最大周期数为200个周期，对于DFC2020，由于训练样本数量较少，采用了20个周期的早期停止策略；对于DynamicEarthNet，则采用了10个周期的早期停止策略。Adam优化器（Kingma，2014年）被使用，初始学习率为0.001，批量大小在16到64之间变化。

表1. 每个数据集使用的卫星源和通道
卫星数据集 使用的波段
DFC2020 Sentinel-1: VV, VH ?– Sentinel-2: B02, B03, B04, B05, B06, B07, B08, B8A, B11, B12
DynamicEarthNet: VV, VH, B02, B03, B04, B05, B06, B07, B08, B8A, B11, B12

5. 结果与讨论
本节对提出的MUSCLE-Net架构进行了全面评估，并讨论了其设计选择对LC分割性能的影响。首先，我们分析了不同编码器架构的影响，以确定最合适的框架。随后，通过广泛的消融和比较研究，研究了关键解码器组件（包括CBAM和深度监督）的效果。最后，将优化的MUSCLE-Net配置与DFC2020和DynamicEarthNet数据集上的最先进分割模型进行了比较，以证明其有效性和泛化能力。

5.1 编码器架构评估
为了确定最适合提出的MUSCLE-Net模型的编码器架构，我们使用组合SAR和OPT输入在输入层面对这些网络进行了实验，以评估它们的性能。选择使用组合SAR和OPT数据而不是单独使用任何一种模式的动机是在附录A（表A.1）中提出的比较分析，该分析表明OPT+SAR配置在DFC2020数据集上表现更好。因此，本节中报告的所有实验都使用了OPT+SAR输入设置，以便在不同编码器架构之间进行公平比较。表2报告了使用来自reBEN数据的不同编码器架构初始化的MUSCLE-Net所实现的每个类别的IoU和MIoU。所有实验的批量大小为64，并且比较分析是在没有深度监督的情况下进行的。尽管Inception NeXt实现了最高的MIoU，但ResNet-50也获得了可比的分割性能，尽管MIoU的差异很小。如图5所示，ResNet-50在分割准确性和计算效率之间取得了更好的平衡，所需的参数更少，计算成本更低，同时推理时间也更短。考虑到性能和资源消耗之间的权衡，ResNet-50被选为提出的MUSCLE-Net的编码器，并用于比较分析和研究的其余部分。

下载：下载高分辨率图像（161KB）
下载：下载全尺寸图像

图5. MUSCLE-Net框架中不同编码器的推理时间与MIoU之间的关系。每个气泡的大小代表模型参数的数量。

表2. 使用来自reBEN数据的不同编码器架构在DFC2020测试集上的每个类别的IoU（%）和MIoU（%）。最佳MIoU显示在 ，第二好的MIoU显示在 。

5.2 MUSCLE-Net参数的优化
为了分析解码器内部深度监督放置的影响，评估了几种Aux1（λAux1）和Aux2（λAux2）的权重配置。在这项比较分析中，分配给辅助监督分支的权重总和固定在0.10，以防止它们主导优化过程，从而保持对主要分割任务（λFinal）的关注。这些辅助任务旨在指导早期解码层的特征学习，而不是作为研究的主要目标。如表3所示，当仅将0.1的权重分配给Aux1，剩余的0.9分配给主要任务时，获得了最佳性能，在DFC2020数据集上的MIoU为53.82，OA为70.10。值得注意的是，所有包含Aux1和/或Aux2的评估配置都优于没有辅助深度监督的基线模型，这表明无论特定的监督放置如何，这种策略都是有效的。报告的结果（表3）是通过使用32的批量大小训练每个模型五次，并报告每次运行的平均值和标准差获得的。
表4中的结果进一步证实了深度监督（Aux1 = 0.10）的积极影响，因为它一致地提高了所有提出的模型变体的性能，无论采用哪种编码器架构。在DFC2020和DynamicEarthNet数据集上进一步进行了分析，以评估集成CBAM、跳跃连接以及卷积层输出和CBAM之间的添加操作的影响。如图6所示，应用CBAM而不进行残差添加连接（CBAM?Add）在DFC2020上获得了明显的性能提升（MIoU增加了1.92），这表明它在增强空间和通道级注意力方面的有效性。当与Aux1的辅助监督结合时，这种配置实现了最高的MIoU，表明早期指导促进了更有效的特征提取。相比之下，在CBAM和卷积块之间引入基于添加的残差连接（CBAM＋Add）在DFC2020数据集上并未进一步改善性能。尽管在DynamicEarthNet上观察到了轻微的好处，但在DFC2020上的性能下降了，这可能是由于重新引入了之前被CBAM抑制的冗余特征。

下载：下载高分辨率图像（352KB）
下载：下载全尺寸图像

图6. 在DFC2020和DynamicEarthNet测试集上的消融研究，评估了CBAM、深度监督（Aux1 = 0.10）、跳跃连接以及卷积层输出和CBAM之间的添加操作的移除效果。实验在DFC2020上使用32的批量大小，在DynamicEarthNet上使用16的批量大小进行，所有分析都使用了ResNet-50作为框架。

表3. 在DFC2020上深度监督权重的消融研究，以5次运行的平均值±标准差报告。
λFinal λAux1 λAux2
平均mIoU ± StD 平均OA ± StD
0.90 0.05 0.05
50.89 ± 3.83 68.57 ± 2.77
0.90 0.10 52.47 ± 2.23
69.17 ± 1.80 0.90 10.05
53.82 ± 0.71 70.10 ± 0.81

表4. 在DFC2020数据集上，使用不同的编码器配置（有和没有深度监督）的提出的模型的每个类别的IoU分数。最后一列显示了与没有深度监督的基线相比MIoU的提升（Δ mIoU）。所有实验使用的批量大小为64，并使用reBEN预训练的权重进行初始化。

编码器模型 解码技术
Forest Shrubland Savanna Grassland Croplands Urban Barren Water
平均IoU (%) Δ平均IoU (%)
Inception NeXt CBAM - Add 67.34 42.08 18.73 0.96 30.92 64.91 59.22 97.24 47.68
CBAM - Add + Aux 66.09 44.69 16.88 2.41 32.37 63.97 56.94 98.31 47.71 +0.03
MobileViT-SC CBAM - Add 35.59 38.27 19.45 0.01 51.65 55.92 93.60 43.89
CBAM - Add + Aux 61.92 44.27 23.78 3.16 47.95 75.07 62.88 98.79 52.23 +8.34
ConvNeXt V2 CBAM - Add 13.29 0.00 0.00 0.00 0.50 0.00 0.02 88.88 12.84
CBAM - Add + Aux 13.41 46.67 9.11 2.86 23.91 60.29 99.03 40.95 +28.11
ResNet-50 CBAM - Add 67.38 40.27 13.67 0.76 33.90 63.33 58.14 95.77 46.65
CBAM - Add + Aux 72.87 45.51 8.25 4.32 35.91 69.42 60.65 98.78 49.46 +2.81

5.3 MUSCLE-NET与基线架构的比较
基于之前的优化和消融分析，提出的MUSCLE-Net通过一个权重为10%的辅助损失融合了深度监督，而没有在卷积块和CBAM模块之间应用带有添加操作的跳跃连接。该模型与基线架构（包括UNet、PSPNet和DeepLabV3）进行了比较，使用相同的编码器框架（ResNet-50）和相同的初始化，以确保公平评估。这种配置分离了解码器性能，因为主要的架构差异在于特征是如何上采样和融合的。PSPNet使用金字塔池化在多个空间尺度上捕获特征，DeepLabV3利用孔洞空间金字塔池化（ASPP）来增强上下文理解，而UNet利用跳跃连接结合编码器和解码器特征以实现精确分割。
表5展示了在DFC2020测试集上的语义分割结果（mIoU），将我们的方法与最先进（SOTA）方法进行了比较。SatMAE（Cong等人，2022）依赖于基于OPT重建的预训练策略，随后在DFC2020数据集上进行了微调。相比之下，CROMA（Fuller等人，2023）在其基础和大型视觉变换器变体（ViT-B/ViT-L）中，使用对比目标和重建目标的组合进行了预训练，然后使用线性探测在DFC2020上进行了评估。另一个最近包括在这项比较中的模型是FG-MAE（Y. Wang等人，2024），它基于特征引导的掩码重建，后来在DFC2020数据集上进行了微调。与这些方法相比，MUSCLE-Net在不同的框架架构上展示了竞争性和通常更优越的性能。值得注意的是，使用ResNet50框架的MUSCLE-Net取得了最佳性能，达到了54.60%的mIoU。
如表6所示，使用相同的编码器架构和相同的初始权重进行了进一步的比较。对MUSCLE-Net和基线网络在DFC2020数据集上了五次独立的训练和测试运行，并报告了平均mIoU和OA。在每个卷积块后集成CBAM模块，以及使用深度监督，使得mIoU提高了2.89，OA提高了2.86，与UNet相比。对于像Savanna、Barren和Grassland这样的具有挑战性和代表性不足的类别，性能提升尤为明显，表明了对类别不平衡的更好鲁棒性。虽然所有模型在Water和Forest等主导类别上实现了高准确率，但MUSCLE-Net展示了更高的一致性，这通过运行间的较低标准差得到反映。此外，MUSCLE-Net在高度不平衡的DynamicEarthNet数据集上的表现也优于基线模型（图7）。它实现了最高的整体准确率66.48±0.68%，超过了UNet（65.43±2.42%）、DeepLabV3（60.27±1.21%）和PSPNet（58.78±0.71%）。值得注意的是，MUSCLE-Net还在运行间表现出最低的变异性，表明在DynamicEarthNet数据集上的性能更加稳定和一致。
图8中的结果表明，提出的模型在像素级分类方面优于UNet和PSPNet，特别是在LC类别边界和某些类别分布稀疏的区域。这种改进归因于深度监督的使用，它在早期阶段指导了全局上下文特征的学习，并在网络的后期逐步增强了精细空间细节的提取。因此，与UNet的编码器-解码器跳过连接和PSPNet的基于金字塔的特征学习策略相比，所提出的方法实现了更准确的边缘分割和类别区分。表5显示了在我们的MUSCLE-Net与不同编码器的SOTA模型在DFC2020数据集相同的测试集上的语义分割结果（mIoU）。模型 mIoU（%）在 DFC2020 上：SatMAE（ViT-L）（2022）（Cong等人，2022）44.13 Croma（ViT-B）（2023）（Fuller等人，2023）51.58 Croma（ViT-L）（2023）（Fuller等人，2023）53.24 FG-MAE（2024）（Y. Wang等人，2024）51.8 MUSCLE-Net（MobileViT-S）49.53 MUSCLE-Net（ConvNeXt V2）53.56 MUSCLE-Net（ResNet50）54.60 下载：下载高分辨率图像（183KB） 下载：下载全尺寸图像 图7. MUSCLE-Net、UNet、PSPNet和DeepLabV3在DynamicEarthNet测试集上的总体准确率，以五次运行的平均值±标准差表示。表6. MUSCLE-Net、UNet、PSPNet和DeepLabV3在DFC2020数据集上每个类别的IoU和MIoU/OA。每个值显示了5次运行的平均值±标准差（%）。最佳的平均结果以粗体显示。类别 类别 %MUSCLE-NetUNetPSPNetDeepLabV3IoU (%)IoU (%)IoU (%)IoU (%)森林25.6474.0 ± 4.972.69 ± 2.0364.80 ± 1.4864.01 ± 1.19灌木丛5.9345.4 ± 1.146.42 ± 1.6040.40 ± 0.7540.60 ± 1.06稀树草原10.1317.6 ± 3.413.13 ± 4.1715.23 ± 6.9512.80 ± 3.65草地2.0910.4 ± 7.86.74 ± 4.112.44 ± 1.962.42 ± 2.24耕地19.5444.5 ± 4.433.14 ± 4.5438.99 ± 5.6630.88 ± 4.03城市/建筑区10.7373.9 ± 1.673.85 ± 1.8561.95 ± 0.2661.16 ± 2.34荒地2.6164.2 ± 0.762.69 ± 0.9257.07 ± 1.8356.30 ± 2.37水域23.3398.8 ± 0.298.99 ± 0.0996.52 ± 0.3095.08 ± 2.04MIoU（%）–53.82 ± 0.7150.93 ± 1.2546.41 ± 2.1145.41 ± 1.61OA（%）–70.10 ± 0.7867.24 ± 1.1465.12 ± 1.8364.00 ± 1.24 下载：下载高分辨率图像（938KB） 下载：下载全尺寸图像 图8. 使用MUSCLE-Net模型在DFC2020数据集的测试集样本上生成的预测掩码和真实掩码。6. 结论由于明显的类别不平衡、少数类别的空间破碎化以及高分辨率标注数据的有限可用性，土地覆盖分割仍然是一个具有挑战性问题。在这项工作中，我们证明了通过多分辨率深度监督来约束解码过程是一种有效应对这些挑战的策略。通过在早期解码过程中强制进行语义一致性，所提出的方法促进了从粗略到详细的土地覆盖区域细化，并减少了对语义上具有误导性的细尺度模式的过拟合。结合解码器中的空间-通道注意力，这种策略产生了更加鲁棒和具有辨别力的特征表示。在DFC2020和DynamicEarthNet数据集上的实验验证确认了不同土地覆盖类别的一致性能提升。这些结果突显了通过深度监督利用低分辨率和高分辨率标签的有效性。未来的工作将集中在将框架扩展到多时间序列数据以及探索弱监督学习策略，以进一步减少对密集标注的高分辨率真实数据的依赖。CRediT作者贡献声明Sara Mobsite：撰写——原始草稿、方法论、调查、形式分析、数据整理、概念化。Renaud Hostache：撰写——审阅与编辑、可视化、验证、监督、调查、形式分析、概念化。Laure Berti-équille：撰写——审阅与编辑、验证、监督、方法论、调查、形式分析、概念化。Emmanuel Roux：撰写——审阅与编辑、验证、资源管理、项目管理、方法论、资金获取、概念化。Thibault Catry：撰写——审阅与编辑、可视化、验证、调查、概念化。Joris Guérin：撰写——审阅与编辑、可视化、验证、监督、方法论、调查、形式分析、概念化。