利用PCA增强的插补方法减轻Sentinel-2时间序列图像分类中的云层影响

《International Journal of Remote Sensing》：Mitigating cloud effects in Sentinel-2 time-series image classification using PCA-enhanced imputation

　　**摘要**

云层覆盖对光学图像分类构成了重大挑战，尤其是在分析多时相卫星图像时，因为它会遮挡地表特征并影响数据的连续性。本研究探讨了用于时间序列Sentinel-2卫星图像的云填充方法以及基于U-Net的架构在土地利用和土地覆盖（LULC）分类中的应用。评估了四种云填充技术：图像拼接、保留空值、通过链式方程进行多重插补以及基于主成分分析（PCA）的增强插补。其中，基于PCA的增强插补表现最佳，通过有效保留时间特征并减轻云层影响，实现了84%的总体准确率和74.87的宏观F1分数。使用基于PCA增强插补的数据集，比较了四种具有时间特征的U-Net架构：3D U-Net、带有时间注意力编码器的U-Net、U-Net卷积长短期记忆网络和U-Net双向卷积长短期记忆网络。3D U-Net由于能够捕捉空间和时间连续性而优于其他模型。其他模型在有效利用时间依赖性方面存在局限性。研究结果证明了多时相图像的有效性以及云填充方法在提高分类准确性方面的优势，尤其是在处理复杂LULC类别（如变化区域）时。这些发现突显了稳健的预处理技术和时间建模在详细准确的LULC制图中的价值，为遥感应用提供了实用解决方案。

**关键词**：PCA增强插补；U-Net；分类；云填充；时间序列

**1. 引言**

1.1. 动机

土地利用和土地覆盖（LULC）的分类对于可持续发展、城市规划和环境监测至关重要。像Sentinel-2这样的时间序列卫星图像提供了宝贵的时间信息，通过捕捉随时间的变化来提高LULC分类的准确性。然而，云层覆盖仍然是一个重大挑战，它遮挡了关键的地表特征并影响了数据的可靠性。传统方法（如单时间戳分类）无法捕捉时间动态，这限制了它们在复杂环境中的适用性（Vuolo等人，2018年）。例如，农业景观的固有变化性质，包括与物候、冠层结构和生物量积累相关的光谱和时间特征的变化，使得单日期分类方法不够充分，因为它们只捕捉了一个时间点（Lo、Scarpace和Lillesand，1986年）。开发先进的深度学习（DL）架构和稳健的云填充技术为缓解这些问题和提高LULC分类准确性开辟了新的途径。

1.2. 以往研究

1.2.1. 云填充对分类准确性的影响

云填充技术的有效性在分类准确性中起着关键作用，特别是在云层较多的地区。研究强调了整合多源数据和先进插补方法以提高分类可靠性的重要性。经过云填充的卫星图像显示出更高的分类准确性。例如，Mullen、Penny和Müller（2021年）提出了一种基于遥感的水体覆盖评估的简单云填充方法。他们的方法有效地重建了Landsat图像中缺失的水体覆盖数据，并成功应用于全球九个湖泊。通过采用间隙填充技术，这种方法提高了准确性，并支持长期环境监测和水资源管理。

为了解决光学图像中的持续云层覆盖问题，研究人员越来越多地使用时间序列数据来提高分类性能。例如，时间序列Sentinel图像适用于湿地植被分类和土地利用制图。Feng等人（2022年）利用Sentinel-2时间序列数据识别湿地植物群落，强调了物候和光谱特征的重要性。鉴于湿地的动态性质以及植物物种之间的光谱相似性，传统分类方法在准确性方面存在困难。为了解决这个问题，提出了一种结合Sentinel-1 SAR、Sentinel-2光学数据和DEM衍生地形特征的随机森林（RF）方法。虽然高光谱图像提供了高精度，但其有效性受到云层污染和高获取成本的限制。SAR虽然不受天气影响，但在区分植被类型方面面临挑战。通过结合Sentinel-2时间序列数据与SAR和DEM变量，该研究开发了一个优化特征选择的稳健分类模型，以提高分类准确性。

除了分类之外，云填充技术还增强了环境监测。例如，通过利用相邻像素的时间模式预测缺失值，可以改进基于MODIS的土地表面温度估计。这种方法显著提高了数据连续性并减少了均方根误差（Siabi、Sanaeinejad和Ghahraman，2022年）。以往的研究表明，通过利用多源数据融合和先进插补方法，即使在云层持续覆盖的地区，也可以实现更准确和可靠的地理空间分析。

1.2.2. 云层覆盖缓解的进展

已经开发了多种方法来处理多时相卫星图像中由于云层覆盖而导致的缺失数据，从传统的统计方法到现代基于深度学习的插补技术都有涉及。云层覆盖在LULC分类中构成了重大挑战，尤其是在多时相卫星图像中。传统方法包括通过最大值合成（Holben，1986年）等技术创建无云复合图像，以及使用Fmask等检测算法识别并用空值标记受云层污染的像素（Zhu和Woodcock，2012年）。然而，对这些传统方法的系统回顾揭示了它们固有的物理和算法限制。单日期掩蔽算法严重依赖于来自单个场景的静态物理阈值，这往往难以区分云层和高度反射的表面，导致分类错误并在时间序列中产生严重不规则的数据间隙（Candra等人，2019年）。此外，基于像素的合成方法（如简单中值或最大值合成）经常用于在预定义的时间窗口内聚合像素以规避这些间隙。虽然计算效率高，但简单中值合成是独立计算每个光谱带的中值，这本质上破坏了光谱带之间的物理关系，导致生成了现实中不存在的合成像素（Flood，2013年）。此外，这些合成图像 flattens 高频时间动态，从而模糊了关键的物候转变（Roberts等人，2017年）。

图像拼接结合了不同时间段的无云观测数据来创建复合图像。这种方法高度依赖于无云数据的可用性。最近的研究强调了整合基于机器学习的插补方法（如通过链式方程的多变量插补（MICE）的重要性，以在保持时间和空间完整性的同时重建被云层遮挡的区域。MICE方法（White、Royston和Wood，2011年）是一种处理多变量数据集中缺失数据（即云层）的稳健技术。该方法最初作为S-PLUS库在2000年引入，后来发展成R包，现在广泛用于解决数据不完整的问题。MICE采用完全条件规范方法，通过迭代一组条件密度来插补每个缺失数据的变量。MICE非常灵活，允许插补各种数据类型，包括连续变量、二进制变量和分类变量。迭代过程持续到收敛，通常需要相对较少的迭代次数。在这种情况下使用MICE进行插补可以有效解决由云层覆盖引起的缺失数据问题。通过将云层覆盖的像素视为缺失数据，MICE可以根据其他时间点和周围像素的可用数据来插补这些值，确保与数据集中的时间和空间模式一致。这种插补保留了卫星图像的时间序列，增强了提取对准确LULC分类至关重要的有意义的时间特征。此外，使用MICE处理由于云层覆盖导致的缺失数据可以导致更精确和可靠的LULC分类模型。该模型可以通过填补数据间隙使用完整的时间序列，从而提高性能。MICE的灵活性和自动化特性简化了插补过程，使其更容易处理卫星图像中的大型数据集。这种效率对于及时和准确的分析至关重要，特别是在监测环境变化、城市发展和植被随时间增长等应用中。

Zhang等人（2018年）指出，当前用于重建缺失数据的方法主要依赖于线性模型，这些模型在处理复杂场景和重建大面积缺失区域时面临重大挑战。因此，需要创新方法来克服传统方法的缺点。近年来，深度学习模型已成功应用于遥感图像中的各种低级视觉任务。例如，卷积神经网络（CNN）已成为图像融合和场景分类等任务的基石（Zhang、Zhang和Du，2016年），而循环神经网络（RNN）已被证明适用于处理高光谱签名等序列数据，应用于去噪和分类等任务（Mou、Ghamisi和Zhu，2017年）。Alonso-Sarria、Valdivieso-Ros和Gomariz-Castillo（2024年）使用长短期记忆（LSTM）网络处理缺失数据并改善分类结果。LSTM特别擅长捕捉时间和光谱依赖性，使其非常适合重建受云层影响的像素并利用时间序列数据。这些进展突显了深度学习在解决遥感中的持续挑战和提高LULC分类准确性方面的日益重要作用。

时空图像融合是另一种重建无云图像的方法。Zhou、Zhong和Peiman（2020年）提出了一种预测平滑反射率融合模型，通过整合来自观测图像的无云像素和使用Sentinel-2和MODIS图像生成的合成图像来重建无云Sentinel-2时间序列。该模型利用Sentinel-2和MODIS图像来预测无云图像并生成复合图像，填补多云日子的缺失观测值。此外，它根据光谱差异检测云层和阴影并相应地替换受影响的像素。Appel（2024年）引入了一种基于U-Net的模型，具有3D时空部分卷积。作者仅对有效像素进行计算，通过应用掩蔽机制，从而减少了缺失数据造成的失真。他们发现该方法在保持准确性的同时显著提高了计算效率，使其成为大规模卫星数据处理的可行方法。然而，需要进一步研究来提高其泛化能力并整合不确定性量化。

对于基于时间序列分析的云填充，Yun、Jung和Han（2024年）应用了时间序列光谱相似性组（TSSG）算法来恢复受云层影响的区域。TSSG结合了时间连续性，即使在云层覆盖的参考图像下也能提高可靠性。使用Landsat 8–9数据集的评估表明，TSSG算法的准确性很高；它实现了高达0.89的结构相似性指数分数和低误差指标。此外，TSSG适应季节和环境变化，使其成为多样化应用的多功能工具。这些进展突显了在云层较多地区增强LULC分析的潜力。

1.2.3. 深度学习在多时相分析中的应用

时间序列卫星图像分析传统上依赖于机器学习技术（Inglada等人，2015年；Vuolo等人，2018年）来处理大型数据集。然而，最近的进展转向了深度学习方法，例如CNN，这些方法提供了更高的准确性和效率。深度学习使得能够捕捉空间和时间依赖性的稳健模型，显著推进了LULC分类（Carranza-García、García-Gutiérrez和Riquelme，2019年）和监测变化区域（Cao、Dragi?evi?和Li，2019年）等应用。

在深度学习架构中，3D U-Net（?i?ek等人，2016年）在多时相卫星图像处理中表现出高效率。与传统的2D U-Net模型（Ronneberger、Fischer和Brox，2015年）不同，3D U-Net使用3D卷积同时捕捉空间和时间特征。其跳跃连接在提取高级表示的同时保留了细节，使其特别适合处理云层覆盖、植被动态和季节变化。此外，它能够处理稀疏注释的数据集，这对于环境监测和城市分析中的分割准确性很有价值。另一个关键进展是带有时间注意力编码器的U-Net（U-TAE）（Garnot和Landrieu，2021年）。U-TAE专为卫星图像时间序列的全景分割设计，结合了多尺度空间卷积和时间自注意力机制。这种新颖的架构有效地处理和编码卫星图像的时间序列，解决了时间序列分析中的传统限制，并在多时相数据处理方面取得了显著改进。尽管取得了这些成功，但在将深度学习应用于卫星图像时间序列（SITS）时仍遇到特定技术障碍，特别是在处理长时间、不规则采样的数据且云层覆盖严重时（Miller、Pelletier和Webb，2024年）。首先，严重的云层覆盖会产生大量不可预测的数据间隙，导致时间采样高度不规则。标准循环架构（如传统的RNN和LSTM）本质上假设时间步长相等；将不规则采样的数据强制纳入这些模型会扭曲潜在的物理时间动态，使得捕捉长期依赖性变得困难（Lechner和Hasani，2020年）。其次，分析长时间序列以捕捉完整的年度物候周期通常会导致标准循环网络中的梯度消失或爆炸，严重限制了它们保留早期季节信息的能力。最终，由于厚重云层导致的极端空间稀疏性破坏了标准空间卷积的局部感受野，产生了伪影并降低了边界精度。为了解决这些限制，引入了专门的架构。在深度学习架构中，3D U-Net（?i?ek等人，引用2016年）在多时相卫星图像处理中表现出高效率。与传统的2D U-Net模型（Ronneberger、Fischer和Brox，引用2015年）不同，3D U-Net使用3D卷积同时捕获空间和时间特征。其跳跃连接在提取高级表示的同时保留了细节，使其特别适合处理云层覆盖、植被动态和季节变化。此外，它能够处理稀疏的注释数据，对于标记样本有限的数据集非常有价值，提高了环境监测和城市分析的分割精度。另一个关键进展是引入了带有时间注意力编码器的U-Net（U-TAE）（Garnot和Landrieu，引用2021年）。U-TAE专为卫星图像时间序列的全景分割设计，将多尺度空间卷积与时间自注意力机制相结合。这种新颖的架构有效地处理和编码了卫星图像的时间序列，解决了时间序列分析中的传统问题，并在多时相数据处理方面取得了显著改进。Miller、Pelletier和Webb（引用2024年）回顾了深度学习在卫星图像时间序列（SITS）分析中的应用，强调了其进展和持续存在的挑战。尽管如此，基于深度学习的SITS分析仍然面临标签稀缺、模型选择和泛化能力方面的挑战。大规模数据集的注释仍然成本高昂且劳动密集，促使研究人员采用半监督、自监督和迁移学习技术来减少对标记数据的依赖。模型选择也非常重要，因为传统的RNN和LSTM模型难以处理长期依赖性。为了解决这个问题，注意力机制、变换器和混合CNN-RNN模型在改进时空特征提取方面显示出潜力。例如，Convolutional LSTM（ConvLSTM）通过将卷积操作直接集成到循环结构中，更好地捕获了时空序列（Shi等人，引用2015年）。最近的方法还加入了注意力机制；例如，U-TAE模型为时间序列中的不同图像分配了不同的权重，使其能够专注于分类中最相关的时刻（Garnot和Landrieu，引用2021年）。此外，像TransUNet这样的架构结合了CNN主干网络和Transformer编码器，利用CNN提取稳健的局部特征的能力，同时使用Transformer的自注意力来建模整个图像场景中的全局、长距离依赖性（Chen等人，引用2021年）。然而，这些先进模型并不是万能的。现有研究往往关注单模态数据而非多模态融合，限制了它们对不同地理区域和气候条件的适应性。缺乏不确定性量化也限制了可解释性，特别是在灾难监测和气候变化评估等关键应用中。未来的研究应优先考虑多源数据整合、改进模型泛化能力和稳健的不确定性估计，以提高基于深度学习的SITS分析的可靠性。深度学习和数据融合的最新进展显著改善了时间序列卫星图像分析。像3D U-Net和U-TAE这样的架构为处理多时相数据提供了更强的能力，而基于Sentinel的研究展示了整合光学、合成孔径雷达（SAR）和数字高程模型（DEM）数据在分类任务中的好处。然而，在模型泛化、多模态数据融合和不确定性量化方面仍存在挑战。解决这些差距对于进一步改进基于SITS的应用在土地覆盖分类、环境监测和气候变化分析中至关重要。

1.3. 需要进一步研究和研究目的
尽管在云层缓解和深度学习方面取得了进展，但在云层较多的地区，从光学卫星图像中准确分类土地利用和土地覆盖（LULC）仍然具有挑战性。传统方法，如使用PASTIS数据集或S2Cloudless云层掩码的方法，通常依赖于无云图像或应用简单的去云技术，如分配空值或使用中值合成（Gao等人，引用2024年）。然而，这些方法往往无法保持时间一致性并在受云层影响的区域实现可靠的分类。

1.4. 研究目标
本研究旨在通过系统评估云层填充技术和先进的深度学习模型来解决这些限制，使用的是时间序列Sentinel-2图像。研究有三个关键目标：首先，开发了一种基于PCA的增强插补方法来改进受云层影响的像素重建；其次，评估了包括3D U-Net、U-TAE、ConvLSTM和BiConvLSTM在内的先进U-Net架构在LULC分类中的性能；第三，旨在证明时间序列数据和深度学习模型优于传统的单日期方法。预计这些结果将有助于开发一个能够适应复杂环境中的云层干扰的框架，实现准确和一致的时间序列图像分类。

1.5. 提出框架的逻辑依据
MICE和PCA的整合是3D-CNN架构的关键和必要前提，为本研究提供了连贯的方法论基础。虽然像3D U-Net这样的深度学习模型非常强大，但它们的性能本质上依赖于输入时空数据的质量和连续性。首先使用MICE，我们通过用统计上一致的估计值填充云层覆盖造成的空白，有效地恢复了Sentinel-2时间序列的时间连续性。这一步确保了后续的3D-CNN可以在一个无缝的数据立方体上操作，而不是处理碎片化的观测数据。此外，直接通过3D-CNN处理高维时间向量会带来重大的计算挑战和潜在的噪声干扰。PCA的应用通过将长时间序列压缩成一组捕获95%累积方差的主成分来解决这个问题。这种降维不仅提高了计算效率，还起到了特征精炼的作用，抑制了插补中的残余噪声，并突出了主导的物候模式。因此，这种混合的MICE-PCA预处理流程为3D-CNN提供了精炼的高质量特征堆栈，使其在复杂的LULC环境中具有更稳定的模型收敛性和更优越的分类准确性。

2. 材料和方法
2.1. 研究区域和数据集
研究区域位于高雄市美浓区，面积约为212.98平方公里，包含30张1:5000比例尺的地图。该区域包括多种LULC类别：农业、森林、交通、水利设施、建筑物、公共设施、娱乐设施、矿产、其他用途以及正在发生变化的区域。

2.1.1. 时间序列Sentinel-2图像
本研究使用了来自Google Earth Engine的时间序列Sentinel-2多光谱卫星图像进行语义分割，包括Sentinel-2多光谱仪器的所有10米和20米波段以及云层覆盖产品（即云概率层）。这些数据集提供了分析所需的光谱和云层覆盖信息。具体来说，10米波段包括蓝光（490纳米）、绿光（560纳米）、红光（665纳米）和近红外（842纳米），而20米波段包括植被红边（705纳米）、植被红边（740纳米）、植被红边（783纳米）、植被红边（865纳米）、短波红外（1610纳米）和短波红外（2190纳米）。所有数据都已重采样到10米的地面采样距离，以确保所有波段具有统一的空间分辨率。使用的Sentinel-2图像是表面反射率协调的2A级产品。这些图像覆盖了2021年至2023年的111个不同日期，每个日期有111张时间序列图像，每个图像包含10个光谱波段。这些时间序列图像也包含部分云层覆盖。云层覆盖像素是从云概率层和Sentinel-2图像中提取的。由于云层像素可能会影响图像分类的结果，本研究根据云层覆盖情况对图像进行了过滤。云概率产品指示了给定像素被云层遮挡的可能性，本研究利用这一点进行过滤。任何云概率超过50%的像素都被设置为空值。这种方法有效地去除了分析中的云层像素，从而最小化了云层覆盖对分类过程的影响。通过将这些高概率云像素替换为空值，本研究保持了数据集的完整性，同时专注于图像中更清晰、更可靠的部分。图1(a)显示了时间序列数据中每个像素的云层百分比。通过灰度级别可以区分云层出现的频率。还可以看到，有一小部分区域的云层百分比超过了50%。图1显示了2021年至2023年研究区域的云层百分比和LULC地面真实情况。

图1(a)显示了2021年至2023年Sentinel-2图像中云层百分比的地图。图例表示不同的百分比范围：<9%、9-19%、19-29%、29-39%、39-49%、49-59%、59-69%、69-79%和>79%。较高百分比集中在北部和中部地区，而较低百分比则分散在整个区域。图1(b)显示了2021-2023年研究区域的土地利用和土地覆盖（LULC）地面真实情况地图。图例将区域分类为农业、林业、交通、水利设施、建筑物、公共设施、娱乐设施、其他用途和变化区域。农业和林业占主导地位，交通和水利设施主要分布在水道沿线。建筑物和公共设施聚集在城市区域，而娱乐设施和变化区域则更为分散。

2.1.2. 地面真实LULC地图
地面真实类别标签来自国家土地测量和测绘中心提供的土地利用和土地覆盖（LULC）地图。该数据集是从1米多光谱航空图像手动数字化得到的，提供了2021年（图2(a)）和2023年（图2(b)）的详细LULC信息。为了进行语义分割，原始分类被合并为十个不同的类别：农业、林业、交通、水利设施、建筑物、公共设施、娱乐设施、矿产、其他用途以及一个特殊的“变化区域”类别，用于捕捉时间动态。为了创建最终的模型训练地面真实地图，对2021年和2023年的LULC地图进行了系统的像素级比较。如果一个像素在2021年和2023年的LULC类别不同，则将其分配到“变化”类别，如图2(c)所示。相反，如果像素在两年间保持相同的LULC类别，则保留其特定的类别标签（例如农业、森林），构成未变化区域。然后通过将这两组数据合并成一个综合的地面真实地图，创建了最终的训练标签，如图2(d)所示。图2显示了2021年和2023年的变化区域。

图2(a)显示了2021年的参考LULC地图。图2(b)显示了2023年的参考LULC地图。图2(c)突出了2021年和2023年之间的变化，变化区域散布在整个区域，尤其是在中部和西北部。图2(d)详细展示了2021年至2023年该区域的十个类别。

2.1.3. 数据集划分和验证策略
整合时间序列多光谱卫星图像和相应的地面真实类别创建了一个用于训练和验证LULC分类模型的强大且全面的数据集。数据沿时间轴以T×C×H×W的格式结构化，其中T代表时间，C表示通道数（即10个光谱波段），H表示图像高度，W表示图像宽度。这种格式完全包含了卫星图像的多时相和多光谱维度。本研究的数据集尺寸为111×10×1704×1331。然而，代表研究区域完整空间范围的空间维度H×W往往导致数据集过大，无法直接输入到深度学习模型中。为了解决这个问题，研究将图像分割成128×128像素的小块，并保持50%的重叠。这种策略确保了数据大小适中，适合模型训练，同时保持了块与块之间的空间连续性。为了确保对模型的评估既稳健又无偏，这些块使用了五折交叉验证方案进行组织。在每个折叠中，块被划分为训练集（60%）、验证集（20%）和测试集（20%），各自具有明确的角色。训练集用于更新模型权重，而验证集仅在训练阶段用于超参数调整和模型选择。测试集在整个过程中始终保持未见过状态，仅用于最终评估所选模型的泛化性能。整个过程重复了五次，确保每个折叠分别一次作为测试集和一次作为验证集，本研究报告的最终性能指标代表了五个测试折叠的平均值。

此外，多光谱图像与地面真实数据相结合，以进一步增强训练数据集。图3展示了单个点随时间变化的反射率，突出了多光谱图像捕获的丰富时间信息。这一时间维度为土地覆盖的变化和模式提供了宝贵的见解，确保分类模型能够充分了解空间和时间特征。

2.2 方法论
进行了实验来评估不同云填充方法对时间序列卫星图像分类的有效性。SITS分类的方法论可以分为三个部分：创建时间序列卫星图像数据集、选择模型架构以及评估分类准确性。研究框架如图4所示。创建时间序列卫星图像数据集的过程确保了空间和时间信息的整合，以实现有效的分类。模型架构是通过比较各种深度学习模型提取时间特征的能力来选择的。本研究应用了几种常用的评估指标来评估深度学习性能和分类准确性。

2.2.1 云填充技术
云覆盖显著影响卫星图像分类的结果，因为它会遮挡数据中的关键地面特征。在时间序列分析中，这个问题尤为突出，因为一致且不间断的空间信息对于检测变化和模式至关重要。为了解决这一挑战，必须对云填充后的卫星图像进行云填充处理，以重建被遮挡的部分，从而近似缺失的数据。本节介绍了四种不同的云填充技术（表1），以减少云覆盖对分类的影响：图像拼接、保留被云覆盖的像素为空值而不进行插补、使用MICE（White, Royston, and Wood 2011）插补方法回归云覆盖像素值，以及对MICE插补值应用PCA以提取深度学习训练所需的时间特征。这些方法旨在应对云覆盖带来的挑战，确保数据的准确性和可靠性。通过采用这些技术，本研究保持了时间信息的完整性，并提高了土地利用类型（LULC）分类的准确性。

2.2.1.1 图像拼接
第一种方法侧重于通过将多时相图像合成每年的一份图像来生成无云的年度卫星图像。这种方法在云覆盖频繁的地区特别有利，因为云层可能会遮挡关键的地面特征，妨碍准确的土地利用分类。通过最小化云覆盖的影响，这些合成图像提供了更清晰、更可靠的数据集进行分析。然而，当本研究使用这种方法时，仅生成了2021年和2023年的两份合成图像。创建无云年度卫星图像遵循了几个关键步骤。图5展示了生成无云图像的过程。首先将卫星图像重采样到标准的10米地面分辨率，以确保所有输入的像素尺寸一致。然后，从多时相数据集中计算每个像素位置的中值，并将其用作代表像素值。这个中值有效地减少了短暂云层和其他时间异常的影响，确保了结果图像的一致性和准确性。该过程对数据集中的每个像素进行了迭代处理，从而得到了相应年份的高质量无云合成图像。本研究为2021年和2023年生成了两份无云图像。这些双时相图像作为训练深度学习模型的宝贵输入，提高了它们有效分类和分析土地利用变化的能力。

2.2.1.2 用空值填充
第二种方法采用云掩蔽技术来识别并排除被云覆盖的像素，用空值替换它们。这种方法在深度学习中广泛用于排除云覆盖的像素。本研究结合云概率数据和Sentinel-2图像实施了该方法。云概率超过50%的像素被分类为被云覆盖。然后这些像素被标记并替换为空值，确保它们不会影响地面反射率。图6展示了基于云概率的云掩蔽概念。这种方法在图像空间中有效地创建了一个额外的云类，在分类过程中被排除。通过采用这种方法，研究确保了云覆盖区域的准确识别和排除，从而提高了分类结果。

2.2.1.3 多重插补（MICE）
第三种方法使用MICE方法来估计和插补卫星图像中由云覆盖引起的缺失值。该技术利用多时相图像之间的时间关系来估计云覆盖区域的像素值，从而得到适合分类的连续且完整的数据集。首先识别多时相卫星图像中的云覆盖像素，并将它们标记为空值。这确保了由云覆盖引起的不可靠数据点被排除在回归阶段之外。接下来，MICE算法使用一系列回归模型迭代预测和插补这些空值位置处的缺失值。MICE通过分析数据点之间的时间关系，有效地估计了云覆盖区域最合适的反射率值。一旦MICE插补完成，数据集中就没有缺失值了，每个像素都包含了时间序列中所有111天的完整反射率值。图7展示了使用MICE进行云填充的结果。MICE插补方法有效地解决了多时相卫星图像中由云覆盖引起的缺失数据问题。通过估计和填充缺失值，它保持了数据集中时间关系的完整性，确保了用于分类的连续且完整的数据集。

2.2.1.4 PCA增强插补
本研究提出了一种PCA增强插补过程，该方法将PCA应用于之前由MICE插补的时间序列数据。工作流程首先使用云概率掩码识别受云污染的像素；这些像素被替换为空值，然后由MICE算法填充。我们提出的增强方法的一个关键优势是，后续的PCA步骤独立于初始的云掩码操作。这一特性允许PCA减轻云掩蔽过程中可能引入的错误，从而进一步提高了数据质量。PCA步骤在区分残余噪声和真实物候信号方面的有效性从根本上基于MICE插补提供的数据一致性。通过使用MICE，所有最初被云层遮挡的像素都根据周围有效空间和时间数据的统计相关性进行了重建。这确保了PCA的输入是一个连续的、无间隙的数据集，其中每个像素都包含了整个111天时间序列的完整反射率值。由于PCA是在这个完全知情且结构化的基础上操作的，而不是在不规则的缺失值上操作，因此它可以准确地提取代表主要时间变化的主成分，而不会被未校正的云噪声中的不一致性所扭曲。从数学角度来看，PCA通过特征分解实现了信号-噪声分离，有效地将时间序列方差分解为正交的主成分（PCs）。‘地面表面物候’由植被生长的广泛季节性轨迹特征，这些模式在整个研究区域内是一致的；这些模式代表了数据集中最显著的方差，并被主要PCs捕获。相比之下，由于掩蔽不完美而产生的‘残余云噪声’往往是随机的、局部的，只占总方差的很小比例。通过保留前31个主要成分——在本研究中捕获了95%的累积方差——保留了主要的物候结构，而局部残余伪影被有效地降级到更高阶的成分中并被抑制。通过对这个完全知情且无间隙的数据集应用PCA，该过程有效地提取了代表主要时间变化的主成分——捕捉到了真实的地面表面物候——而没有被初始云掩蔽中的错误或残余噪声所扭曲。

2.2.2.2 PCA增强插补
本研究提出了一种PCA增强插补过程，该方法将PCA应用于之前由MICE插补的时间序列数据。工作流程首先使用云概率掩码识别受云污染的像素；这些像素被替换为空值，然后由MICE算法填充。我们提出的增强的一个关键优势是，后续的PCA步骤独立于初始的云掩码操作。这一特性允许PCA减轻云掩蔽过程中可能引入的错误，从而进一步提高了数据质量。PCA步骤在区分残余噪声和真实物候信号方面的有效性从根本上基于MICE插补提供的数据一致性。通过使用MICE，所有最初被云层遮挡的像素都根据周围有效空间和时间数据的统计相关性进行了重建。这确保了PCA的输入是一个连续的、无间隙的数据集，其中每个像素都包含了整个111天时间序列的完整反射率值。因为PCA是在这个完全知情且结构化的基础上操作的，而不是在不规则的缺失值上操作，所以它可以准确地提取代表主要时间变化的主成分，而不会被未校正的云噪声中的不一致性所扭曲。初始的MICE插补数据集被构建为一个四维的时空张量，形式为x∈RT×C×H×W，其中T=111表示时间序列（天数），C=10表示光谱带数，H=1666表示空间高度，W=1289表示空间宽度。为了沿时间轴应用PCA（主成分分析），首先对这个张量进行排列并展平为一个二维矩阵x∈RT×C×H×W。在这种表示中，PCA的输入空间由（10×1666×1289）个独立的111维时间向量组成。然后计算PCA以提取时间变化的主要成分。在累积解释方差标准达到或超过95%后，时间维度从111减少到前31个主要成分，得到一个转换后的矩阵XPCA∈RC×H×W×K，其中K=31。最后，将这个矩阵重新塑造成一个多时相数据立方体，其形状为K×C×H×W=31×10×1666×1289。这31个成分图构成了最终的时间特征堆栈，它在有效抑制云处理和插补过程中的残余噪声的同时，保留了主导的时间结构。这种经过PCA处理的数据集为深度学习模型提供了坚实且高质量的基础。通过降低维度并专注于最重要的方差，这种方法不仅提高了数据集的分类适用性，还提升了计算效率。这个压缩后的特征堆栈随后被直接输入到分割模型（例如3D U-Net、U-TAE）中，用于训练、验证和测试。

2.2.2. 带有时间特征的U-Net
本研究评估并比较了四种基于U-Net的架构（即3D U-Net、U-TAE、U-ConvLSTM和U-BiConvLSTM）在分类任务中的性能（Garnot和Landrieu引用2021）。这些架构专门设计用于将时间特征整合到U-Net框架中，从而增强了它们进行多时相分析的适用性。通过使用这些先进的基于U-Net的架构，本研究旨在确定它们在利用时间信息以提高分类准确性方面的有效性。下面描述了每种模型的概念。
3D U-Net（图8）通过在编码分支中加入3D卷积层来扩展标准的U-Net架构，使其能够同时处理空间和时间特征。这使得网络能够有效地捕捉空间和时间特征。此外，这些3D卷积有助于在捕捉多时相卫星图像中的时间信息的同时保持空间分辨率和细节。图8展示了3D U-Net的架构（改编自?i?ek等人（引用2016））。

U-TAE（图9）在编码器中引入了一种时间注意力机制，旨在捕捉时间依赖性，从而能够高效处理卫星图像中的时间特征。该架构利用注意力机制来关注重要的时间方面，增强了模型解释和处理时间序列数据的能力，使其在需要理解时间变化的场景中特别有效。图9展示了U-TAE的架构（改编自Garnot和Landrieu（引用2021））。

U-ConvLSTM（图10）架构将U-Net与ConvLSTM层结合在一起，直接将时间依赖性整合到网络中。U-ConvLSTM架构用LSTM层替换了某些层，以更好地捕捉时间依赖性。LSTM层擅长处理序列数据，适合捕捉卫星图像中特征的时间演变。此外，U-ConvLSTM中的跳跃连接对时间步进行时间平均，有助于保持时间连贯性并提高分割准确性。图10展示了U-ConvLSTM的架构（改编自Martinez等人（引用2021））。

U-BiConvLSTM（图11）是U-ConvLSTM的扩展，它加入了双向ConvLSTM层来处理时间特征。卷积操作的双向特性有助于捕捉来自前后方向的信息依赖性，增强了数据的时间表示能力。这种双向方法使模型对时间背景有更全面的理解，特别是在准确分割和分类随时间变化的土地利用变化时特别有用。图11展示了U-BiConvLSTM的架构（改编自Martinez等人（引用2021）。

2.2.3. 准确性分析
本研究采用了三种不同的方法来评估图像分类的结果：宏观F1分数、宏观交并比（IoU）和交叉验证。首先使用宏观F1分数（公式1），因为它包含了所有类别的平均F1分数；因此它考虑了所有类别的准确性，而不受类别不平衡的影响。通过平均每个类别的F1分数，本研究确保了评估的平衡性，不会偏向任何特定类别，从而全面评估了模型的性能。
(1) 宏观F1分数 = 1/N ∑i=1N (TPi/TPi + FPi/TPi + FNi/TPi) （1），其中N是类别的数量；TP是真正例；FP是假正例；FN是假负例。
其次，使用宏观IoU（公式2）来评估预测区域和真实区域之间的重叠程度，这特别适合图像语义分割任务。宏观IoU考虑了每个类别的IoU并进行了平均，从而也解决了类别不平衡的问题。这个指标提供了空间一致性评估，表明预测区域与图像中实际区域的匹配程度。
最后，使用交叉验证作为评估模型在未见数据上泛化能力的稳健框架。需要澄清的是，交叉验证提供了一个可靠的性能估计，而不是作为一种防止过拟合的直接正则化技术。在本研究中，我们在每个折叠中进行了五折交叉验证（例如图12），将数据分为60%的训练集、20%的验证集和20%的测试集。在五个折叠中，验证集和测试集的位置进行了轮换，以便每个补丁都恰好被用作一次验证集和一次测试集。模型选择和超参数调整仅在每个折叠内的验证集上进行，而相应的测试集在最终评估之前保持完全未见状态。我们报告了五个保留的测试折叠上的平均宏观F1分数、宏观IoU和总体准确性。由于有五个折叠，模型被训练了五次，每次使用不同的训练、验证和测试数据组合，以提供可靠的性能估计并确保性能得到全面评估。图12展示了五折交叉验证过程。五个模型被训练，每个模型使用不同的折叠作为测试集（绿色）和一个折叠作为验证集（黄色）。其余的折叠被设置为训练集（粉色）。

3. 结果与讨论
本节展示了实验的结果，并对发现进行了详细讨论。本研究重点考察了不同的云填充方法对时间序列图像分类的影响，并分三个步骤进行了评估。首先，研究了不同的云减少方法，如PCA增强插补、MICE插补和保留空值，以确定它们对分类结果的影响。其次，评估了使用时间序列图像与双时相镶嵌图像进行分类的有效性。目标是了解结合时间信息如何提高分类准确性，与传统的双时相方法相比。第三，比较了几种考虑时间特征的深度学习架构的性能，包括3D U-Net、U-TAE、U-ConvLSTM和U-BiConvLSTM，用于时间序列卫星图像的语义分割。这项比较的目的是确定处理卫星图像中时间特征最有效的架构。

3.1. 不同云填充预处理方法对时间序列图像的比较
光学图像受到云效应的影响。有几种方法可以处理时间序列图像中的云效应。第一种方法（空值）是对云像素留空。可以通过图像的云概率带来识别云像素。第二种技术（MICE）是通过插值其他时间序列像素的灰度值来构建无云的时间序列。它可以用来构建等时间间隔的时间序列数据集。最后一种是PCA增强插补，它对MICE插补的数据应用PCA以减少云像素的影响。本研究使用了3D U-Net架构，并在本节中展示了使用不同云填充方法的结果比较。表2展示了使用MICE函数根据Google Earth Engine的云概率产品来插补被识别为云的像素的空值的结果。然后对这些插补数据应用PCA以提取时间特征。这种方法与3D U-Net架构结合使用时，比时间注意力机制更有效地提取了有用的时间特征。接下来，本研究比较了两种额外的方法：使用MICE函数插补由云概率指示的空值和保留空值。这两种方法在准确性上没有明显差异。MICE函数通过训练现有数据集并相应地填充空白来插补缺失值。准确性没有显著差异可能是由于MICE函数在拟合过程中没有从原始数据集中获取额外信息。因此，获得的结果与简单地使用云概率产品过滤掉云像素的结果相似。

表2. 各种云填充处理方法的总体准确性。

3.1.1. 定量分析
结果表明，所提出的PCA增强插补是一种有效的处理被云覆盖像素的方法，并提取了有意义的时间特征，从而提高了3D U-Net模型在时间序列卫星图像数据集上的总体准确性。具体来说，如表2所示，该方法实现了74.87%的宏观F1分数和61.79%的宏观IoU，这些指标高于其他方法。相比之下，单独使用MICE插补或保留空值并没有优于其他方法；宏观F1分数分别为69.90%和69.61%，宏观IoU分别为56.26%和55.75%。这很可能是因为MICE函数依赖于现有数据，而没有从数据集中获取额外信息。而通过PCA增强的插补方法可以从时间序列数据中提取出更有价值的特征，从而用于分类。根据表3中展示的数据，该表分别使用F1分数和IoU指标衡量了不同的云处理方法，可以看出即使在细节和数据像素较少的情况下，PCA也能保持较高的分类准确性。值得注意的是，与第二好的云处理方法相比，这种方法在娱乐设施（F1分数提高17.38%）和变化区域（F1分数提高11.53%）方面表现出了显著的改进。表3. 应用于LULC类别的各种云处理技术的F1分数比较。下载CSV显示表格。

对于水设施，所有三种方法的F1分数都超过了80%，但PCA方法仍然略微优于第二好的方法，因为它保留了空值（F1分数提高3.17%）。这表明水设施的光谱差异足以使模型将它们与其他类别区分开来，从而提高了分类准确性。在其他类别中，PCA始终获得了最佳的F1分数和IoU评估结果，证明了其在多时相卫星图像处理中的优越效果。

3.1.2 定性分析
本研究使用了3D U-Net来确定使用不同云处理技术解决云覆盖问题的最合适方法。图13显示了总体预测结果。如图13(a)所示，PCA增强插补的结果被用来提取时间特征。如图13(b)所示，与使用MICE（图13(b)）或保留空值（图13(c)）相比，这种方法在公共设施（粉色）和建筑物（紫红色）区域提供了更多的连续性。然而，在河流区域的水设施（深蓝色）检测方面，三种数据处理方法的表现相似。

图13. 使用(a) PCA增强插补；(b) MICE插补；(c) 云像素处保留空值；(d) 真实情况（放大视图）；(e) PCA增强插补（放大视图）；(f) MICE（放大视图）；以及(g) 空值（放大视图）的完整区域预测结果。

七张专题土地覆盖图将三种插补方法与真实情况进行了比较。图13(a)使用PCA增强插补，图13(b)使用MICE，图13(c)使用空值插补。图13(d)是真实情况。图13(e)-(g)是图13(a)-(c)中一个水区域的放大插图。可见的土地覆盖类别包括植被、城市区域、水域和裸地。空值图显示了黑色斑块，表示数据缺失，尤其是在插图中。MICE插图的边界更加块状，而PCA增强插图的过渡更加平滑。

总结来说，对应用于LULC分类的时间序列卫星图像的各种云处理方法的分析表明，PCA增强插补显著提高了语义分割性能。如表3所示，这种方法在保持分类准确性方面更为有效。其在处理被云覆盖的像素和提取有意义的时间特征方面的优越性能使其成为一种有价值的方法。因此，建议在多时相卫星图像处理中采用PCA方法，因为它为准确和详细的LULC分类提供了可靠的解决方案，有效克服了云覆盖带来的挑战。

3.2 双时相图像分类与时间序列图像分类的比较
为了展示使用时间序列图像进行分类的好处，我们对双时相年度无云图像（即2021年和2023年）和时间序列图像的土地覆盖分类结果进行了比较。本节将多时相卫星图像应用于语义分割的性能与传统双时相图像的性能进行了对比。时间序列数据集包含了时间信息，为每个像素提供了额外的信息，而双时相图像仅捕获了两个时期的光谱信息。由于每个土地覆盖类别都表现出不同的光谱特征，包括时间信息，因此提高了准确分类每个像素的能力。

3.2.1 定量分析
表4中的结果显示，时间序列数据集在几乎所有分类类别中的表现都优于双时相数据集，突显了结合多时相特征进行土地覆盖分类的优势。交通类别的F1分数提高了12.46%，变化区域的F1分数提高了26.77%。同样，交通类别的IoU提高了11.02%，变化区域的IoU显著提高了23.56%。这些显著的改进表明，时间信息的加入增强了模型准确识别和分类不同类别的能力，特别是那些正在发生变化的类别。

表4. 与时间序列和单时间戳数据集相比，每个类别的F1分数和IoU。

对表4的详细检查显示，多时相数据在各种类别中始终表现出更好的性能。值得注意的是，农业、森林和矿产等类别在使用时间序列数据时的F1分数分别为89.91%、94.90%和87.89%。这些类别的IoU值也显著更高，分别为81.68%、90.29%和78.39%，与双时相数据相比。这表明时间序列数据集在分类稳定土地覆盖类型方面特别有效，因为它能够捕捉季节性和时间变化，减少了与单时间快照相关的误分类错误。

更重要的是，对动态LULC类别（如变化区域）的分类改进表明，时间信息在检测和区分变化模式中起着关键作用。变化区域的F1分数在多时相数据集中约为双时相数据集的两倍（62.03% vs 35.26%），突显了模型在划分变化区域方面的增强能力。这种显著增加表明，时间特征在变化区域和未变化区域之间提供了更明显的区分，这对于监测城市扩张、评估森林砍伐和灾害影响分析等应用至关重要。由于变化区域可能从任何类别转变为任何其他类别，因此其检测准确性通常低于未变化类别。

观察到的性能提升与Lopes等人（引用2020）的研究结果一致，他们报告称使用时间序列数据显著提高了土地覆盖分类的准确性。然而，我们的研究通过结合多时相特征对变化区域进行了更详细的分析，进一步扩展了这一理解。具体来说，我们发现时间特征在区分变化区域和未变化区域方面起着关键作用，这一点在之前的研究中并未得到广泛讨论。

时间序列数据集的优越性能可以归因于其捕捉时间趋势的能力，考虑到了由季节性变化等瞬态环境因素引起的模糊性。相比之下，双时相图像仅依赖于两个时间戳，可能会将短期变化误认为是长期趋势，或者无法检测到渐进式变化。通过利用随时间的多次观测，模型能够更好地区分持久性变化和临时波动，从而提高分类的稳定性和可靠性。这一分析清楚地展示了使用时间序列数据进行分类的优势。

图14提供了使用多时相卫星图像和双时相图像获得的分类结果的比较分析。在放大的视图（图14(c–e)）中，分类准确性和模式一致性之间的差异尤为明显。这些可视化结果强调了结合时间信息的好处。图14的一个关键观察是，双时相图像对交通特征（灰色）产生了更加碎片化和不连贯的预测。这种碎片化是由于缺乏连续的时间信息造成的，而时间信息对于区分稳定基础设施和由季节性变化引起的瞬态光谱变化至关重要。此外，双时相图像在检测变化区域（蓝色）方面存在显著不足。由于这些图像仅依赖于两个时间戳，它们难以捕捉渐进式变化，导致对城市扩张、森林砍伐或基础设施发展等动态土地覆盖变化的低估。

两行专题土地覆盖图被展示出来。顶部行包括全范围地图：多时相和单时间戳预测，都描绘了一个包含对角线河流、城市核心、农业用地和植被的区域。每张地图都有一个矩形插图，突出显示了一个关注区域。底部行展示了该区域的放大视图：多时相、真实情况和双时相。水体为蓝色，城市区域为橙色，植被为绿色，农业用地为浅橙黄色，裸地为黑色，较小特征为红色或柔和色调。多时相预测与真实情况非常吻合，准确捕捉了植被和水域边界。双时相预测夸大了植被，并忽略了城市过渡。单时间戳地图在混合城市-农业区域中的细节较少。

相比之下，多时相数据集提供了更加一致和结构化的交通网络分类。道路段连接的改善表明，时间数据增强了模型区分道路和周围土地覆盖类型的能力，减少了误分类的可能性。在检测变化区域方面的准确性提高进一步支持了这样的假设：连续的时间观测使模型能够跟踪随时间变化的微妙光谱差异，从而更精确地检测变化。此外，农业（橙色）和林业（绿色）等类别在两个数据集中的表现相当。这种相似性可以归因于光谱指数（如归一化差异植被指数NDVI）在区分植被覆盖方面的有效性。由于NDVI对于已建立的植被来说相对稳定，单时间戳图像通常足以对这些类别进行分类。然而，多时相数据集中改进的时间一致性表明，这种方法可能对季节性波动和光照条件的变化更具抵抗力。

总之，时间序列卫星图像在分类方面的性能显著优于双时相图像。这种改进在各种类别中更高的F1分数和IoU值中得到了体现，强调了结合时间信息进行准确LUCL映射的重要性。上述分析显示了时间序列图像在LULC分类中的有效性。因此，只要数据可用，就建议使用时间序列图像进行LULC分类，因为它为准确和详细的分类提供了更好的选择。

3.3 不同基于U-Net的模型比较
本节比较了四种基于U-Net的语义分割方法的性能：U-TAE、3D U-Net、U-ConvLSTM和U-BiConvLSTM。这些方法使用了经过PCA增强插补处理的时间序列卫星图像进行评估，以减少云效应。模型的训练参数包括学习率0.003、批量大小8、100个周期以及Adam优化器。为了避免局部最小值，实施了余弦退火学习率衰减和warm restarts。

3D U-Net相对于循环（U-ConvLSTM、U-BiConvLSTM）和基于注意力的（U-TAE）架构的优越性的理论解释在于每种模型处理预处理后的时空张量的方式。本研究中使用的数据集包含了一个异常长的序列（111个时间步骤）。标准的循环架构在处理长序列时固有地存在梯度消失和误差传播的问题；当信息通过一百多个连续的门时，网络难以维持长期依赖性，例如早期季节的物候现象。这种顺序瓶颈导致预测结果碎片化。另一方面，虽然U-TAE的时间注意力机制对于原始的、不规则采样的数据非常有效，但我们的PCA增强插补流程已经将输入转换为一个密集的、无间隙的、时间规范化的数据立方体。对于这种结构化的、体积化的数据，3D卷积表现出色。通过将时间视为第三个空间维度，3D U-Net同时提取了局部空间纹理和时间连续性，使用统一的3D核。这使得模型能够作为一个强大的时空平滑器，有效捕捉变化区域的过渡边界，同时对插补过程留下的任何微小残差具有很高的抵抗力。

在定量分析中，所有四种深度学习架构都显示出它们适用于时间序列卫星图像的语义分割，如表5所示。然而，在这些方法中，3D U-Net的表现始终优于其他方法，在多个土地覆盖类别中实现了最高的准确性。特别是在公共设施类别中，其F1分数提高了4.2%。此外，在娱乐设施类别中，其F1分数比第二好的模型（U-TAE）高出54.97%，显示出更加显著的提升。这些结果表明，3D U-Net在区分复杂特征方面特别有效，这可能是因为它能够更全面地捕捉时空依赖性。表5. 不同类别中各种深度学习架构的比较。下载CSV显示表格。所有四种架构在具有明显时间模式的类别（如农业和林业）中都表现良好。这可以归因于这些土地覆盖类型的季节性周期。植被指数（如NDVI）在一年中会有可预测的变化，使深度学习模型能够有效地利用这些时间信息。因此，模型可以通过识别重复的季节性趋势来更准确地分类像素。在变化检测的背景下，3D U-Net再次优于其他模型，达到了62.03%的F1分数和44.96%的IoU。准确检测变化区域的挑战在于转换的多样性——变化区域可能涉及任何类别之间的转换，例如城市扩张、森林砍伐或基础设施发展。与静态土地覆盖类别不同，变化区域表现出更大的光谱变异性，使得分类本质上更加困难。此外，数据集中变化区域的样本量相对较小，可能导致其准确性略有下降。交通类别在所有类别中表现最差，F1分数为55.70%，IoU为38.60%。一个可能的解释是Sentinel-2卫星图像的空间分辨率（每像素10米），这可能不足以准确检测宽度仅为3米的狭窄道路。这一限制突显了使用中等分辨率卫星数据对细尺度基础设施进行分类的挑战。

3.3.2 定性分析
为了进一步说明分割性能和深度学习架构之间的差异，将各种模型的预测结果进行了可视化，如图15和图16所示。这些图表展示了每种架构如何处理不同的土地覆盖类别，并保持随时间的变化特征连续性。图15展示了3D U-Net、U-TAE、U-ConvLSTM和U-BiConvLSTM生成的整个区域预测结果。这些输出是通过交叉验证方法获得的，确保了对整个区域模型性能的公平评估。粉色轮廓区域显示了模型之间在分割质量上存在显著差异的区域。由于模型在检测和分类关键土地覆盖类型（特别是变化区域（蓝色）和公共设施（红色）时存在明显差异，因此选择了该区域进行更仔细的检查。图15. 各种深度学习架构的预测结果。阅读该图的详细描述。图15显示了四张比较土地覆盖分类模型的专题地图。每张地图都用一个圆角正方形标出了一个关注区域。地图的标签如下：A）3D U-Net，B）U-TAE，C）U-ConvLSTM，D）U-BiConvLSTM。模型之间的差异主要在突出显示的正方形附近和水道沿线。目的是比较同一区域的不同模型输出，重点关注分类准确性和细节。这些地图有助于理解不同模型如何解释城市环境中的土地覆盖情况。显示全尺寸图16. 图15中粉色区域的放大视图。阅读该图的详细描述。该图像包含五张标记有（a）3D U-Net、（b）U-TAE、（c）U-ConvLSTM、（d）U-BiConvLSTM和（e）真实值的专题土地覆盖分类地图。颜色代表不同的土地覆盖类别。比较突出了斑块分布和大小的差异，真实值地图作为评估每个模型准确性的参考。显示全尺寸图16提供了粉色标记区域内分割质量的详细比较，揭示了每个模型的优点和缺点。其中，3D U-Net（图16（a）展示了最准确的分割，有效地捕捉了变化区域（蓝色）和公共设施（红色），且碎片化最小。这表明3D U-Net成功利用了时空依赖性，产生了稳定且连贯的分类结果。相比之下，U-TAE（图16（b）虽然在大多数类别中表现竞争激烈，但在区分变化区域时遇到了困难，导致边界划分不够精确。U-ConvLSTM（图16（c）和U-BiConvLSTM（图16（d）产生了碎片化的预测，特别是在变化区域和公共设施中，表明它们在保持帧间时间一致性方面存在困难。这种不一致性可能是由于它们依赖于循环结构，这些结构容易随时间传播错误。最后，真实值（图16（e）作为评估预测准确性的参考，3D U-Net的输出与真实值最为接近，而其他模型则表现出不同程度的误分类和噪声。

3.3.2 定性分析
为了进一步说明分割性能和深度学习架构之间的差异，将各种模型的预测结果进行了可视化，如图15和图16所示。这些图表展示了每种架构如何处理不同的土地覆盖类别，并保持特征随时间的连续性。图15展示了3D U-Net、U-TAE、U-ConvLSTM和U-BiConvLSTM生成的整个区域预测结果。这些输出是通过交叉验证方法获得的，确保了对整个区域模型性能的公平评估。粉色轮廓区域突出显示了模型之间在分割质量上存在显著差异的区域。由于模型在检测和分类关键土地覆盖类型（特别是变化区域（蓝色）和公共设施（红色）时存在明显差异，因此选择了该区域进行更仔细的检查。图15. 各种深度学习架构的预测结果。阅读该图的详细描述。图15显示了四张比较土地覆盖分类模型的专题地图。每张地图都用一个圆角正方形标出了一个关注区域。地图的标签如下：A）3D U-Net，B）U-TAE，C）U-ConvLSTM，D）U-BiConvLSTM。模型之间的差异主要是集中在突出显示的正方形附近和水道沿线。目的是比较同一区域的不同模型输出，重点关注分类准确性和细节。这些地图有助于理解不同模型如何解释城市环境中的土地覆盖情况。显示全尺寸图16. 图15中粉色区域的放大视图。阅读该图的详细描述。该图像包含五张标记有（a）3D U-Net、（b）U-TAE、（c）U-ConvLSTM、（d）U-BiConvLSTM和（e）真实值的专题土地覆盖分类地图。颜色代表不同的土地覆盖类别。比较突出了斑块分布和大小的差异，真实值地图作为评估每个模型准确性的参考。显示全尺寸图16提供了粉色标记区域内分割质量的详细比较，揭示了每个模型的优点和缺点。其中，3D U-Net（图16（a）展示了最准确的分割，有效地捕捉了变化区域（蓝色）和公共设施（红色），且碎片化最小。这表明3D U-Net成功利用了时空依赖性，产生了稳定且连贯的分类结果。相比之下，U-TAE（图16（b）虽然在大多数类别中表现竞争激烈，但在区分变化区域时遇到了困难，导致边界划分不够精确。U-ConvLSTM（图16（c）和U-BiConvLSTM（图16（d）产生了碎片化的预测，特别是在变化区域和公共设施中，表明它们在保持帧间时间一致性方面存在困难。这种不一致性可能是由于它们依赖于循环结构，这些结构容易随时间传播错误。最后，真实值（图16（e）作为评估预测准确性的参考，3D U-Net的输出与真实值最为接近，而其他模型则表现出不同程度的误分类和噪声。图17. 用于空间泛化测试的数据集的空间划分。红色、黄色和紫色网格分别代表训练、验证和独立测试区域。阅读该图的详细描述。该图像显示了一张带有网格覆盖的地图，分为三个部分，分别标记为训练、验证和测试。训练部分位于地图的顶部，由网格图案标记。在其下方是同样用网格标记的验证部分，最后是底部的测试部分。每个部分在图像的右侧都有明确的标记，指示每个区域的数据处理或分析用途。显示全尺寸图

总之，实验结果表明，当应用于多时相卫星图像进行LULC分割时，3D U-Net的表现优于其他架构。如表6所示，3D U-Net获得了最高的宏观F1分数（74.87%）和宏观IoU（61.79%），突显了其在准确分割多样化类别方面的优越能力。这一性能优势表明，3D卷积有效地捕捉了时空关系，利用连续的卫星图像提高了分类准确性。虽然U-TAE在总体准确性上紧随其后（83.60%），但在宏观F1分数（66.20%）和宏观IoU（53.57%）上落后。3D U-Net和U-TAE的准确性相当。U-ConvLSTM和U-BiConvLSTM模型的准确性较低，宏观F1分数分别为52.63%和59.70%；这可能是由于它们的循环性质，导致它们在处理长序列时难以保持时间一致性。关于计算效率，3D U-Net在30秒内完成了推理，虽然不是最快的，但考虑到其准确性，这是一个合理的折中。最快的模型U-ConvLSTM（18.5秒）为了速度牺牲了分割质量，宏观IoU仅为40.78%，使其不太适合高精度应用。相反，U-BiConvLSTM的推理时间最长（55.7秒），但并没有在准确性上相对于U-TAE有显著优势。表6. 不同语义分割结果架构。下载CSV显示表格。

3.4 空间泛化和迁移性分析
独立验证是评估深度学习模型的关键步骤，因为它测试了训练有素的模型在遇到完全未见数据时是否能够保持高准确性。如果模型在新环境中表现不佳，量化性能下降的程度对于理解其局限性至关重要。本小节旨在证明，在地理上独立的区域进行相同的实验仍然可以产生有价值的分类见解。因此，使用与之前相同的方法进行了额外的测试（如图17所示）。独立区域的多光谱卫星图像使用了MICE插补和PCA时间特征提取进行处理。然后在没有额外微调的情况下，使用仅在主要数据集上训练的最佳性能3D U-Net架构来预测这一新区域的土地覆盖。这个独立测试区域的总体准确率为66.34%。农业区域的分类性能（F1分数84.83%）非常令人满意，因为模型成功利用了时间PCA特征。同样，由于水设施具有明显的光谱反射差异，其检测结果也非常精确。然而，总体准确性出现了预期的下降，主要是由于森林类别的性能下降（F1分数51.85%）。这种差异归因于植被类型的空间域变化：主要训练区域的森林主要是天然森林，而独立验证区域包含几个人工防风林。这种森林组成和结构的变化改变了光谱和时间特征，导致模型错误分类了一些这些未见的人造特征。这种性能动态是遥感中空间域变化的特征。尽管如此，在严格独立的数据集上保持大多数LULC类别的精确分类能力，证明了PCA增强插补方法和3D U-Net架构的实际迁移性。

4. 结论和未来工作
本研究调查了各种云填充技术、时间序列卫星图像的使用以及基于U-Net的不同架构在Sentinel-2时间序列图像中对LULC进行语义分割的有效性。在云填充方法中，PCA增强插补被证明是最有效的，显著提高了分类准确性（宏观F1分数：74.87%，宏观IoU：61.79%，总体准确性：84.82%）。它的表现优于独立的MICE（69.90%）和空填充（69.61%），表明提取有意义的时间特征对于减轻云覆盖效应和提高模型性能的重要性。研究还表明，利用时间序列卫星图像与双时相图像相比，显著提高了分类准确性。时间序列数据提供的时间背景使得不同LULC类别的光谱特征区分更加清晰。时间序列数据集在检测变化和分类较小或碎片化特征（如交通网络）方面具有显著优势。在评估的基于U-Net的架构中，3D U-Net在时间序列分类中表现优于其他架构，获得了最高的总体准确性（84.82%）。这表明3D卷积有效地捕捉了时空关系，提高了分类准确性。虽然U-TAE的总体准确性相当（83.60%），但U-ConvLSTM（52.63%）和U-BiConvLSTM（59.70%）的准确性较低，这可能是由于它们的循环性质，导致它们在处理长序列时难以保持时间一致性。未来的研究应专注于提高云填充和分类方法的可扩展性和效率，以适应更大和更多样化的数据集。结合更高分辨率的卫星图像或数据融合技术（例如将Sentinel-2与其他传感器如SAR结合）可以进一步提高细尺度特征的检测能力。此外，探索基于Transformer的先进架构可能会通过更有效地捕捉复杂的时间依赖性来提高性能。最后，将分析扩展到包括实时应用并整合社会经济或环境数据，可以显著扩大LULC分类研究的范围和影响。

作者贡献
Tee-Ann Teo构思了整个研究，设计了方法和实验，并撰写了大部分手稿。Yu-Liang Lin参与了所提出算法的实现、实验的进行和数据分析。

数据可用性声明
本研究中使用的Sentinel-2图像可以在Google Earth Engine公共数据目录中公开获取：https://developers.google.com/earth-engine/datasets/catalog/sentinel-2。LULC地图受第三方限制，需要从国家土地测量与测绘中心获得授权：https://www.nlsc.gov.tw。