Prithvi-EO-2.0：面向地球观测应用的多时序基础模型突破

《IEEE Transactions on Geoscience and Remote Sensing》：Prithvi-EO-2.0: A Versatile Multi-Temporal Foundation Model for Earth Observation Applications

本文针对现有地理空间基础模型(GFMs)在处理多时序数据、深度验证及实际应用适配性方面的三大局限，提出了新一代多时序GFM——Prithvi-EO-2.0。该模型基于4.2百万全球HLS时序样本训练，创新性地融合时空与位置嵌入，在GEO-Bench基准测试中超越前代模型8%，并在多个下游任务中展现出卓越的跨分辨率、跨领域泛化能力。其开源发布及TerraTorch工具集成，有力推动了GFMs在灾害响应、土地利用及生态系统监测等领域的可信开放科学应用。

　　

地球观测（Earth Observation, EO）正经历一场由人工智能驱动的深刻变革。随着卫星数据的爆炸式增长，地理空间基础模型（Geospatial Foundation Models, GFMs）应运而生，它们通过在大量无标签卫星影像上进行自监督学习，能够提取通用的地理空间特征，并只需少量标注数据即可快速适配各种下游任务，为解决长期困扰遥感领域的标注数据稀缺难题带来了曙光。然而，尽管潜力巨大，现有GFMs在现实世界中的广泛应用仍面临三大瓶颈：首先，大多数模型未能充分挖掘地球观测数据固有的多时序特性，即便考虑了时序信息，也往往局限于处理点数据或小范围时空序列；其次，缺乏涵盖多样化任务类型和清晰比较协议的深度验证，使得用户难以评估模型是否适用于自身场景；最后，将顶尖GFMs适配到不同应用通常需要深厚的AI专业知识，而缺乏便捷的工具和指导则构成了社区广泛采用的重要障碍。

为了突破这些限制，一个由IBM Research、NASA马歇尔太空飞行中心、阿拉巴马大学亨茨维尔分校、冰岛大学等机构组成的国际研究团队，在《IEEE Transactions on Geoscience and Remote Sensing》上发表了他们的最新成果——Prithvi-EO-2.0。作为Prithvi-EO系列的第二代模型，它旨在成为一个更强大、更通用的多时序地理空间基础模型，显著提升其在前代模型及其他现有模型之上的性能，并切实降低其在实际地球观测任务中的应用门槛。

研究人员开展这项研究，核心目标是构建一个能够更好地理解和利用地球观测数据时空维度信息的基础模型。为此，他们精心构建了一个规模空前、质量极高的全球多时序训练数据集。该数据集源于NASA的Harmonized Landsat Sentinel-2 (HLS)档案，包含了从2014年到2023年全球范围内超过420万个时序样本，空间分辨率为30米。在采样策略上，团队特别注重地表覆盖类型和生态区域的多样性，并通过对每个样本构建包含四个时间戳（相邻时间戳间隔1至6个月）的序列，确保模型能够捕捉到季节性和长期变化规律。为了优化模型训练，他们还对数据进行了严格的质量过滤，例如剔除云层覆盖过高或缺失值过多的样本，并对海洋和沙漠等均质区域进行了下采样以避免过拟合。

在模型架构方面，Prithvi-EO-2.0的核心是基于掩码自编码器（Masked Autoencoder, MAE）的自监督学习框架，并进行了两项关键创新。其一，将传统的二维图像块嵌入和位置编码扩展为三维形式，以支持处理时空序列输入（T张H×W大小的图像）。具体来说，3D图像块嵌入通过一个3D卷积层实现，将输入划分为不重叠的时空立方体；3D位置编码则由时间、高度和宽度三个维度的一维正弦余弦编码组合而成。其二，创新性地将样本的元数据（每个图像的时间戳以及样本中心点的经纬度）以编码形式融入模型。这些元数据编码通过可学习的权重与嵌入后的图像块标记进行加权求和，类似于位置编码的作用，为模型提供了全局的时空上下文信息。同时，在预训练过程中引入了随机丢弃元数据的机制，增强了模型在缺乏此类信息时的鲁棒性。研究人员训练了两种规模的模型：基于ViT-L的300M参数版本和基于ViT-H的600M参数版本，后者使其跻身目前最大的对地观测基础模型之列。

为了全面评估Prithvi-EO-2.0的性能，研究团队采用了双重评估策略。一方面，他们利用GEO-Bench这一权威基准测试框架，将Prithvi-EO-2.0与六种主流光学遥感基础模型（如MOCO、DINO、DeCUR、ScaleMAE、DOFA、Satlas）以及前代模型Prithvi-EO-1.0进行了 rigorous 对比。另一方面，与领域专家（Subject Matter Experts, SMEs）紧密合作，在三大类实际应用场景下对模型进行了深入评估：灾害响应、土地覆盖与作物制图、以及生态系统动力学监测。所有微调实验均集成在TerraTorch工具包中，且仅需单块GPU即可完成，凸显了其易用性。

基准测试结果

在GEO-Bench的12个数据集（6个分类，6个分割）上，Prithvi-EO-2.0展现出卓越的性能。总体来看，Prithvi-EO-2.0-600M-TL（包含时空位置嵌入）和Prithvi-EO-2.0-600M取得了最佳的综合性能，其分类和分割任务的平均得分均领先于其他对比模型。与Prithvi-EO-1.0相比，新模型性能提升高达8%。特别值得注意的是，在涉及强季节性变化的任务上（如m-bigearthnet土地覆盖分类和m-SA-crop-type作物分类），Prithvi-EO-2.0的各版本均表现优异，证明了其多时序建模能力的有效性。此外，尽管仅在30米分辨率的HLS数据上预训练，该模型在高分辨率任务（如无人机影像的树木树冠识别、牲畜追踪）上也表现出良好的泛化能力，显示了其跨分辨率应用的潜力。

灾害响应应用

在洪水制图（Sen1Floods11数据集）任务中，Prithvi-EO-2.0-600M-TL的水体IoU达到83.1%，比Prithvi-EO-1.0-100M提升了3.5个百分点。在野火疤痕制图任务中，Prithvi-EO-2.0-600M-TL的燃烧疤痕IoU达到83.2%，相比前代模型提升了5.6个百分点。在烧伤强度制图任务中，Prithvi-EO-2.0模型在平均交并比（mIoU）上超越了U-Net基线模型，尤其在识别未燃烧区域（IoU₀高达75.9%）方面优势明显，尽管所有模型在区分不同烧伤严重等级方面仍面临挑战。在滑坡检测（Landslide4Sense数据集）任务中，Prithvi-EO-2.0-300M在使用全部训练数据时，其mIoU（71.3%）和F1分数（60.7%）均优于U-Net和U-Net++模型。更引人注目的是，在仅使用1%（约50张图像）训练数据的少样本学习场景下，Prithvi-EO-2.0-600M表现出了显著的鲁棒性，其性能下降远小于传统U-Net模型，证明了大规模预训练在学习可泛化模式方面的优势。

土地覆盖与作物制图应用

在美国多时序作物分割任务中，Prithvi-EO-2.0-600M取得了50.7%的mIoU和68.8%的平均准确率（mAcc），优于所有其他对比模型。在欧洲土地覆盖与作物分类（Sen4Map数据集）任务中，即使输入序列长度从预训练时的4帧增加到12帧，Prithvi-EO-2.0模型在不同数据量下的加权F1分数均显著超过基线ViViT模型和前代模型，显示了其处理更长时序的能力。在法国多时序作物分割（PASTIS数据集）任务中，Prithvi-EO-2.0-600M在完整训练集和10%子集上的mIoU（分别为53.4%和37.4%）均达到最高，超过了专门为时序分割设计的U-TAE基线模型以及其他GFMs（如DOFA、Satlas、Presto），进一步印证了其强大的时序模式捕捉能力。

生态系统动力学应用

在地上生物量（Above Ground Biomass, AGB）估算任务中，使用12个月Sentinel-2时序数据和LoRA微调的Prithvi-EO-2.0-300M取得了最佳效果（测试集RMSE为33.40）。尽管略逊于结合SAR与多光谱数据的基线模型（RMSE为27.49），但该结果表明Prithvi-EO-2.0仅凭多光谱数据即可接近多模态模型的性能，并且能够有效适应比预训练更长的输入序列。在基于全球通量塔站点数据估算总初级生产力（Gross Primary Productivity, GPP）的任务中，Prithvi-EO-2.0-600M-TL的表现最为突出，其在不同测试年份的R²值（如2018年达0.88）均高于随机森林、XGBoost和ResNet-18等基线模型。这表明Prithvi-EO-2.0能够更有效地利用HLS数据中的精细空间信息，改善通量足迹内的遥感表征，为关键气候变量的估算提供了新途径。

综上所述，Prithvi-EO-2.0的研究成功展示了通过精心设计的大规模多时序数据集、创新的时空建模架构以及深入的多元化评估，能够显著提升地理空间基础模型的性能和实用性。该模型不仅在标准化基准测试中领先，更在多个真实世界的对地观测应用场景中证明了其卓越的泛化能力和实用性。其开源发布以及与TerraTorch工具的集成，极大地降低了领域专家使用和定制先进AI模型的门槛。这项工作是跨学科、跨机构合作的典范，并践行了所有参与机构共同承诺的“可信开放科学”原则，为未来对地观测领域的基础模型发展树立了新的标杆，预示着地理空间人工智能在解决全球环境挑战方面将发挥越来越重要的作用。