SpectralX：面向光谱遥感基础模型的参数高效领域泛化方法

《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》：SpectralX: Parameter-efficient domain generalization for spectral Remote Sensing Foundation Models

　　张宇翔|李伟|张梦梦|韩佳伟|陶然|梁顺林中国香港香港大学地理系摘要近年来，遥感基础模型领域的进展为该领域带来了重大突破。尽管许多遥感基础模型已通过大量光学图像进行预训练，但更多的多光谱/高光谱数据仍缺乏相应的基础模型。为充分利用光谱图像在地球观测中的优势，我们探讨了是否无需大规模光谱预训练即可有效调整现有遥感基础模型以处理多种光谱数据。为应对这一挑战，我们提出了SpectralX这一创新的参数高效微调框架，它以现有遥感基础模型作为核心，并采用两阶段训练方法来处理不同的光谱输入，从而显著提升模型的领域泛化能力。在第一阶段，我们采用掩码重建任务，并设计专门的超分词器（HyperT）从空间和光谱维度提取属性标记。同时，我们开发了面向属性的适配器混合结构（AoMoA），在逐层微调过程中动态调节特征。在第二阶段，以语义分割作为下游任务，我们在AoMoA之后加入了经过属性优化的适配器（Are-adapter）。通过让高级表示不断查询低级语义特征，模型学会聚焦于对任务有益的特征，从而实现遥感基础模型的定制化调整。经过这两个阶段的调整后，SpectralX能够解读来自新区域或季节的光谱图像。我们收集了三个基准光谱数据集，并设计了八项领域泛化任务。综合实验表明，SpectralX能够有效适应多种光谱图像，在跨领域解读任务中的表现优于现有最先进方法。在与无领域差异及有领域差异的设置下，SpectralX的平均mIoU分别比传统遥感基础模型提升了4.2%和3.5%。相关代码可在以下网址获取：https://github.com/YuxiangZhang-BIT/SpectralX引言地球观测技术通过整合来自不同平台和传感器的各类遥感数据，为了解地球表面提供了重要信息，极大地推动了资源管理、城市环境分析以及环境保护等领域的进展（Wu等人，2023；Ahn等人，2023；Hou等人，2024）。随着地球观测技术的快速发展，大量数据持续产生，而这些高度定制化的数据具有明显的异质性。诸如Landsat（Roy等人，2014）、Sentinel（Gonzalez-Calabuig等人，2025）、EnMAP（Goswami等人，2025）以及Orbita高光谱微纳卫星（OHS）（Li等人，2022）等卫星平台能够捕捉包括光学RGB图像、多光谱图像（MSI）和高光谱图像（HSI）在内的多种遥感信息。这些高度异质的遥感数据很难用统一的模型进行处理。近年来，计算机视觉领域出现了一系列代表性的自监督学习技术，如SimCLR（Chen等人，2020）、掩码自动编码器（MAE）（He等人，2022）以及动量对比学习（MoCo）（He等人，2020）。这些方法极大推动了大规模预训练视觉基础模型（VFMs）的发展。VFMs依靠大规模无标签数据进行预训练，能够学习通用且普遍的视觉表征，这类表征只需少量带标签数据即可被高效迁移并应用于各种下游任务，涵盖从图像分类、语义分割到物体检测等多个领域。尤其是CLIP（Radford等人，2021）、SAM（Kirillov等人，2023）和DINO（Caron等人，2021）等视觉基础模型已在众多视觉任务中建立了多项基准。由于光学RGB遥感图像与自然图像的异质性较低，现有的VFMs架构很适合用于遥感基础模型（RSFMs）。借助现有VFMs的成功经验，已有不少基于光学RGB图像预训练的RSFMs问世，比如地理空间基础模型（GFM）（Mendieta等人，2023）、Scale-MAE（Reed等人，2023）以及跨尺度MAE（Tang等人，2024）。这些模型为遥感图像分析提供了强大的通用表征，显著提升了分类、检测和分割等下游任务的性能。与此同时，为适应多光谱和高光谱遥感数据的特性，人们也开始研究专为这类数据设计的频谱基础模型（SpectralFMs）。例如，SatMAE（Cong等人，2022）、SatMAE++（Noman等人，2024）以及SpectralGPT（Hong等人，2024）仅使用不到一百万张多光谱Sentinel-2遥感图像作为预训练数据，就成功构建了适用于多光谱图像分析的SpectralFMs。高光谱数据包含数十到数百个连续的光谱波段，其数据维度和复杂性远远超过RGB和多光谱数据。专为高光谱图像设计的HyperSIGMA（D. Wang等人，2025）则收集了来自全球的约45万张高光谱图像用于预训练。与RSFMs相比，SpectralFMs的训练成本要高得多。一方面，由于大气条件及传感器平台等因素，光谱数据的获取难度高于RGB数据；另一方面，一张光谱图像相当于多张RGB图像，因此构建SpectralFMs需要更多的计算资源。如何以更经济的方式利用光谱图像在地球观测中的优势，成为了一个新的挑战：如何让RSFMs适应光谱数据类型，并在不需大规模光谱预训练的情况下实现与SpectralFMs相当的解读性能？如图1所示，大多数现有RSFMs主要侧重于捕捉光学RGB图像中的丰富空间信息，其架构并不适合处理同时包含空间和光谱多维信息的光谱数据，尤其是高光谱图像。因此，当应用于涉及光谱图像的下游任务时，它们的性能会受到限制。此外，目前提出的RSFMs和SpectralFMs，如SatMAE++、SpectralGPT和HyperSIGMA，虽已在大量光学和光谱数据上完成预训练，在下游任务微调中表现出出色的多任务处理能力，但在处理未见过的场景时性能较差，领域泛化能力不足。我们构建了八项光谱领域泛化评估基准，并在表1中展示了四种代表性模型的性能（需注意，“无领域差异”和“有领域差异”设置遵循官方数据集划分方式，即不同设置下的训练集和测试集相互独立）。当面对存在领域差异的未见场景时，模型的解读性能会显著下降。因此，为以更经济的方式让RSFMs适应光谱数据类型，并提升其在未见场景中的领域泛化能力，我们研究了参数高效微调策略。目前，许多针对遥感数据的参数高效微调方法都是基于LoRA来设计可训练适配器（Hu等人，2022），这些适配器被用于针对特定下游任务对RSFMs进行微调（Peng等人，2024；Hu等人，2024）。然而，这些方法严重忽视了光谱图像的固有特性，限制了其在光谱图像上的适用性。为解决上述问题，我们提出了专门针对遥感光谱图像的参数高效微调方法——SpectralX。该方法无需依赖大规模光谱预训练，就能以较低成本让RSFMs适应新的光谱数据类型以及未见过的场景（包括未知区域、时间或季节）。SpectralX分为三个阶段：第一阶段为光谱数据类型适配，第二阶段为面向任务的泛化训练，第三阶段为未见场景解读。在第一阶段，我们重点探索光谱图像的通用表征方式，采用MAE中的掩码重建策略来适配光谱数据类型。考虑到光谱数据固有的多维特性，我们明确分解空间-光谱属性，并设计超分词器（HyperT）以实现属性感知与匹配。受专家混合结构（MoE）（Ma等人，2018）和适配器混合结构（MoA）（Hu等人，2023）的启发，我们开发了面向属性的MoA结构（AoMoA），用于更新冻结状态下的RSFMs中少量可训练参数，同时建立了属性专用路由器组与多个高效微调适配器之间的路由机制。在第二阶段，我们通过设计经过属性优化的适配器（Are-adapter）来聚焦于任务导向的学习，逐步优化对下游任务有用的属性特征。最后，在第三阶段，使用完全训练好的SpectralX来解读未见过的场景。本文的主要贡献如下：•SpectralX仅需少量可训练参数，就能将原本为光学数据设计的RSFMs适配为光谱数据类型，同时利用有限的带标签数据提升RSFMs的领域泛化能力。•为弥合光学数据与光谱数据类型之间的领域差异，我们设计了HyperT，能够生成用于捕捉空间-光谱属性的标记。•AoMoA采用了灵活的路由机制，可根据不同属性动态调整特征，逐层适配光谱数据类型。•为了实现任务导向的定制化调整，我们提出了Are-adapter。该适配器能够让高级标记不断查询低级语义特征，逐步优化对土地覆盖类别的空间分布及重要性谱的感知。•我们收集了三个高光谱图像数据集，并设计了八项领域泛化任务，填补了光谱图像语义分割迁移学习评估基准的空白。本文的其余结构如下：第2节介绍遥感/光谱基础模型以及参数高效微调领域的最新研究进展；第3节介绍所构建的领域泛化评估基准；第4节详细阐述所提出的SpectralX；第5节展示在多个光谱领域泛化评估基准上的大量实验结果与分析；最后，第6至7节为讨论与结论部分。片段摘录遥感/光谱基础模型这类模型利用自监督学习策略，从大规模无标签数据中学习通用表征，通常无需针对特定任务进行定制化设计（Zavras等人，2025；Chen等人，2024；Xu等人，2024；Lacoste等人，2024）。对于下游任务，往往需要通过带标签数据进行监督微调，才能更好地使模型满足特定应用需求。MAE（He等人，2022）是一种常用的自监督学习方法，该方法会随机遮盖输入图像的部分区域，然后……研究数据集目前，用于遥感图像迁移学习（领域适配与领域泛化）的数据集包括用于RGB光学图像语义分割任务的ISPRS Vaihingen & Potsdam、LoveDA（Wang等人，2021）等，以及用于高光谱图像分类任务的Houston2013 & Houston2018（Le Saux等人，2018）、HyRANK Dioni & Loukia（Karantzalos等人，2018）等。不过，目前还缺乏用于高光谱图像语义分割迁移学习的数据集。方法在本节中，我们首先在4.1节介绍SpectralX的整体框架，然后在4.2、4.3、4.4节分别详细介绍HyperT、AoMoA和Are-Adapter的构成。基准方法为探究现有方法在不同领域差异条件下的性能变化，以及验证SpectralX的泛化能力，我们基于WHUOHS数据集、DFC2020数据集和MTS12数据集构建的光谱领域泛化基准，与一系列代表性模型进行了大量实验对比。我们将所提方法与多种现有最先进算法进行了比较。讨论本研究旨在以最低的训练成本，实现RSFMs对光谱数据类型的有效适配，同时保持其在未见场景中的强泛化性能。我们提出了SpectralX这一创新方法，它通过由光谱数据类型适配和面向任务的泛化训练组成的两阶段渐进式优化框架，成功弥合了光学数据与光谱数据类型之间的领域差异。此外，我们还通过多种方式全面评估了该模型的泛化能力。结论本文提出了SpectralX，这是一种参数高效微调框架，它能够将原本为光学数据设计的遥感基础模型扩展到光谱数据类型，同时提升其领域泛化能力。SpectralX包含三个关键阶段：光谱数据类型适配（第一阶段）、面向任务的泛化训练（第二阶段）以及未见场景解读（第三阶段）。在第一阶段，我们设计了专为光谱图像设计的超分词器（HyperT）。作者贡献声明张宇翔：撰写——初稿、方法论、概念设计。李伟：撰写——审阅与编辑、指导。张梦梦：撰写——审阅与编辑。韩佳伟：撰写——审阅与编辑、数据整理。陶然：撰写——审阅与编辑。梁顺林：撰写——审阅与编辑、指导。利益冲突声明作者声明不存在任何可能影响本文研究结果的已知财务利益或个人关系。