TerraSAP：面向遥感图像少样本类增量学习的空间感知提示框架

《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》：TerraSAP: Spatially-Aware Prompt-Based Framework for Few-Shot Class-Incremental Learning in Remote Sensing Image Classification

本文针对遥感图像分类中少样本类增量学习(FSCIL)面临的空间结构关系复杂、类内差异大等独特挑战，提出了一种高效框架TerraSAP。该研究通过空间感知提示模块(SAPM)注入空间先验，采用新类感知分类器(NCAC)和双路径指数移动平均(DPEMA)协同机制，在NWPU-RESISC45数据集上达到84.52%的平均准确率，显著提升新类学习能力，并实现参数总量减少47.10%、推理速度提升27.80%，为动态环境下的遥感图像分析提供了创新解决方案。

　　

随着对地观测技术的飞速发展，遥感图像已成为城市规划和环境监测等领域不可或缺的数据来源。然而现实世界中，遥感数据会随时间不断累积，新的地物类别也会动态出现，同时这些新类别的样本往往极其稀少。这种动态特性与深度神经网络通常依赖的静态训练假设形成鲜明矛盾，给模型的终身学习能力带来严峻挑战。

类增量学习(CIL)虽然致力于让模型能够持续学习不断涌现的新类别，但其通常假设新类样本充足，这与遥感应用的实际场景相去甚远。更严苛的现实需求催生了少样本类增量学习(FSCIL)，它既要克服灾难性遗忘，又要避免在极稀疏样本上过拟合，成为遥感图像分析领域的重大难题。

现有通用FSCIL方法在面对遥感图像的复杂特性时存在明显局限：一方面难以融合遥感特有的空间先验知识，如地物之间的地理空间分布模式；另一方面无法有效应对遥感图像中存在的巨大类内差异和细微类间相似性。虽然已有一些针对遥感图像的探索性研究，但它们往往只侧重解决某一个挑战，未能充分利用遥感图像中丰富的空间上下文信息来同时应对这两个核心问题。

针对这一研究空白，研究人员在《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》上发表了题为"TerraSAP: Spatially-Aware Prompt-based Framework for Few-Shot Class-Incremental Learning in Remote Sensing Image Classification"的研究论文，提出了一种专门针对遥感场景的高效模块化协同学习框架。

本研究的关键技术方法包括：基于预训练Vision Transformer(ViT)构建框架，保持主干网络参数冻结；设计空间感知提示模块(SAPM)通过确定性位置编码和注意力机制注入空间拓扑先验；开发新类感知分类器(NCAC)实现基于空间上下文的新类原型初始化；建立双路径指数移动平均(DPEMA)机制平衡稳定性与可塑性。实验在NWPU-RESISC45、UCM和MSTAR等多个遥感数据集上进行验证，采用5-shot增量学习设置。

空间感知提示模块的创新设计

研究团队发现，通用提示学习方法通常将提示视为无序向量集合，忽略了遥感图像中关键的空间结构先验。为此设计的SAPM采用确定性编码器架构，通过融合绝对和相对位置信息来构建空间感知提示。具体而言，为每个提示标记分配独特的2D正弦位置编码，使其具备几何坐标的绝对感知；同时在自注意力计算中引入基于曼哈顿距离的相对位置偏置项，显式建模邻近性先验知识。这种设计避免了变分编码器带来的随机采样噪声，在少样本场景下更加稳定。通过三分支调制策略进一步增强提示的鲁棒性，结合空间平滑、语义稳定和一致性保持分支，动态优化提示特征。

新类学习与知识保留的协同机制

在获得空间增强特征的基础上，研究团队设计了NCAC和DPEMA的协同机制来解决新类学习效率和旧类遗忘问题。NCAC采用基于上下文感知的原型初始化策略，不仅计算支持集样本特征的平均值，还融入从空间感知提示模块提取的空间上下文信息。通过自适应调制策略，使原型能够在特征空间中调整位置并重塑特征分布，更好地适应遥感数据中的高类内方差。DPEMA则通过维护稳定性路径和可塑性路径的双重记忆系统，实现更精细的稳定性-可塑性平衡。稳定性路径偏向保留通用稳定的历史知识库，而可塑性路径专注于捕捉任务相关的动态知识。

实验验证与性能分析

在NWPU-RESISC45数据集上的实验结果表明，TerraSAP实现了84.52%的平均准确率，显著优于LIMIT、BiDist等强基线方法。特别是在早期增量阶段，新类准确率提升明显，表明空间先验有效增强了早期会话的适应能力。即是在后续会话中，随着类别空间的不断扩展，平均准确率仍保持竞争力，说明空间先验有助于在新增类别累积时维持良好的决策边界分离。

跨模态泛化能力测试中，TerraSAP在SAR数据集MSTAR上达到76.70%的平均准确率，优于大多数通用方法，与专门针对SAR成像物理特性设计的CPL方法性能相当。这一结果证明，空间感知提示能够捕获模态无关的空间模式，为SAR数据提供鲁棒的增量学习解决方案。

参数效率与推理速度优势

与基线方法ASP相比，TerraSAP在保持性能优势的同时，实现了显著的参数效率提升。总参数量减少47.10%，可训练参数量降低93.20%，推理速度提升27.80%。这种高效的参数利用使得该框架特别适合在资源受限的平台上部署，为实际遥感应用提供了实用价值。

局限性分析与未来方向

研究也识别了当前方法的局限性。在复杂结构语义模糊的情况下，空间先验的显式注入可能导致混淆，特别是当新类别与现有基类共享高度相似的拓扑布局时。例如，铁路站场类别与教堂、商业区之间存在显著误分类，原因是这些类别共享大规模建筑结构特征。此外，模型在某些情况下可能过度依赖几何形状而忽略纹理特征，如河流类别与高速公路的混淆。

研究结论表明，TerraSAP框架通过空间感知提示学习、智能新类适应和双路径知识保留的协同设计，有效解决了遥感FSCIL中的独特挑战。该方法在多个遥感基准数据集上实现了最先进或具有竞争力的性能，同时显著提升了参数效率和推理速度。未来工作将侧重于加强跨模态迁移能力、开发自适应策略以在上下文噪声较大时降低空间线索的权重，以及探索更高分辨率特征或轻量级主干网络调优。