RS-Prompt：面向遥感农田分割的提示驱动域增量学习框架

《Neurocomputing》：RS-Prompt: Prompt-Driven Domain-Incremental Learning Framework for Remote Sensing Farmland Segmentation

　　**摘要**基于遥感的农田分割在智慧农业管理中发挥着关键作用。然而，在固定域上训练的模型在应用于新区域、季节或传感器条件时，会出现严重的“灾难性遗忘”问题。为解决这一问题，本文提出了 RS-Prompt，这是一种专为遥感农田分割设计的提示驱动域增量学习框架。其核心创新在于将提示策略性地集成到编码器的注意力机制和解码器的重建过程中，以明确对抗遗忘。具体而言，我们引入了一种多类提示（MCP）机制，将可学习提示向量嵌入到注意力层中，使模型能够在保持共享语义知识的同时动态适应分布偏移。此外，为了解决解码阶段的结构退化问题，我们提出了一种提示门控 MLP 解码器（PGMLP）。该解码器利用提示自适应地调节特征重建，并引入可学习的 Gabor 滤波器以保持边界细节，确保跨域的结构一致性。此外，设计了一种提示 -FCM（PFCM）融合模块，以深度对齐提示与视觉特征。在三个风格差异显著的数据集上的大量实验表明，RS-Prompt 有效解决了域增量分割中的一系列核心挑战，如风格差异大和分辨率不一致。所提出的方法在交并比（IoU）和遗忘率方面均大幅优于现有主流方法，为长期、多区域农田监测提供了稳健的解决方案。**章节片段****引言**在固定域上训练后，传统深度学习模型在遇到新域数据时，性能往往会出现急剧下降。这种“灾难性遗忘”问题限制了模型在多域环境中的泛化能力 [1]，[2]。域增量学习（DIL）旨在使模型能够逐步从新域数据中学习，同时保持之前域知识的连续性和稳定性，从而实现跨域知识转移和**A. 增量学习**增量学习/持续学习旨在使模型在面对不断到达的任务或数据分布变化时，能够高效学习新知识，同时保留以前获得的知识，从而减轻灾难性遗忘。早期研究主要关注通过正则化或输出约束来抑制新任务训练期间旧知识的退化。例如，无遗忘学习（LwF）保留了旧**所提方法**RS-Prompt 的整体训练过程如图 2 所示。对于每个输入的域，输入图像首先被划分为 patch tokens 并输入到 ViT 主干网络中以获得视觉表示。基于这些视觉 tokens 和当前域信息，多类提示（MCP）模块生成或选择四种类型的提示，包括通用提示、域风格提示、动态尺度提示和分辨率感知提示。然后这些提示被注入到**A. 实验设置**1) 数据集为了评估模型在遥感农田分割中的泛化能力和持续学习性能，本文选择了三个在空间分辨率、地理覆盖范围、成像风格和数据规模上存在显著差异的代表性数据集：法国农田数据集（FFD）、中国细粒度农田数据集（FGFD）和 FarmSeg-VL。详细信息见表 2。这三个数据集在空间分辨率上逐渐存在差异，**结论**在本文中，我们提出了一种系统的提示驱动域增量学习框架，用于遥感农田分割。为了解决由跨域偏移引起的灾难性遗忘，我们通过将多种类型的提示（包括域风格、基于 token 长度的尺度和基于特征相似性的分辨率感知提示）集成到编码器注意力模块和所提出的 PGMLP 中，构建了一种提示驱动的抗遗忘机制。结合 PFCM 和 Gabor 边缘**CRediT 作者贡献声明****张圣源：** 可视化，资源。**周义博：** 指导，调查，形式分析。**周鹏：** 方法论。**曹昭翔：** 写作 – 初稿，可视化，软件，概念化。**黄宇春：** 写作 – 回顾与编辑，方法论，资金获取，数据整理。**竞争利益声明**作者声明他们没有已知的竞争性财务利益或个人关系可能影响本论文报告的工作。**曹昭翔** 于 2021 年获得中国福州福建农林大学空间信息与数字技术学士学位，2024 年获得中国上海上海海洋大学海洋科学学院海洋科学硕士学位。他目前在中国武汉武汉大学遥感与信息工程学院攻读遥感科学与技术博士学位。他的研究兴趣包括曹昭翔 | 黄宇春 | 张圣源 | 周义博 | 周鹏武汉大学遥感与信息工程学院，中国武汉 430072