SAM3-CD：用于遥感变化检测的SAM 3参数高效适配

《Pattern Recognition》：SAM3-CD: Parameter-efficient adaptation of SAM 3 for remote sensing change detection

　　•原生类别线索在时间比较之前塑造每个日期的粗略特征。
•一个共享头通过文本查询选择六个监督变化类别。
•自适应特征通过多尺度绝对差异实现有竞争力的检测。
•直接边界监督改善了变化边界定位。
•视觉LoRA和边界解码使SAM 3适应5.10M可训练参数。

引言
遥感变化检测比较双时相图像，以支持城市监测、灾后评估和水体分析[1], [2]。它必须区分真实变化与光照和季节变化，同时跨尺度恢复物体范围。多样化的景观和昂贵的成对标注使得迁移预训练视觉知识特别有价值。

孪生卷积网络[3]建立了跨时间戳的共享表示；Transformer[4], [5]和状态空间模型[6], [7]扩展了上下文建模。SEED[8]通过无参数特征交换展示了有效预测。这些发展表明应考虑时间比较与表示学习和空间解码的结合。

视觉基础模型提供了广泛预训练的表示。SAM [9]引入了可提示图像分割，SAM 2 [10]将其扩展到视频，SAM 3 [11]将识别与概念提示（如“建筑”和“水”）连接起来。SAM-CD [12]和PeftCD [13]适应基础模型特征进行变化检测。SAM 3方法通过SAM3TGNet [14]探索视觉时间建模，并通过OmniOVCD [15]进行基于概念的实例比较。SAM 3的原生文本和多模态编码器提供了另一个机会：类别信息可以在时间比较之前进入图像表示。

实现这一机会需要三个相互关联的选择：参数高效的视觉适应遥感、将原生概念条件特征集成到时间比较中，以及从粗略目标信息和精细空间细节重建变化区域。

我们提出了SAM3-CD，它在时间比较之前引入SAM 3的原生类别条件。视觉LoRA [16]适应共享图像编码器，而预训练的文本和多模态权重保持冻结。相同的类别查询在两个日期的粗略特征上进行条件化，同时两个更精细的视觉级别保留空间细节。多尺度绝对差异输入边界感知解码器（BAD），其共享预测头检索请求类别的变化掩码。更改查询从同一图像对中选择不同目标，使用相同的模型权重。该框架还支持异构二进制目标的仅图像预测。使用5.10M可训练参数，约为加载模型的0.60%，SAM3-CD在五个二进制基准上取得了有竞争力的结果，并在SECOND上支持类别选择掩码。

我们的贡献如下：
1.我们提出了一个参数高效的SAM 3适应框架，将视觉LoRA与冻结的原生多模态编码器结合。相同的类别查询在时间比较之前条件化每个日期的粗略特征，而两个更精细的视觉级别保留空间细节。
2.我们展示了适应的多尺度表示支持具有无参数绝对差化和边界感知重建的有竞争力的变化定位。完整的BAD联合预测区域和边界带；受控消融确定了直接边界监督作为轮廓改进的有效来源。
3.我们通过一个共享预测头展示了类别选择性变化定位：六个监督类别查询从同一SECOND图像对中检索不同的变化掩码。在五个二进制基准上的评估进一步确立了使用5.10M可训练参数的有竞争力的检测。

第2节回顾相关工作，第3节介绍SAM3-CD，第4节报告实验，第5节讨论发现及其范围，第6节总结。

章节片段
用于遥感变化检测的深度学习
深度变化检测器结合图像编码、双时相特征融合和空间解码。早期孪生CNN [3]建立了共享编码器，而SNUNet [17]通过密集连接加强了多尺度重建。BIT [4]和ChangeFormer [5]使用Transformer进行上下文建模；ChangeMamba [6]和CDMamba [7]开发了状态空间表示。除了差化和注意力机制外，Changer [18]和EfficientCD [19]探索特征交换；SEED [8]在框架内使用无参数交换。

框架和预测目标
SAM3-CD通过共享特征适应、时间比较和边界监督解码将配准的RGB图像 ??1,??2∈?3×??×?? 映射到变化掩码（图1）。相同的类别查询条件化两个粗略特征图；更精细的级别保留视觉细节。对于异构全变化目标，仅图像配置全程使用视觉特征。

二进制基准使用其提供的变化掩码 ??。对于SECOND上的类别条件预测，设 ?? 为二进制变化标注

数据集
我们在五个二进制变化检测基准上评估SAM3-CD：LEVIR-CD [33]和WHU-CD [34]用于建筑，SYSU-CD [35]用于多样城市变化，CDD [36]用于季节场景，WaterCD [37]用于水体。表1总结了数据划分、图像尺寸和模型配置。固定查询为LEVIR-CD/WHU-CD的“建筑”和WaterCD的“水”；SYSU-CD和CDD使用仅图像配置处理异构变化目标。

我们另外使用SECOND [38]来评估

适应基础模型进行变化检测
表8中的编码器控制表明适应在该框架中最有生产力的位置。在LEVIR-CD上，视觉LoRA提供了主要精度增益；保持预训练多模态权重冻结与额外适应它们相似的结果。这表明将任务特定学习集中在视觉表示和空间解码器中，同时重用原生概念接口。这种分配将参数高效迁移与任务本身联系起来：视觉

结论
本文介绍了SAM3-CD，一个将SAM 3的视觉和概念条件表示与遥感变化检测连接起来的参数高效框架。视觉LoRA学习任务特定特征；在Native-MM中，冻结的多模态编码器在时间比较之前引入类别信息。无参数多尺度绝对差异输入完整的边界感知解码器进行区域和轮廓重建。模型更新510万个参数，约为

CRediT作者贡献声明
Wenhao Zhan：写作—原稿，可视化，验证，软件，方法论，正式分析，数据管理。Wenzhe Zhao：写作—审阅与编辑，监督，资源，项目管理，方法论，概念化。Shiyuan Li：写作—审阅与编辑，监督，资源，项目管理，方法论，概念化。

利益冲突声明
作者声明，他们不知道可能影响本论文报告工作的已知竞争经济利益或个人关系。

致谢
本研究得到了中国科学院空天信息创新研究院的财务支持。作者衷心感谢该研究院提供的宝贵指导、深刻的技术讨论和必要的研究资源。