PeftCD：利用参数高效的微调技术，结合视觉基础模型进行遥感变化检测

《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》：PeftCD: Leveraging Vision Foundation Models with Parameter-Efficient Fine-Tuning for Remote Sensing Change Detection

　　

摘要：

为了解决多时相多源遥感图像中虚假变化的普遍性、注释的稀缺性以及跨域迁移的难度问题，我们提出了PeftCD，这是一个基于视觉基础模型（VFMs）并采用参数高效微调（PEFT）的变化检测框架。具体而言，PeftCD采用了一个从VFMs实例化的共享权重孪生编码器，并在其中注入了LoRA和Adapter模块作为微调策略，从而只需训练少量额外参数即可适应特定任务。为了更好地探索VFMs在变化检测中的潜力，我们研究了两种代表性的模型架构：Segment Anything Model v2（SAM2），它提供了强大的分割先验；以及DINOv3，这是一种先进的自监督表示学习器。同时，PeftCD采用了设计精简且高效的解码器来突出模型架构的表示能力。大量实验表明，PeftCD在多个公开数据集上取得了领先性能，包括SYSU-CD（IoU 73.81%）、WHUCD（92.05%）、MSRSCD（64.07%）、MLCD（76.89%）、CDD（97.01%）、S2Looking（52.25%）和LEVIR-CD（85.62%），在边界划分的精确度和伪变化的抑制方面表现尤为突出。总体而言，PeftCD在准确性、效率与泛化能力之间取得了良好的平衡，为将VFMs应用于实际遥感变化检测提供了一个高效的方法。代码和预训练权重可在以下链接获取：https://github.com/dyzy41/PeftCD。