《Remote Sensing》：MV-S2CD: A Modality-Bridged Vision Foundation Model-Based Framework for Unsupervised Optical–SAR Change Detection
Yongqi Shi,
Ruopeng Yang,
Changsheng Yin,
Yiwei Lu,
Bo Huang,
Yongqi Wen,
Yihao Zhong and
Zhaoyang Gu
编辑推荐：
摘要：针对异构成像机理的光学(RGB/多光谱)与合成孔径雷达(SAR)影像在无标注样本条件下的变化检测(Change Detection, CD)难题，研究人员提出了一种无监督多模态遥感变化检测框架——MV-S2CD(Multi-modal Vision Fo
摘要：针对异构成像机理的光学(RGB/多光谱)与合成孔径雷达(SAR)影像在无标注样本条件下的变化检测(Change Detection, CD)难题，研究人员提出了一种无监督多模态遥感变化检测框架——MV-S2CD(Multi-modal Vision Foundation Model adapted for SAR-optical Siamese Change Detection)，通过模态专属适配器(Modality-specific Adapter)消除光学与SAR间的域偏移并将通道维对齐至视觉基础模型(Vision Foundation Model, VFM)的嵌入空间，继而采用低秩适配(Low-Rank Adaptation, LoRA)注入可学习参数以高效微调预训练VFM编码器，从异构双时相影像对中提取高层语义表征用于变化判别。该方法在完全无监督场景下实现了光学与SAR特征空间的有效桥接，避免了全量微调带来的过拟合风险与计算开销，并在多个异构光学-SAR变化检测基准上验证了其有效性。
论文解读：MV-S2CD——面向异构光学与SAR影像的无监督多模态遥感变化检测的视觉基础模型适配方法
一、研究背景与意义
传统遥感变化检测(Change Detection, CD)多聚焦于单模态(如同为光学影像)双时相对比，依赖大量标注样本且难以处理异构成像机理的多模态数据。光学影像富含光谱与语义信息但易受光照、云遮挡影响；合成 aperture radar(SAR)具全天候穿透能力但对地表变化敏感且含乘性斑点噪声(speckle)。现有方法鲜有同时应对光学-SAR异构配对、无监督设定及充分利用预训练视觉基础模型(Vision Foundation Model, VFM)语义能力的挑战。本研究发表于《Remote Sensing》，提出MV-S2CD框架，旨在无标注条件下通过模态适配与VFM参数高效微调实现异构光学-SAR变化检测，解决模态域偏移、绝对辐射信息保留与计算效率三者平衡问题。
二、关键技术方法概述
研究人员采用CROMA(CROMA是面向光学与SAR的双分支Foundation Model)作为VFM骨干，构建两个模态专属卷积适配器(Adapter)：光学适配器使用Batch Normalization(BN)；SAR适配器在3×3卷积前插入Instance Normalization(IN)以消除局部对比度变异与乘性speckle干扰，后接GELU激活与Cmid通道数3×3卷积将输入映射至VFM兼容维度。经patch embedding后，双分支分别送入对应LoRA(Low-Rank Adaptation, rank r?min(din,dout))增强的CROMA编码器提取token序列特征Ha, Hb∈?N×D，最终通过模态桥接投影与变化判别头输出变化图。整个流程在无监督损失下端到端训练，仅更新Adapter与LoRA参数，冻结VFM主体权重。
三、研究结果
3.1 Modality-Specific Adapters（模态专属适配器）
光学适配器定义为Aopt(X)=σ(BN(ConvCmidk×k(X)))，SAR适配器定义为Asar(X)=ConvCb3×3(σ(IN(ConvCmid3×3(X))))。研究人员指出SAR分支选用Instance Normalization是为应对无监督异构设定下局部对比度波动与乘性speckle对优化的 destabilizing影响，此设计会部分丢失校准SAR后向散射的绝对辐射信息，未来可通过全局辐射归一或混合适配器改进。实验表明适配器有效降低模态诱导域偏移并统一通道维度供后续VFM处理。
3.2 VFM Encoder Adaptation with LoRA（基于LoRA的VFM编码器适配）
采用CROMA预训练光学编码器B?opt与雷达编码器B?sar（均已注入LoRA），经patch embedding得token序列Za, Zb∈?N×D，高级特征为Ha=B?opt(Za), Hb=B?sar(Zb)。LoRA保持原始权重W∈?din×dout冻结，引入ΔW=BA?，其中A∈?din×r, B∈?dout×r, r?min(din,dout)。研究人员论证全量微调计算昂贵且易在无监督目标下过拟合，LoRA以极少可训练参数实现backbone高效适配，兼容CROMA内置位置偏置无须额外位置编码。
四、讨论与结论
研究人员得出结论：(1)模态专属适配器通过统计对齐与通道映射减少光学-SAR域偏移并为VFM提供统一接口；(2)Instance Normalization在SAR适配器中是对无监督异构场景的实用设计，虽部分牺牲绝对后向散射信息但保障优化稳定；(3)LoRA使预训练VFM可在无监督异构CD任务中高效迁移而无需全量微调；(4)MV-S2CD框架骨干灵活，可扩展至其他提供密集token特征的VFM。该研究为多模态异构遥感变化检测引入VFM无监督适配范式，为后续融合绝对SAR辐射线索与混合适配器设计指明方向。
