面向遥感语义分割的视觉基础模型参数高效多模态自适应方法

《International Journal of Applied Earth Observation and Geoinformation》：Parameter-efficient multimodal adaptation of vision foundation models for remote sensing semantic segmentation

　　

研究人员提出MoBaNet，一种面向遥感(RS)语义分割的参数高效多模态自适应框架。该框架冻结预训练视觉基础模型(VFM)骨干并仅将有限可训练容量分配至多模态专用操作，在默认DINOv2-ViT-B配置下仅训练5.43%参数即在两个ISPRS多模态基准上取得强结果。为克服骨干冻结导致的深层跨模态交互不足，研究人员设计跨模态提示注入适配器(CPIA)，在不破坏基础模型预训练特征空间的前提下，由双模态生成共享语义提示并注入轻量瓶颈适配器以实现隐式语义级调制。为获得紧凑判别的多模态表征，研究人员提出差异引导门控融合模块(DGFM)，利用跨模态差异在通道与空间维进行自适应门控融合。为缓解训练期光学主导偏置，研究人员引入模态条件随机掩码(MCRM)策略，在批次级对单模态局部掩码并对模态分支施加硬像素辅助监督。实验表明该框架在精度与鲁棒性上均具优势。

研究背景方面，遥感(RS)语义分割旨在为高分地球观测(EO)影像逐像素赋类，服务于土地覆盖制图、城市监测与灾害评估等任务。相比自然场景，RS影像存在大尺度变化、遮挡频繁与背景复杂等问题，且易受光照、阴影、季节与传感器伪影干扰。引入RGB外的互补模态（如DSM高程）可补偿光学局限，但异构模态在成像机制、数值分布与噪声特性上差异显著，现有双分支全微调方案训练存储开销大，且优化易收敛至光学主导捷径，架构对称并不保证模态贡献均衡。近年来视觉Transformer(ViT)与视觉基础模型(VFM，如DINOv2、SAM)展现强泛化能力，但全微调成本高昂，参数高效微调(PEFT)方法多面向单模态，直接迁移至多模态RS场景面临深层跨模态交互不足与模态失衡被冻结骨干放大的瓶颈。为此研究人员以"冻结骨干+轻量多模态专用模块"为原则开展本研究，发表于《International Journal of Applied Earth Observation and Geoinformation》。

关键技术方法上，研究人员采用预训练ViT作共享冻结骨干，光学支复用冻结的三通道patch嵌入E_opt，辅助支（DSM）新增可训练嵌入E_aux；在选定阶段前插入跨模态提示注入适配器(CPIA)，由双模态token生成共享提示经轻量瓶颈调制各支适配器，阶段后接差异引导门控融合模块(DGFM)做通道—空间自适应融合；训练期采用模态条件随机掩码(MCRM)，批次内对单模态局部掩码并在主支S1与辅助支S2、S3施加硬像素辅助监督，推理仅用主支。实验基于ISPRS Vaihingen（NIR-R-G+DSM）与Potsdam（RGB+DSM）队列。

研究结果部分，第1节引言指出多模态RS分割需兼顾异构对齐与光学偏置抑制，现有PEFT缺深层交互与模态竞争建模。第2节相关工作综述多模态融合三范式（早/晚/特征级）及VFM适配的PEFT路线（Adapter、LoRA、VPT），明确本文定位为冻结骨干下联合跨模态提示、差异融合与训练期正则。第3节方法详述整体架构：输入I_opt∈?^B×3×H×W、I_aux∈?^B×C_a×H×W，经E_opt、E_aux得X₀、Y₀∈?^{B×H′×W′×C}（H′=H/p，W′=W/p），双流过冻结ViT各阶段，CPIA置于阶段前、DGFM置于阶段后，MCRM仅训练期生效。第3.2节CPIA用跨模态池化得共享提示p，分别注入光学/辅助适配器瓶颈实现语义级耦合；第3.3节DGFM计算|X?Y|差异图，经通道门与空间门生成融合特征F；第3.4节MCRM以概率ρ掩单模态块，对可见区域算辅助分割损失L_aux。第4节实验在Vaihingen/Potsdam上以mIoU、F1评估，MoBaNet较全微调双分支与标准Adapter/LoRA基线提升明显，可训练参5.43%，光学缺失下鲁棒性优于对照，消融验证CPIA、DGFM、MCRM各自增益可叠加。

讨论与结论部分，研究人员指出冻结VFM适配多模态RS分割时，必须将骨干适配与跨模态融合联合设计：CPIA以共享提示打破独立适配器的并行弱耦合，DGFM以显式差异抑制噪声不一致响应，MCRM以训练期单模态退化迫使模型挖掘互补线索，三者协同在极低可训练比下缓解光学主导偏置。结论认为MoBaNet证明了"冻结骨干+少量多模态专用参数"可在光学—DSM城市分割中兼顾精度、参数效率与模态平衡，为PEFT从单模态向异构RS多模态迁移提供可行路径，后续可扩展至SAR、多光谱等更多模态组合。