融合异构冻结基础模型的空间-语义先验网络：遥感少样本分割新方法

《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》：SSPNet: Spatial-Semantic Foundation Prior Network for Remote Sensing Few-Shot Segmentation

　　

摘要：

少样本分割（Few-shot segmentation, FSS）旨在仅借助少量已标注的支持样本作为引导，在查询图像中识别并描绘出目标物体。尽管在自然图像基准上已取得可观进展，但由于遥感影像中显著的类内外观多样性以及前景与背景之间普遍存在的谱混淆，将这些技术应用于遥感影像仍面临挑战。本文提出了一种空间-语义基础先验网络（Spatial-Semantic Foundation Prior Network, SSPNet），利用两个异构的冻结基础模型来应对上述难题。SSPNet包含双流多模态语义融合（Dual-stream Multimodal Semantic Fusion, DMSF）模块和动态类激活图引导的掩码感知交叉注意力（Dynamic CAM-guided Mask-aware Cross-attention, DCMA）模块。DMSF模块采用了冻结的DINOv2编码器和冻结的GeoRSCLIP文本编码器，二者的表示源自不同的预训练目标；一个可学习的跨模态投影将语言表示映射到空间特征空间，从而在共享的隐空间中构建互补的空间与语义类激活图。DCMA模块随后通过有界残差调制和前景约束交叉注意力引入融合后的激活先验。一个辅助伪掩码目标提供了从下游到先验的梯度通路，贯穿可学习的激活生成层和特征精炼层，使其在情节式训练中的优化相互耦合。在iSAID-5i和LoveDA-2i基准上的实验表明，SSPNet在所评估的设定下均取得了最优或具有竞争力的性能，其中在一样本协议下的提升最为显著。