利用视觉语言模型的多粒度提示学习方法进行少样本遥感图像场景分类

《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》：Multi-granularity Prompt Learning with vision-language model for few-shot remote sensing image scene classification

少样本遥感图像场景分类中，针对传统方法依赖大量预训练数据且跨域适应能力差的问题，提出基于预训练视觉语言模型的多粒度提示学习网络MPLNet。通过多粒度视觉表示（MVR）捕捉全局、区域、局部场景信息，多粒度文本表示（MTR）生成对应语义描述，结合文本一致性约束（TRC）防止过拟合，以及注意力引导相似机制（ASM）抑制背景干扰，有效提升少样本场景分类精度。实验表明MPLNet在四大数据集上达到最优性能。

　　

张天阳|徐林潘|张向荣|韩晓|朱金|张连超|王贯春|焦立成

中国陕西省西安市西安电子科技大学教育部智能感知与图像理解重点实验室，邮编710071

摘要

少样本遥感图像场景分类（FS-RSI-SC）作为一种有前景的方法，旨在减少场景分类任务中对大规模数据的依赖，并逐渐受到越来越多的关注。然而，大多数现有的FS-RSI-SC方法在适应新的少样本场景类别之前，需要一个包含大量相关遥感场景图像的基础训练阶段。最近，视觉-语言模型（VLMs）展示了显著的跨领域迁移能力，仅凭少量标注样本就能快速适应下游任务，为FS-RSI-SC任务提供了新的见解。因此，在本文中，我们专注于有效地将预训练的VLMs应用于FS-RSI-SC任务，并提出了一种新的多粒度提示学习网络（MPLNet）。考虑到场景类别包含关于地面对象的多粒度信息，我们提出了一个多粒度视觉表示（MVR）模块，以从全局、区域和局部粒度捕获场景信息。接下来，我们设计了一个多粒度文本表示（MTR）模块，该模块学习与不同粒度视觉表示相匹配的多样化文本表示。此外，我们还提出了一种基于注意力的相似性机制（ASM），以突出与场景相关的语义信息并减少背景噪声的干扰。在四个FS-RSI-SC数据集上的综合实验表明，我们提出的MPLNet在所有少样本设置中都实现了最先进的分类准确率。代码可在以下链接获取：https://github.com/Trinstar/MPLNet。

引言

遥感图像场景分类旨在根据内容自动为遥感图像（RSIs）分配场景类别，这是遥感图像解释中的一个基本任务，在土地利用制图、环境监测和城市规划等领域有广泛的应用（李勇等，2021年）。基于深度学习的方法在场景分类领域占据主导地位，并表现出出色的场景分类准确率（程等，2017年；孙等，2021年；马等，2021年）。值得注意的是，这些方法通常需要大量的标注样本，当标注样本不足时，性能会严重下降。

为了解决上述问题，少样本遥感场景分类（FS-RSI-SC）受到了关注（邱等，2024年），该方法旨在仅使用有限数量的标注样本有效学习新的场景类别。然而，现有的主流FS-RSI-SC方法在适应新的少样本场景类别之前，需要在对领域相关的遥感场景图像进行大量训练，如图1(a)所示。当领域差异较大时，新场景类别的分类准确率会急剧下降（黄等，2023年）。此外，当前的FS-RSI-SC方法仅将数据集中的部分类别指定为新概念（例如，NWPU-RESISC45中的10个新类别（李亮等，2021年）），并且未能评估所有场景类别的少样本学习能力，这掩盖了FS-RSI-SC任务的真实性能。

最近，视觉-语言模型（VLMs）展示了显著的跨领域迁移能力（张军等，2024年；徐等，2023年），为解决当前FS-RSI-SC方法的问题提供了新的见解。邱等（2024年）利用在自然图像上预训练的VLM进行FS-RSI-SC任务，并建立了新的基准。然而，预训练VLM与RSIs之间的领域差异限制了其性能。

提示学习将可学习的变量注入预训练的VLM中，以适应下游任务，并在自然图像识别任务中提供了有希望的性能（崔等，2025年）。相比之下，提示学习在遥感图像场景分类任务中的研究较少，现有的提示学习方法直接应用于此任务时效果不佳。一方面，RSIs中的场景类别包含关于地面对象的整体语义信息、空间排列和结构模式的多粒度信息（程等，2020年）。另一方面，由于拍摄视角的局限性，RSIs不可避免地包含与场景类别无关的背景噪声（王等，2023年），从而干扰了场景分类。

基于上述分析，我们专注于将预训练的VLM应用于FS-RSI-SC任务，并提出了一种新的多粒度提示学习网络（MPLNet）。所提出的MPLNet消除了与领域相关的基础训练阶段，直接从少样本注释中学习新的场景概念，如图1(b)所示。此外，与当前的FS-RSI-SC方法相比，MPLNet通过在多个评估指标上表现优异，提供了更真实的少样本学习性能。具体来说，MPLNet包括三个核心组件。首先，考虑到场景类别包含不同粒度的地面对象信息，我们提出了一个多粒度视觉表示（MVR）模块，从全局、区域和局部粒度捕获场景信息。与全局视觉表示相比，所提出的多粒度视觉表示提供了对场景类别的更全面理解，特别有利于少样本学习场景。其次，我们设计了一个多粒度文本表示（MTR）模块，学习与不同粒度视觉表示相匹配的多样化文本表示。此外，MTR模块还包括文本表示约束（TRC）损失，作为一种正则化项，以防止预训练的VLM在少样本标注样本上过拟合。最后，由于遥感场景通常包含大量无关背景，我们提出了一种基于注意力的相似性机制（ASM），以突出与场景相关的语义信息并减少背景噪声的干扰。

我们的主要贡献总结如下：

(1) 我们提出了一个多粒度提示学习框架，其中MVR模块在多个粒度上捕获场景信息，MTR模块学习与这些视觉表示相匹配的多样化文本表示。

(2) 我们设计了TRC损失，以防止在少样本场景中区域粒度和局部粒度文本表示的学习出现过拟合问题。

(3) 我们提出了ASM，以突出与场景类别相关的语义信息并减少背景噪声的干扰。

(4) 我们提出的MPLNet在四个基准测试中实现了最先进的性能，并为FS-RSI-SC任务提供了新的、有效的见解。

本文的其余部分组织如下。第2节简要回顾了最相关的相关工作。第3节介绍了初步知识。第4节详细阐述了所提出的方法。第5节报告了在四个FS-RSI-SC数据集上的综合实验。最后，第6节总结了结论。

节选

少样本遥感图像场景分类

大多数现有的FS-RSI-SC方法基于元学习，特别是基于度量的元学习。李亮等（2021年）提出了一种自适应匹配网络（DLA-MatchNet），该网络采用双注意力机制来识别场景图像中的区分性区域。程等（2022年）提出了一种孪生原型网络（SPNet），通过原型自校准和互校准生成精确的原型，从而提高推理准确率。

关于CLIP的回顾

对比语言-图像预训练（CLIP）（Radford等，2021年）是一种广泛采用的视觉-语言模型，它采用双分支结构来编码图像和文本特征。

在图像编码分支中，图像编码器$E_v$从输入图像$z$输出视觉表示$x$$z\left(x\right)\in R^d$$d$其中$d$表示视觉表示的维度。

同样，在文本编码分支中，CLIP将特定于类别的文本提示$p_{}$与模板“一张 ${\left[\text{CLS}\right]}_c$