基于局部优先增强视觉-语言模型的多源领域适配方法，采用重建提示学习技术

《Expert Systems with Applications》：Local Prior-Enhanced Vision-Language model with Reconstructed prompt learning for multisource domain adaptation

　　孔旭|潘如航|周竹
安徽大学互联网学院，合肥230039，中国

摘要
多源遥感（RS）图像分类受到跨采集域显著的光谱和空间差异的严重阻碍，这些差异削弱了模型的泛化能力。尽管在大规模图像-文本对上预训练的视觉-语言模型（VLMs）展示了强大的迁移能力，但直接将类似CLIP的框架应用于多源RS数据仍然存在不足，主要是因为全局对齐过于粗糙以及未能充分利用细粒度的空间结构。为了解决这些问题，我们提出了一种局部先验增强的视觉-语言模型（LP-VLM），用于RS图像分类的多源领域适应。该框架明确整合了局部空间先验，以促进区域感知的视觉表示学习和细粒度的跨模态对齐。具体来说，我们使用了一个预训练的Segment Anything Model（SAM3）来提取具有空间信息量的激活图，以突出显著的对象区域并指导视觉编码器。此外，还引入了轻量级的卷积适配器来 refined 空间表示，同时保留了预训练VLM的语义知识。进一步地，设计了一个细粒度的匹配模块，以实现视觉特征与文本嵌入之间的区域级交互，使文本语义能够选择性地关注有区分性的局部视觉区域。在三个RS数据集上的广泛实验表明，LP-VLM取得了最先进的性能，与最新的基于领域适应的VLM方法相比，平均准确率提高了1.3％，同时表现出更强的跨领域鲁棒性和细粒度识别能力。

引言
遥感图像分类（RSIC）已成为众多地理空间应用的基础，包括环境监测、土地使用制图、农业管理和城市规划（Yuan等人，2021；Sheikh等人，2020；Zeng等人，2021；Lopez-Fuentes等人，2017；Wang等人，2022）。随着高分辨率遥感图像的迅速普及，数据驱动的深度学习方法（Zhao等人，2022；Zhao等人，2023；Zhao等人，2022）显著提升了RSIC的性能。然而，这些方法的有效性严重依赖于大规模的标注数据集，而由于需要专家知识和领域特定的标注，这些数据集的获取成本高昂且耗时（Zhao等人，2024）。这一限制阻碍了模型在新地理区域或传感器条件下的可扩展性和泛化能力。为了解决标注瓶颈，已经广泛研究了领域适应（DA）技术。其中，无监督领域适应（UDA）（Hoyer等人，2022）允许在标记的源域上训练的模型通过减少跨领域分布差异来泛化到未标记的目标域。扩展这一概念，多源领域适应（MSDA）（Ganin和Lempitsky，2015；Sun等人，2015）整合了来自多个源域的知识，以更好地捕捉领域多样性并减少对单一源分布的过度拟合。尽管取得了显著进展，但在RSIC中，由于成像传感器、大气条件、空间分辨率和地理纹理的多样性，MSDA仍然具有挑战性（Patel和Amin，2022；Xu等人，2025）。这些变化导致了显著的光谱和结构差异（Wang等人，2025），使得模型难以捕捉能够在异构遥感数据集中泛化的领域不变表示。

最近，视觉-语言模型（VLMs）（Huang等人，2023；Cheng等人，2024；Koleilat等人，2025；Lan等人，2024；Weng等人，2025）通过弥合视觉和文本模态之间的语义差距，展示了出色的泛化能力。例如CLIP（Radford等人，2021）学习了一个共享的嵌入空间，在该空间中，视觉和文本特征通过大规模的对比预训练进行对齐，使得模型能够实现零样本或少样本迁移到各种下游任务。引入提示学习（Ge等人，2023；Zhou等人，2022；Han等人，2026）通过优化一小部分可学习的文本嵌入进一步增强了VLM的适应性，同时保持预训练的骨干网络不变，以保留通用的语义知识。这些进展表明，利用VLM进行RSIC可以通过结合视觉表示学习和语言引导的监督来提供一种有希望的途径来缓解领域差异。然而，直接将类似CLIP的范式应用于RSIC仍然面临固有的局限性。首先，CLIP主要执行全局图像-文本对齐（Han等人，2024；Song等人，2024），这可能会忽略RS图像中至关重要的细粒度空间线索，因为在RS图像中，对象在尺度、方向和背景上下文方面存在很大变化。这种粗略的对齐往往不足以捕获高分辨率航空场景中的细微局部结构和对象边界。其次，大多数现有的提示学习策略使用全局共享的提示，并缺乏指导模型朝向空间相关区域的明确机制，导致在多源RS场景中的视觉-语言对应关系粗糙，泛化能力不佳。

为了解决这些限制，我们提出了一种局部先验增强的视觉-语言模型（LP-VLM），用于RSIC的多源领域适应。该框架通过引入局部空间先验和细粒度的跨模态匹配来增强视觉-语言对齐，从而提高了基于CLIP的模型在不同领域变化下的鲁棒性。与仅依赖全局对比学习不同，我们的方法强调区域感知的表示学习，以更好地捕捉复杂遥感场景中的有区分性的视觉语义，如图1所示。具体来说，我们整合了一个预训练的SAM3来提取与类别无关但具有空间信息量的激活图，这些激活图作为局部先验，突出显著区域。这些先验为视觉编码器提供了补充的空间指导，鼓励跨领域关注任务相关结构。为了在不牺牲预训练语义的情况下适应RS特征，我们进一步引入了轻量级的卷积适配器来高效地 refine 空间表示。在文本方面，我们使用可训练的领域通用提示嵌入来编码类别语义，同时保持对多个源域的灵活性。此外，我们设计了一个细粒度的匹配模块，明确模拟了空间视觉特征与文本嵌入之间的区域级交互，使文本语义能够选择性地关注有区分性的局部区域，从而提高跨模态一致性。

该框架通过标准的分类目标进行了端到端优化，鼓励同时具有局部区分性和全局语义对齐的表示。通过结合局部先验引导的视觉学习和细粒度的视觉-语言匹配，LP-VLM有效地缓解了多源领域差异，并提高了对未见目标领域的泛化能力。这项工作的主要贡献总结如下：
1）我们提出了LP-VLM，一种用于遥感图像分类多源领域适应的局部先验增强视觉-语言框架，它将预训练的VLM与空间感知学习机制相结合。
2）我们引入了一种局部先验提取策略，以指导视觉编码器朝向有区分性的对象区域，改进了在领域变化下的细粒度表示学习。
3）我们设计了一个细粒度的视觉-语言匹配模块，以实现空间视觉特征与文本语义之间的区域级对齐，显著提高了跨模态一致性。
4）在多个遥感基准数据集上的广泛分类和分割实验展示了更强的泛化能力，并在MSDA设置下建立了新的最佳性能。

本文的其余部分组织如下。第2节回顾了与视觉-语言建模、领域适应和遥感图像分析相关的工作。第3节详细介绍了所提出的框架。第4节报告了实验结果、消融研究和定性可视化。最后，第5节总结了本文。

节选
近年来，视觉-语言模型（VLMs）成为连接视觉感知和语言理解的关键研究方向。其中，CLIP（Radford等人，2021）是一个代表性例子，它利用大规模的对比学习在共享的语义空间中对齐图像和文本嵌入。与依赖手动定义的标签空间的传统分类网络不同，CLIP将图像识别构建为文本-图像匹配。

问题和框架概述
在RSIC的MSDA中，我们将N个标记的源域表示为{Si}i=1N，一个未标记的目标域表示为T。源域提供标记样本{(xjsi,yjsi)}，其中xjsi∈X是图像，yjsi∈{1,…,K}是其类别标签，而T包含未标记的图像{xjt}。我们的目标是通过利用来自S的可转让知识来学习一个能够泛化到T的模型。为此，我们提出了用于RSIC的遥感解耦提示学习（LP-VLM）框架，如图2所示。

遥感数据集：使用了四个遥感数据集来进行场景分类，即AID（Xia等人，2017）、UC Merced Land-Use（Yang和Newsam，2010）、PatternNet（Zhou等人，2018）和NWPU（Cheng等人，2017），以验证所提出的方法。我们将这些数据集分别称为s1、s2、s3和s4。这四个数据集分别包含30、21、45和28个类别。由于这四个数据集之间有一些共享的类别，我们选择了九个共同类别。

结论
我们提出了LP-VLM框架，包括两个关键组成部分：DPL和LVLM。DPL引入了轻量级的解耦机制到提示调整中，明确地将领域不变的语义信息（通过共享的领域通用提示）与领域特定特征（通过每个源/目标领域的特定领域提示）分开。LVLM通过适应RS图像的独特特征（变化的对象尺度和空间密度）克服了VLMs在细粒度判别上的限制。

利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。

致谢
本工作得到了XXXX的支持。作者还感谢匿名审稿人的建设性评论和建议。