跨域少样本遥感图像分类的双路径协同蒸馏方法

《Pattern Recognition》：Dual-path co-distillation for cross-domain few-shot remote sensing image classification

　　

王赫|徐阳|王瑞青|魏志辉|吴泽斌

• •
  结合外部与内部知识传递的双路径协同蒸馏方法。
• •
  利用外部DINOv2蒸馏实现领域不变的全局特征表示。
• •
  通过内部对比蒸馏构建稳健的关联原型。

引言

遥感场景分类在众多地球观测应用中至关重要[1]，但由于手动标注成本高昂，人们致力于开发仅需少量带标签样本即可学习的模型[2]。少样本学习正是为了解决这一难题，它能让模型仅通过少量带标签样本就能识别类别。原型网络因其简单性和可扩展性而成为广泛采用的解决方案：在以任务为导向的框架中，先利用少量支持样本估算类别原型，再通过基于度量的推理将这些原型与查询样本进行比较[4]。

尽管原型网络在标准少样本学习任务中表现优异[3]，但如图1所示，当应用于跨领域少样本学习时，其性能会明显下降。现有研究将这种性能下降归因于深度网络的简单性偏差，即模型倾向于依赖源领域中易于获取的低级特征，如光谱、纹理和边缘特征，而非学习高层级的领域不变语义[6]。一种典型的跨领域少样本学习方法LDP-Net[7]通过局部-全局一致性来缓解原型漂移，在自然图像基准测试中取得了优异成绩；然而如图1所示，由于遥感场景的领域差异更为复杂且多样，该方法的性能在应用于遥感任务时会出现显著下降[2]。

如图2所示，遥感图像在传感器特性、地表覆盖的空间异质性以及大气条件等方面与自然图像存在本质差异。这些因素导致场景中往往包含嵌入在复杂空间结构中的小型或低对比度物体，且这些物体的尺度、方向和背景环境存在较大差异。这些固有的视觉及采集相关差异大大放大了跨领域差异，使得为自然图像基准测试开发的跨领域少样本学习方法在应用于遥感场景时难以保持稳定可靠的泛化能力[3]。这些加大的领域差异给遥感跨领域少样本学习带来了两大挑战。首先，现有方法在面对严重的跨领域差异时，往往难以学习到足够强的领域不变语义表示，尤其是当主要依赖任务级监督或轻量级自我蒸馏信号时，这限制了模型在不同传感器、分辨率和成像条件下的稳健泛化能力。其次，在异构的遥感环境中，基于原型的推理会变得不稳定[8]。现有方法主要强调类内对齐，却忽视了类间约束，从而导致决策边界模糊[2]。此外，简单的基于均值的原型估算方法忽略了支持样本之间的质量差异，使得原型容易受到噪声或低质量样本的影响，进而降低整体稳健性[3]。

为了解决这些挑战，我们提出了外-内双路径协同蒸馏框架OICD，该框架将外部语义对齐与内部原型优化相结合，用于实现遥感领域的稳健跨领域少样本学习。在外部路径中，我们利用大规模视觉基础模型提供强大的领域不变语义先验，以实现跨领域对齐。受大规模自监督视觉模型强大迁移能力的启发，我们引入了冻结版的DINOv2作为教师模型，并开发了DINOv2引导的补丁对齐方法DGPA。DGPA将教师模型的补丁级语义引导传递给学生模型，提供领域不变的先验，从而补充任务特定的一致性学习。通过将预训练教师模型的领域不变先验传递给学生模型，DGPA建立了稳定的语义参考空间，使学生模型的特征能够与冻结版DINOv2教师模型提供的领域不变补丁级语义对齐，进而提升模型在不同传感器、分辨率和成像条件下的全局特征表示一致性。

另一方面，由于场景的异质性以及支持样本的噪声或数量不足，遥感领域的跨领域少样本学习还存在原型不稳定和决策一致性差的问题。为了解决这些问题，我们引入了由自适应实例重加权原型方法和跨多视图一致性方法组成的内部优化路径。AIRP通过可学习的注意力机制为支持样本分配基于可靠性的权重，并进行共享的各向异性校正，从而生成更稳健、更具区分度的原型。与之相辅相成的是CMVC，它致力于在全局和局部特征表示之间建立分层的多视图一致性。该方法能够同时实现：（1）通过比对同一查询对象的全局和局部视图来增强实例内一致性；（2）通过类内语义聚合提高特征的紧凑性；（3）在领域差异较大的情况下增强类间区分度。综上，AIRP和CMVC共同提升了模型在复杂遥感环境中的原型稳定性与决策可靠性。

这两条路径相辅相成：外部的DGPA路径负责注入领域不变的语义先验，提升模型的全局稳健性；而内部的AIRP+CMVC路径则强化模型在特定任务中的区分能力以及关联结构的学习能力。二者共同构成了所提出的OICD框架，该框架通过同步优化外部语义对齐与内部原型优化，旨在缩小领域稳健的特征表示学习与关联区分能力之间的差距。大量实验表明，OICD在跨领域少样本学习任务中取得了稳定且显著的改进效果。

我们在多种具有挑战性的跨领域少样本学习场景下，使用多种遥感数据集进行了大量实验。实验结果表明，所提出的双路径协同蒸馏框架显著提升了模型的跨领域泛化能力，在相关任务中取得了当前最优的性能[9]。本文的主要贡献如下：

1. 提出了一种全新的双路径框架，该框架将外部语义对齐与内部原型优化相结合，既能提升全局特征表示的稳健性，又能增强样本级关联结构的区分能力，有效解决了跨领域遥感场景中常见的原型漂移问题。

2. 提出了一种基于大规模视觉基础模型DINOv2的外部语义对齐策略DGPA，该策略可为全局特征学习提供领域不变的对齐信号，从而提升语义稳定性，降低过拟合风险，且不会增加模型的复杂性。

3. 提出了一种内部蒸馏机制，该机制通过正负对比学习，借助实例内一致性、类内聚合和类间分离等方法优化决策边界（CMVC），同时结合AIRP模块动态调整支持样本的质量，从而构建更稳健、更具区分度的原型。

章节摘要

跨领域少样本学习

跨领域少样本学习旨在将源领域的知识迁移到目标领域，并在存在显著领域差异的情况下实现少样本分类[10]。随着郭等人提出的跨领域少样本学习基准测试的出现[11]，这项任务被广泛用于标准化评估。早期的方法主要基于元学习框架[12]，在训练过程中模拟跨领域少样本任务，从而使模型能够快速适应未知领域和新的类别。这些

基本概念

本研究是在跨领域少样本学习框架下开展的[11]。设源领域为$S$，目标领域为$T$。源领域会提供一个带标签的数据集$D_S={\left\{(x_j^S,y_j^S)\right\}}_{j=1}^{M_S}$，用于阶段性训练，而目标领域仅在评估阶段参与其中。

在阶段性训练过程中，会从$D_S$中随机抽取$N$个类别，每个类别选取$K$个带标签样本作为支持集，其余样本则构成查询集。因此，每一个训练阶段对应

数据集

OICD模型在带标签的源领域上进行训练，然后在多种不同的跨领域场景下的多个目标领域中进行评估。本研究共使用了六种具有代表性的遥感场景分类数据集：NWPU-RESISC45（NWPU）[34]、EuroSAT [35]、Banja Luka [36]、GID [37]、AID [38]以及UC Merced土地用途数据集（UCM）[39]。这些数据集来自不同的传感器和地理区域，涵盖了多样的空间分辨率、光谱特性以及环境条件。我们选择NWPU作为

结论

在本文中，我们提出了OICD框架，这是一种外-内双路径协同蒸馏框架，旨在无需使用目标领域训练数据的情况下，提升跨领域少样本遥感图像分类任务的泛化能力和稳定性。外部路径（DGPA）利用冻结版的DINOv2教师模型，通过投影和余弦对齐的方式传递领域不变的补丁级语义坐标，为模型提供抵御传感器和分辨率变化影响的稳健语义先验。内部路径（AIRP+CMVC）则

CRediT作者贡献说明

王赫：论文撰写——初稿编写、可视化处理、验证工作、软件开发、方法设计、研究实施、形式化分析、数据整理、概念构思。徐阳：论文撰写——审阅与编辑、初稿编写、可视化处理、验证工作、监督指导、软件开发、资源协调、项目管理、方法设计、研究实施、资金筹措、形式化分析、数据整理、概念构思。王瑞青：论文撰写——审阅与编辑、可视化处理、验证工作、监督指导、方法设计。

利益冲突声明

作者声明，他们不存在任何可能影响本文研究成果的已知财务利益关系或个人关系。