深度学习在各种计算机视觉任务中取得了显著的成绩（Wang, Dai, Chen, Huang, Li, Zhu, Hu, Lu, Lu, Li等人，2023年；Zong, Song, Liu，2023年）。然而，这些成就很大程度上依赖于训练数据和测试数据是独立同分布（i.i.d.）的假设。在现实世界中，数据收集条件、环境因素和其他变量的差异常常导致训练数据（源领域）和测试数据（目标领域）之间的领域差异，从而显著降低模型性能。为了解决这个问题，先前的研究（Ganin, Lempitsky，2015年；Long, Zhu, Wang, Jordan，2017年）提出了无监督领域适应（UDA），采用对抗训练（Ganin, Lempitsky，2015年；Tian, Zhu, Sun, Chen, Yin，2022年）和度量学习（Long等人，2017年）等技术来学习领域不变特征，从而促进在源领域训练的模型迁移到未标记的目标领域。
尽管UDA方法在处理领域差异方面有效，但它们通常假设在目标领域训练期间可以访问源领域，并且源领域包含足够的标记数据用于训练。然而，在实际设置中，这一假设往往不现实，因为隐私限制阻止了直接访问源数据，而且专家标记的样本也很稀缺。例如，在医学成像中，由于严格的隐私规定，医院不能共享原始CT或视网膜图像，像糖尿病视网膜病变筛查这样的数据集中的每张图像都必须由多名经过认证的眼科医生进行标注（Gulshan, Peng, Coram, Stumpe, Wu, Narayanaswamy, Venugopalan, Widner, Madams, Cuadros等人，2016年；Yue, Zheng, Zhang, Gao, Darrell, Keutzer, Vincentelli，2021年），这导致标记样本数量有限，无法直接分发给下游制造商。在遥感领域也存在类似的双重限制，由于安全或商业原因，专有数据无法分发，可用于适应的标记样本也非常少（Small，2021年）。
研究人员提出了两种方法来应对源领域访问受限和源领域样本数量有限的问题。无源无监督领域适应（SF-UDA）方法（Liang, Hu, Feng，2020年；Tian, Sun, Peng, Zheng, Wan, Lei，2024年；Tian, Zhu, Sun, Chen, Yin，2022年）通过允许模型在不需要直接访问源领域的情况下迁移到目标领域来解决源数据无法访问的问题。同时，小样本无监督领域适应（FS-UDA）方法（Kim, Saito, Oh, Plummer, Sclaroff, & Saenko, Li, Wang, Fu, Yin，2024b；Yue, Zheng, Zhang, Gao, Darrell, Keutzer, Vincentelli，2021年）通过利用最少的源样本来实现有效的模型迁移来应对标记数据有限的问题。然而，同时解决源领域数据访问受限和源领域样本数量少的双重挑战的方法尚未得到充分探索；我们将这种联合场景称为小样本、无源的UDA（FS-SF-UDA）。
最近，基于CLIP的提示学习方法展示了出色的样本效率和强大的小样本分类性能（Gao, Ruan, Xiang, Yu, Ji, Xie, Liu, Fu，2024年；Khattak, Rasheed, Maaz, Khan, Khan，2023年；Zhou, Yang, Loy, Liu，2022年），这得益于CLIP强大的跨模态表示能力。这些优势表明，CLIP的表示和提示策略非常适合标记数据极其有限的场景。相比之下，当前的基于CLIP的UDA和SF-UDA方法（Bai, Zhang, Zhou, Huang, Luan, Wang, Chen，2024年；Ge, Huang, Xie, Lai, Song, Li, Huang，2025年；Lai, Vesdapunt, Zhou, Wu, Huynh, Li, Fu, Chuah，2023年；Zhan, Wu, Hu, Hu, Shen, Zhu，2024年；Zhang, Shen, Foo，2025年）通常依赖于丰富的标记源样本，当源数据访问和标签都受限时，这些方法的适用性就受到了限制。为了解决这一差距，我们提出了一个专为FS-SF-UDA设计的数据高效CLIP驱动的双分支网络（CDBN）。
具体来说，在只有少量标记源样本的场景中，我们的目标是从源领域高效提取有用的类别语义，并将其传递到目标领域以指导无监督训练。如图1中的方案1所示，依赖于源领域完全监督训练的传统方法在源数据有限时会严重退化。为了解决这个问题，如方案2所示，我们采用基于CLIP的提示学习从稀缺的源注释中提取具有更强泛化能力的类别-文本特征，并利用这些特征作为语义载体来指导目标领域的无监督适应过程。
然而，有限的源领域样本和领域差异的结合带来了挑战，因为它会在迁移的类别-文本特征中引入噪声和领域差异。为了解决这个问题，我们设计了一个跨模态双分支网络，包括一个跨域特征传输分支和一个目标特定特征学习分支。跨域特征传输分支利用目标领域的高置信度样本来传输学习到的源领域类别-文本特征，从而减少领域差异的影响。同时，目标特定特征学习分支专注于从目标领域学习独立的类别特征，避免过度依赖噪声较大的源领域文本特征。这两个分支的协同作用有效地增强了目标领域的特征表示能力。
此外，由于目标领域的训练过程中没有标签，我们提出了一种由准确分类和多样性驱动的无监督优化策略。该策略包括三个核心损失函数：首先，来自源领域类别-文本特征的高置信度目标领域样本的交叉熵损失确保模型保留了从源领域学到的分类能力；其次，多视图一致性损失鼓励模型从不同角度提取一致的特征表示，从而增强学习到的类别特征分布的泛化能力；最后，输入和输出之间的互信息最大化损失促进类别分布的多样性，防止模型过拟合于简单类别。这三个组件共同确保模型在无监督条件下能够准确且稳健地学习目标领域特征。
我们在六个公共数据集上的31个迁移任务进行了实验，涵盖了标准的UDA基准测试和跨域遥感场景。即使在每个类别只有少量标记样本并且在目标适应期间无法访问源数据的情况下，CDBN也实现了具有竞争力的整体性能，通常与依赖丰富源注释的方法相当甚至更好。在遥感领域，它取得了显著的提升，始终优于最近的基于CLIP的UDA基线。
我们的主要贡献总结如下：
•我们研究了具有挑战性的FS-SF-UDA场景，并通过实证揭示了一个关键见解：对于基于CLIP的SF-UDA，少量的源样本就足以实现稳健且有竞争力的目标适应，这挑战了“丰富的源数据对于高性能是必要的”这一普遍假设。基于此，我们提出了CDBN框架，该框架在最小标记量的情况下实现了具有竞争力的准确性。
•我们引入了一种新颖的跨域特征传输机制，该机制利用高置信度的目标样本通过残差交叉注意力来修正源学习到的文本特征。这种设计有效地传播了源语义，同时明确建模了目标分布的差异，从而减轻了由领域差异引起的性能下降。
•我们提出了一个跨模态双分支网络，它将跨域特征传输分支与目标特定特征学习分支相结合。通过定制的无监督优化策略，该架构有效地保留了源领域中有用的类别级语义信息，同时促进了目标领域的模型泛化。
•全面评估：我们在六个公共数据集上的31个迁移任务进行了广泛评估，涵盖了标准的无监督领域适应基准测试和跨域遥感场景，展示了CDBN在上述双重约束下的稳健性和有效性。
