Zoom-shot：基于多模态损失函数的无监督零样本知识迁移方法，实现CLIP到轻量级视觉编码器的高效转化

【编辑推荐】本文提出Zoom-shot方法，通过引入循环一致性损失（CC）和提示引导知识蒸馏（PG-KD）等多模态损失函数，在无标注数据条件下将CLIP的零样本分类能力迁移至轻量级视觉编码器（如MobileNetV3）。该方法突破传统线性映射的模态鸿沟（modality gap）限制，在资源受限场景下实现SOTA性能。

　　

亮点

本文揭示了训练数据覆盖度是提升CLIP与预训练视觉编码器间线性映射质量的核心因素。我们通过多模态损失函数（无需额外数据）显著提升样本效率：1）利用CLIP潜在空间的多模态特性，引入循环一致性损失（Cycle Consistency, CC）；2）设计提示引导知识蒸馏（Prompt-Guided KD, PG-KD）捕捉图文交互。

方法创新

Zoom-shot首次实现完全无监督（无需标注/配对数据）的零样本能力迁移。如图1所示，我们的概率密度分析证明：融合文本和循环图像特征能拓宽特征空间分布，直接关联其在8个数据集（从粗粒度CIFAR-10到细粒度CUB-200）的优越表现。

数据-计算权衡

消融实验发现：仅用20% ImageNet数据+更多训练步数即可匹配全数据集性能（图3）。这为边缘设备部署提供了灵活方案——例如将CLIP ViT-B/16（86M参数）的能力迁移至MobileNetV3 Small（2.5M参数）。

局限性

当前方法仍依赖数据分布驱动（非通用知识迁移），未来可探索：1）跨域迁移的泛化性；2）动态调整模态鸿沟的策略。

结论

Zoom-shot通过多模态损失函数突破线性映射瓶颈，为资源受限场景提供首个可用的零样本分类解决方案。所有代码已开源。

（注：保留原文小标题层级和术语如ViT-B/16、MobileNetV3等，省略文献引用[1][13]等标识）