PrioMatch：基于预训练先验知识引导的半监督学习算法在图像分类中的创新与应用

本文提出PrioMatch算法，创新性地利用预训练视觉模型（如CLIP/DINOv2）的先验知识，通过外部监督引导的自适应伪标签生成机制（ESAP）和双动态类平衡阈值策略（DDCT），显著提升半监督学习（SSL）在平衡/非平衡数据集（如CIFAR-100）上的性能，实现训练效率和模型精度的双重优化。

　　

研究亮点

当前半监督学习算法主要采用伪标签（Pseudo-labeling）和一致性正则化（Consistency Regularization）为无标签数据提供监督信号。然而，现有方法多聚焦于挖掘数据集内在信息，却忽视了丰富的外部知识。幸运的是，蕴含先验知识的预训练大模型（如CLIP^[13]和DINOv2^[14]）的出现，有望为训练提供更高质量的外部监督。本文提出创新算法PrioMatch，在预训练视觉模型先验知识引导下，引入自适应伪标签生成机制及相应的可靠性评估策略，并提出双动态类平衡阈值机制（DDCT），动态调整模型训练焦点以保持对不同类别的平衡识别能力。

引言

大量案例表明，深度学习模型性能常受训练数据数量与质量限制。为解决高质量标注数据获取难题，半监督学习（Semi-supervised Learning, SSL）被提出，其通过少量标注数据与大量无标注数据结合提升模型性能。近年来，在半监督学习中，基于一致性正则化的方法^[1,2,3]通过对数据施加扰动，促使模型对同一实例的不同扰动变体产生一致预测；基于伪标签的方法^[4,5]则利用模型预测概率分布为无标签数据分配伪标签；此外，自适应伪标签激活阈值^[6,7,8]、数据增强^[9,10]、收缩类空间^[11]等策略进一步提升了模型性能。

然而，高质量监督信号的稀缺已成为当前半监督学习领域的关键瓶颈。尽管优化的伪标签生成与阈值调整部分缓解了该问题，现有方法仍受限于对可用数据的单一依赖。幸运的是，如图1所示，大规模预训练视觉模型提供的先验知识（如具有良好分离性的特征嵌入）可为模型训练提供额外的高质量监督。因此，我们提出创新算法PrioMatch，该算法引入额外外部监督，在不修改模型且无显著计算开销的前提下，实现了训练效率与模型精度的优化。

PrioMatch提出外部监督引导的自适应伪标签生成机制（ESAP）。ESAP利用预训练视觉模型的知识，自适应地优化伪标签的生成、更新与加权，从而提升标签质量并减少错误伪标签的影响。训练前，ESAP借助CLIP^[13]和DINOv2^[14]的强大表征能力构建多视角语义先验知识库，为后续模型优化提供基础指导。训练中，该框架迭代采样并筛选高置信度样本，动态聚合其预测概率分布为各类别的伪标签。此外，ESAP引入分布感知的伪标签可靠性评估策略，通过评估样本在预训练模型构建的特征空间中的位置关系来量化样本可靠性。在CIFAR-100数据集上的实验表明，ESAP相比直接使用预训练模型先验标签性能提升4.38%。

此外，PrioMatch引入双动态类平衡阈值机制（DDCT）。通过动态调节伪标签合成过程中的高置信度样本选择阈值和损失计算中的伪标签启用置信度阈值，DDCT能为难以区分的样本分配更高的训练约束和权重。该方法同步优化了类别区分能力和训练稳定性，在面对传统方法难以应对的不平衡和复杂数据分布时表现出显著韧性。在不平衡CIFAR-100数据集上的实验表明，使用动态阈值相比固定阈值带来0.92%的性能提升。

结论

本文回顾了先前SSL算法，指出当前半监督学习领域的关键问题：高质量监督信号的稀缺。为解决该问题，本文创新性地引入外部监督信号以指导模型训练，并提出相应的外部监督引导的自适应伪标签（ESAP）机制。训练过程中，它能自适应地为各类别样本合成平滑伪标签，并分配...