渐进样本加权伪标签聚类：一种面向无监督视觉学习的深度学习框架

《Big Data and Cognitive Computing》：Progressive Sample-Weighted Pseudo-Label Clustering via Global–Local Confidence Modelling

　　

摘要

基于伪标签的深度聚类已成为无监督视觉学习领域中一种极具吸引力的范式，然而其有效性受到两个根本性局限的制约：（1）伪标签噪声问题，即在训练早期生成的不可靠硬分配会在迭代过程中不断累积并传播错误；（2）置信度不敏感的伪标签监督问题，即独热伪标签被赋予同等的权重，而实际上它们的可靠性存在显著差异，这导致不确定样本——尤其是位于聚类边界附近的样本——的影响被放大。为了同时解决这两个问题，我们提出了 PSPLC——一个具有三个协同模块的渐进样本加权伪标签聚类框架。首先，基于 MoCo 的对比预训练模块提取判别性特征表示。其次，渐进样本加权伪标签训练模块（核心贡献）迭代执行一个期望步骤——从校准后的聚类中心逐步向外扩展高置信度样本集，并利用全局-局部置信度机制派生的连续置信度权重分配独热伪标签——与一个最大化步骤，联合优化聚类一致性损失、置信度加权的独热伪标签损失和熵平衡损失。第三，半监督提升模块（PSPLC-Boost）通过最近邻语义一致性识别可靠样本，并采用受 FixMatch 启发的策略联合微调特征提取器和聚类头。在五个基准数据集（STL-10、CIFAR-10、CIFAR-20、ImageNet-10、ImageNet-Dogs-15）上的大量实验表明，PSPLC 在纯无监督方法中达到了最先进性能，而 PSPLC-Boost 在所有五个数据集的全部三项指标上均超越了所有竞争对手。