基于伪标签推离策略的自监督对比学习方法研究

《Engineering Applications of Artificial Intelligence》：Self-supervised learning with push-away strategies for various negative samples

本文针对自监督对比学习中同类负样本被过度推离导致语义结构破坏的问题，提出了一种基于伪标签的推离策略（SSPN）。研究通过结合样本相似度与伪标签信息，动态调整对各类负样本的推离力度，有效保护了嵌入空间的语义完整性。实验表明，该方法在ImageNet等数据集上显著提升了分类精度，为自监督学习提供了新的优化思路。

　　

在人工智能的浪潮中，让机器能够像人类一样无需大量标注数据即可学习并理解世界，是自监督学习（Self-Supervised Learning, SSL）追求的终极目标之一。其中，对比学习（Contrastive Learning, CL）作为一种高效的SSL方法，近年来在计算机视觉、自然语言处理等领域大放异彩。其核心思想直观而巧妙：通过数据增强技术，为每个样本创造出不同的“视角”（即正样本对），同时将数据集中其他样本视为负样本对。模型的目标是学习一种嵌入表示（Embedding Representation），使得在表示空间中，正样本对彼此靠近，而负样本对则相互远离。这种“拉近推远”的策略，旨在让模型捕捉到数据中不变的、本质的语义信息。

然而，看似完美的对比学习背后，隐藏着一个棘手的“盲点”问题。由于其无监督的特性，模型在训练时并不知道每个样本的真实类别标签。对比学习内置了一种“硬度感知”特性（Hardness-aware Property），即它会自动地对与锚点样本（Anchor Sample）更相似的负样本施加更强的推离力。这原本是为了增强模型区分相似但不同类别样本的能力，但问题在于，那些与锚点样本高度相似却恰恰属于同一类别的负样本（即“假负样本”，False Negative），也会被无情地推远。试想一下，一张位于猫类边缘的猫图片，其同类但略有差异的猫图片本应与其聚集在一起，共同构成“猫”的语义概念，但在对比学习的强力推离下，这些同类样本可能会被推离出本属于它们的类别区域，甚至误入其他类别，导致整个语义结构的扭曲和破坏。同样，对于位于类别中心的锚点样本，过度推离其同类负样本也会削弱模型捕捉该类核心语义信息的能力。如何智慧地对待这些“同病相怜”的负样本，成为提升对比学习性能的关键。

为了解决这一挑战，一篇发表在《Engineering Applications of Artificial Intelligence》上的研究论文提出了一种新颖的方法，名为“采用推离策略的自监督学习处理各类负样本”（Self-supervised learning with push-away strategies for various negative samples, SSPN）。该方法的核心创新在于巧妙地利用了“伪标签”（Pseudo-label）这一工具，来指导对不同负样本的推离策略。

研究人员首先提出了一个“理想样本”（Ideal Sample）的概念，即一个完美代表其类别的样本，其属于自身类别的概率为1，其他类别为0。他们认为，一个样本的伪标签（通常是模型预测的类别概率分布）可以反映该样本与“理想样本”的相似程度，从而指示该样本在其类别中所处的位置——是靠近类别中心，还是位于边缘。基于这一洞察，SSPN方法利用锚点样本的伪标签信息，来调节推离负样本的力度。具体而言，对于那些根据伪标签判断很可能与锚点样本属于同一类别的负样本，方法会减弱推离力度，将它们保留在类别内部，以保护语义结构的完整性；而对于那些来自不同类别的高相似度负样本，则维持或增强推离，以进一步提升模型的判别能力。

当然，在自监督学习任务中，训练得到的伪标签不可避免地与真实标签存在差异。因此，SSPN方法的第二个关键点是提出了一种动态组合策略。该策略并非完全依赖伪标签，而是根据模型当前的学习状态，动态地权衡伪标签信息与样本间原始相似度信息的重要性。研究人员通过增加一个预测头（Prediction Head）来映射到伪标签形成的类别空间，并通过对齐正样本对的伪标签来训练这个头。正样本对伪标签的对齐程度，被用作衡量伪标签可靠性的指标，进而决定了在推离策略中赋予伪标签的权重。当模型判别能力较弱时，更依赖相似度；随着模型能力增强，伪标签的指导作用逐渐增大。

主要技术方法概述

本研究主要基于对比学习框架，核心创新在于引入了伪标签指导的负样本推离策略。关键技术方法包括：1) 构建标准的自监督对比学习基线，使用数据增强生成正负样本对，并利用编码器（如ResNet、ViT）和投影头获取嵌入表示；2) 设计并训练一个额外的预测头，用于生成样本的伪标签，并通过最小化正样本对伪标签之间的差异（如KL散度）来优化；3) 提出动态权重机制，根据正样本对伪标签的对齐程度（作为伪标签可靠性度量）自适应地融合伪标签信息与样本相似度信息，从而计算针对不同负样本的修正后的推离权重；4) 最终，通过优化结合了传统对比损失（如InfoNCE）和伪标签对齐损失的整体目标函数来训练模型。实验在ImageNet-1K、ImageNet-100等标准图像数据集上进行，使用线性评估协议衡量学习到的嵌入表示的质量。

研究结果

1. 与最先进方法的比较

研究在多个数据集和骨干网络架构上进行了广泛的实验，以验证SSPN方法的有效性。在ImageNet-1K数据集上使用ResNet-34架构时，SSPN达到了优异的分类精度，相比次优方法提升了0.49%。在ImageNet-100数据集上使用Vision Transformer (ViT-S/16) 架构时，提升幅度更为显著，达到了3.12%。这些结果明确表明，SSPN方法能够学习到更具判别力的嵌入表示，其性能优于当时其他先进的自监督学习方法。

2. 消融实验分析

为了深入理解SSPN各个组件的作用，研究人员进行了系统的消融实验。结果证实，同时使用伪标签指导的推离策略和动态权重组合策略，能够带来最佳的性能提升。单独使用伪标签策略或动态权重策略，其效果均不如两者结合。这表明，明智地利用伪标签信息并动态调整其可信度，对于解决假负样本问题至关重要。实验还分析了不同超参数（如控制伪标签影响程度的温度参数）对性能的影响，显示了SSPN在不同设置下的鲁棒性。

3. 嵌入空间可视化与分析

通过对学习到的嵌入空间进行可视化（如t-SNE图），研究直观地展示了SSPN方法的优势。与基线方法相比，SSPN学习到的嵌入空间中，同一类别的样本聚集得更加紧密，而不同类别的样本分离得更加清晰。这直接证明了SSPN方法能够更好地保护类内语义结构，同时增强类间判别性，验证了其核心设计目标的有效性。

结论与意义

本研究提出的SSPN方法，针对自监督对比学习中长期存在的假负样本过度推离问题，提供了一种新颖且有效的解决方案。通过引入伪标签作为样本类别归属和位置信息的指示器，并设计动态策略融合伪标签与相似度信息，SSPN能够智能地区分对待不同类型的负样本：保护同类负样本以维持语义结构完整性，同时有力推离异类负样本以增强判别力。理论上的梯度分析为该方法提供了清晰的物理解释，而大量的实验证据则充分证明了其卓越的性能。

这项研究的重要意义在于，它突破了传统对比学习仅依赖样本相似度的局限性，将类别结构信息以伪标签的形式引入到无监督表示学习中，为自监督学习的进一步发展开辟了新的方向。该方法不仅显著提升了模型在图像分类等下游任务上的性能，其核心思想——即利用模型自身产生的结构化信息（伪标签）来指导优化过程——也具有广泛的启示性，可望应用于其他存在类似假负样本问题的学习场景。最终，SSPN推动我们向构建更智能、更可靠、更能理解数据内在结构的自监督学习系统迈出了坚实的一步。