具有区域感知的聚焦掩蔽对比度方法，用于自监督表示学习

《Knowledge-Based Systems》：Region-aware Focused Masked Contrast for Self-Supervised Representation Learning

RFMaCo通过引入引导掩码机制、动态调整掩码数量及优化数据增强策略，在对比学习框架中整合掩码图像建模思想，显著提升ViT基线模型的线性探测、迁移学习和KNN分类性能。

　　

Xianzhong Long|Jiacheng He|Yun Li|Jian Xiong

南京邮电大学计算机科学学院，中国江苏省南京市210023

摘要

对比学习极大地提升了自我监督视觉表示学习的性能，尤其是在线性探测评估中，其准确率现已与ImageNet数据集上的监督学习相当。然而，随着Vision Transformer的日益普及，掩码图像建模作为一种替代的自我监督学习技术应运而生。它在多种视觉任务中的表现不仅与对比学习相当，往往还能超越后者。本文指出了当前利用掩码图像的对比学习方法存在的几个局限性，包括不理想的掩码策略、掩码块数量缺乏动态调整以及数据增强技术效率低下。为了解决这些问题，我们提出了一种新方法，该方法引入了引导式掩码策略，动态确定掩码块的数量，并在预训练期间采用更轻量级的数据增强技术。与现有技术相比，我们的方法在CIFAR-10上的线性探测准确率提高了2.74%，在CIFAR-100上提高了2.15%，在Tiny-ImageNet上提高了3.47%，在ImageNet100上提高了0.33%。代码可在以下链接获取：https://github.com/Leon-jcH/RFMaCo。

引言

在过去的几年中，对比学习在半监督和自我监督环境中学习视觉表示方面取得了显著的成功，在某些情况下甚至超过了监督学习[1]、[2]、[3]、[4]。然而，近年来，它逐渐被掩码图像建模（MIM）[5]、[6]、[7]所超越。MIM可以被视为一种去噪自编码形式[8]，其起源可以追溯到自然语言处理领域的BERT[9]。尽管得益于越来越强大的现成表示技术[10]，但在依赖预训练权重微调的任务中，对比学习仍难以超越MIM方法，尤其是当使用Vision Transformer（ViT）[11]作为骨干架构时。

然而，对比学习仍然具有几个优势。对比学习往往能产生更具区分性和线性可冻结的表示，在某些情况下，这使得线性分类器的性能可以与监督学习方法相媲美[12]。相比之下，基于MIM的方法通常需要微调预训练权重来展示其泛化能力[13]。这种区别使得对比学习在预训练模型较大且由于计算开销过高而不适合更新模型权重的场景中更具优势。

因此，我们提出了以下问题：通过将对比学习与掩码技术结合，能否缩小这一差距？基于此，本文旨在探讨这个问题，并建立一个更强大的对比学习基线。我们采用了MoCo-v3架构[14]，因为它在性能和架构简洁性之间取得了良好的平衡。与基于ViT的MIM方法相比，对比学习方法在两个关键方面有所不同：（a）它们的输入是掩码图像；（b）它们的目标函数在局部层面操作，例如预测掩码像素[5]或视觉令牌[7]。此外，这些技术通常依赖于特定领域的设计，例如MaskFeat[16]中使用HOG特征[15]。虽然局部目标在学习细粒度视觉表示方面有效，并在密集预测任务中具有优势，但我们假设将它们与全局目标结合可以进一步提高分类任务的性能。最近的研究表明，局部目标可以补充Vision Transformer中的全局特征学习[17]、[18]、[19]，从而可能产生更平衡的表示。在这项工作中，我们特别研究了如何将通常与局部目标相关的掩码策略有效地整合到全局对比学习框架中。这种整合使我们能够利用掩码引入的丰富语义和上下文信息，同时保留通过对比学习获得的全局表示的区分能力。

我们从三个互补的角度改进了对比学习基线。首先，通过在变换器编码器中引入引导式掩码机制[20]、[21]，我们在相同的训练周期内提高了线性探测、迁移学习和K近邻分类的性能。其次，我们利用基于优化的方法来确定对表示学习最为关键的图像区域，并据此动态选择引导式掩码位置[23]。这种策略鼓励模型学习线性和非线性特征，从而提高下游任务的性能。第三，受到先前研究[2]、[24]的启发，这些研究强调了数据增强在对比学习中的重要性，我们系统地研究了预训练期间不同的增强策略如何影响下游任务的性能。

这些改进使得基于Transformer骨架的对比学习框架得到了增强，我们将其称为区域感知聚焦掩码对比（RFMaCo）。本研究的主要贡献如下：

1.

我们系统研究了如何将掩码策略有效地整合到对比学习中。

2.

我们提出了一个强大的基线，该基线在线性探测、迁移学习和K近邻分类方面的性能始终优于现有的对比学习方法。

3.

我们研究了带有掩码的对比学习是否仍需要额外的数据增强，包括强增强和弱增强策略。

相关工作

相关研究

自我监督学习是一种机器学习范式，它使模型能够从未标记的数据中学习，直接从数据本身中提取监督信号[25]。已经提出了许多方法从不同角度改进自我监督学习[3]、[26]、[27]。总体而言，现有方法可以根据它们的预训练任务分为两大范式：对比学习和掩码图像建模。除了这些任务驱动的范式之外，最近还出现了一

提出的方法

如图1所示，区域感知聚焦掩码对比是一种基于掩码和对比学习原理的自我监督预训练方法。RFMaCo将掩码机制整合到对比学习框架中，形成了一个非对称的孪生网络架构。这种不对称性源于孪生网络两个分支中数据增强和掩码操作强度的不同。这种设计使得该方法具有通用性和灵活性

数据集和设备性能

在本节中，我们进行了一系列实验来评估所提出的RFMaCo框架的性能。首先，我们描述了实验中使用的数据集及其关键特征和与本研究的相关性。然后，我们研究了预训练阶段采用的不同数据增强策略对最终模型性能的影响。这项分析旨在阐明各种增强技术如何影响模型的鲁棒性和泛化能力

结论

在本文中，我们提出了将掩码图像建模中的掩码策略整合到对比学习中的方法，为线性探测、K近邻分类和迁移学习建立了更强的基线。通过利用这两种范式的互补优势，我们证明了将掩码图像整合到对比学习框架中可以提高多个数据集上的性能和泛化能力。此外，我们方法的有效性进一步得到了

关于写作过程中生成式AI和AI辅助技术的声明

在准备这项工作时，作者使用了ChatGPT来提高语言表达和可读性。使用该工具后，作者根据需要审查和编辑了内容，并对出版物的内容负全责。

CRediT作者贡献声明

Xianzhong Long：撰写——审阅与编辑、资源管理、项目管理、方法论。Jiacheng He：撰写——初稿、可视化、验证、软件开发、方法论、研究。Yun Li：监督、方法论、资金获取、概念化。Jian Xiong：监督、资源管理、资金获取。

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的财务利益或个人关系。

致谢

本研究得到了南京邮电大学自然科学基金（项目编号NY225157）、江苏省研究生研究与实践创新计划（项目编号SJCX24_0324）以及国家自然科学基金（项目编号62476137和62371254）的支持。