《Pattern Recognition》：IBCL: Information Bottleneck Contrastive Learning with minimum sufficient augmentation and generalized representations
编辑推荐：
•IBCL 提出了一种受信息瓶颈理论启发的视角，用于分析对比学习。•最小充分增强（Minimum Sufficient Augmentation）特性描述了视图级别的压缩以及语义/结构的保留。•MRCL 使用随机遮蔽来实现可控的视图级别压缩和重建规范化。•MRCL 在 Image
- •
IBCL 提出了一种受信息瓶颈理论启发的视角，用于分析对比学习。
- •
最小充分增强（Minimum Sufficient Augmentation）特性描述了视图级别的压缩以及语义/结构的保留。
- •
MRCL 使用随机遮蔽来实现可控的视图级别压缩和重建规范化。
- •
MRCL 在 ImageNet、ADE20K 和 COCO 测试基准上持续提高了对比学习的性能。
引言
自监督学习（SSL）已成为表示学习中的一个强大范式，使模型能够从无标签数据中学习通用特征 [1], [2]。在各种策略中，对比学习（Contrastive Learning，CL）在图像分类、语义分割和对象检测方面取得了显著的成功 [3], [4], [5]。CL 框架通常通过最大化正样本对（同一实例的增强视图）之间的相似性来构建一个预文本任务，同时最小化负样本对之间的相似性。这一目标促使编码器捕获可在不同任务中迁移的区分性特征。
尽管取得了这些进展，标准的 CL 方法在预训练过程中对信息的控制和保留方面仍然存在局限性。首先，常用的增强方法，如随机裁剪、颜色抖动和模糊处理，主要是基于启发式的。它们可以在实证上提高数据的不变性，但仅对每个视图中保留的信息量提供隐性和粗糙的控制。由于自然图像包含大量的空间冗余 [6], [7]，增强后的视图可能仍然保留了多余的底层细节、背景线索或捷径模式，这些可能会被对比预文本任务所利用。其次，对比目标主要是由样本区分驱动的。虽然这有助于区分样本，但也可能导致区分性信息过拟合，即学习到的表示过于专门化以适应预文本区分任务，而没有充分保留对下游泛化有用的语义或结构信息 [6], [8]。
为了解决这些问题，我们从信息瓶颈（Information Bottleneck, IB）的角度重新审视了对比学习 [9], [10], [11], [12]。我们没有提出一个直接优化的互信息目标，而是使用 IB 原理作为一个概念工具来描述对比表示学习中的压缩-保留权衡。从这个角度来看，一个有效的对比视图应该减少冗余的输入信息，同时保留足够的语义或结构内容。同时，学习到的表示应该保留超出对比预文本区分任务严格需求之外的有用信息。
基于这一观点，我们引入了信息瓶颈对比学习（Information Bottleneck Contrastive Learning, IBCL），这是一个受 IB 启发的框架，用于分析和设计对比学习方法。IBCL 引入了两个概念性标准。第一个是最小充分增强（Minimum Sufficient Augmentation, MSA），它描述了增强视图的期望行为：它们应该相对于原始输入来说是紧凑的，同时保留足够的语义或结构信息。第二个是信息泛化表示（Information-Generalized Representation），它描述了学习到的表示的期望属性：它应该保留超出预文本区分信号的有用语义或结构信息。这些概念为理解为什么标准 CL 方法可能遭受区分性信息过拟合提供了统一的视角，以及视图级别压缩和结构保留规范化如何帮助缓解这一问题。
基于这一视角，我们提出了遮蔽重建对比学习（Masked Reconstruction Contrastive Learning, MRCL），这是一个适用于传统对比学习框架的 IBCL 的即插即用实现。MRCL 引入了随机补丁遮蔽作为可控的视图级别压缩操作。通过调整遮蔽比例，可以调节提供给编码器的可见信息量，这在操作上类似于 MSA 建议的压缩行为。为了减轻遮蔽造成的过度信息损失，MRCL 进一步结合了一个轻量级的重建解码器。重建目标被用作辅助的语义-结构正则化器，鼓励表示保留从部分观察到的视图中恢复的可视结构。重要的是，MRCL 保留了原始的对比目标，不需要显式的互信息估计。
我们的贡献总结如下：
- •
我们提出了信息瓶颈对比学习（IBCL），这是一种受 IB 启发的视角，用于分析对比学习中的区分性信息过拟合问题。我们引入了最小充分增强和信息泛化表示作为概念性标准，以描述对比视图和学习表示的期望压缩-保留行为。
- •
我们提出了遮蔽重建对比学习（MRCL），这是 IBCL 在传统对比学习框架中的即插即用实现。MRCL 使用随机补丁遮蔽作为可控的视图级别压缩操作，并采用轻量级重建作为辅助的语义-结构正则化器，以减轻遮蔽造成的过度信息损失。
- •
广泛的实验表明，MRCL 在受控的 ViT 基础设置下一致地提高了标准对比学习框架的性能。MRCL 在 ImageNet 分类、ADE20K 语义分割和 COCO 检测/实例分割任务中表现出强大的性能，在密集预测基准上展示了良好的可扩展性和迁移能力。
章节片段
对比学习
对比学习（CL）旨在通过将正样本对拉在一起并将负样本对分开来学习区分性表示，而最近的模式识别研究进一步探索了通过混合最近邻（mixed nearest neighbors）[1]和无需负样本对的图像学习[2]来进行 SSL。大多数 CL 框架通过数据增强生成同一实例的多个视图，并使用孪生网络或师生网络（Siamese or teacher–student networks）[13], [14]对这些视图进行编码。代表性的方法包括 MoCo [3], SimCLR [4]
对比学习的信息瓶颈视角
对比学习（CL）在自监督表示学习中取得了显著的性能。尽管它的实证效果很好，我们认为现有的框架在信息流方面存在两个结构性限制。首先，标准的增强方法（例如裁剪、颜色抖动）往往不够激进。它们保留了过多的像素级冗余（例如背景纹理、精确的形状），导致视图允许
遮蔽重建对比学习（MRCL）
受 IBCL 视角的指导，我们提出了遮蔽重建对比学习（MRCL），作为对现有对比学习框架的即插即用扩展。MRCL 保持了原始的对比目标不变，并引入了两个轻量级组件：随机补丁遮蔽和辅助重建。
如图 1 所示，在编码器之前对每个增强视图应用随机补丁遮蔽。遮蔽比例控制了被移除补丁的比例，从而调节了
实验
我们通过大规模的 ImageNet-1K 预训练、跨多种下游任务的迁移学习、密集预测基准和系统的消融研究来评估 MRCL。我们的目标是验证是否 IBCL 引导的设计——结合了可控的视图级别压缩和辅助的视觉结构规范化——可以在保持合理计算效率的同时提高对比表示的性能。
结论
在这项工作中，我们从信息瓶颈（IB）的角度重新审视了对比学习，并引入了信息瓶颈对比学习（IBCL），这是一个将对比表示学习描述为压缩-保留权衡的概念框架。基于这一观点，我们提出了遮蔽重建对比学习（MRCL），这是对现有对比学习框架的即插即用扩展。MRCL 结合了随机补丁遮蔽
CRediT 作者贡献声明
刘子文：撰写 – 审稿与编辑，撰写 – 原始草案，可视化，验证，方法论，调查，形式分析，数据 curating，概念化。李博楠：撰写 – 审稿与编辑，方法论，调查，概念化。闫瑶：撰写 – 审稿与编辑，方法论，调查。韩聪颖：撰写 – 审稿与编辑，监督，项目管理，调查，资金获取，概念化。郭天德：撰写 – 审稿与编辑，
利益冲突声明
作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：韩聪颖报告称获得了国家自然科学基金会的财务支持。如果还有其他作者，他们声明他们没有已知的可能影响本文所报告工作的财务利益或个人关系。
致谢
本文得到了中国国家重点研发（R&D）计划（2021YFA1000403）、国家自然科学基金（编号 12401675, 12431012）和CPSF 博士后 fellowship 计划（GZC20232608）的支持。
刘子文|李博楠|闫瑶|韩聪颖|郭天德|聂学成
