对比解耦：用于提升细粒度图像分类的动态正则化方法

《IEEE Transactions on Circuits and Systems for Video Technology》：Contrastive Decoupling: Dynamic Regularization for Enhanced Fine-Grained Image Classification

　　

摘要：

由于类别间差异细微且类别内变化较大，细粒度视觉分类仍然是一项具有挑战性的任务。我们从表示空间的角度来解决这一问题，提出了对比解耦正则化方法（CoDeR），这是一种在模块层面进行正则化的方法，它以类别原型作为锚点来引导表示学习，无需引入任何可学习参数，从而促使层次化表示朝着更具区分度的方向发展。具体而言，对于某个目标模块，我们会维护一个独立的缓存，用于收集每个训练轮次中该模块的输出及其对应的类别标签。在每个轮次结束时，这些特征会按类别聚合并映射到超球面上，以此计算出作为类别原型的聚类中心。在下一个轮次中，这些原型会引导该模块的更新，使其表示更接近真实的类别原型，同时远离其他类别的原型。这样就能增强表示空间中的类别间分离度，从而直接解决细粒度识别的核心难题。此外，我们还在多个模块上并行应用CoDeR，以加速信息向早期层的传递。这使得浅层能够在训练早期就学习到具有语义意义的表示，进而缓解表示更新延迟的问题。总体而言，CoDeR是一种简单、通用且有效的监督式正则化机制，它证明了对高维表示施加约束的重要性。我们在ImageNet、六个眼底医学影像数据集以及两个标准的半监督学习基准数据集上进行了大量实验，结果在所有场景下都显示出良好的改进效果，进一步验证了该方法的有效性及其跨领域适用性。

I. 引言

深度学习在众多视觉识别任务中推动了显著进展[1]、[2]、[3]、[4]、[5]、[6]、[7]。在其中的细粒度视觉分类任务中，重点是要区分某一更大类别下的那些外观相似的子类别——比如不同的鸟类、汽车型号或飞机类型[8]、[9]、[10]、[11]、[12]。如图1（左）所示，其核心挑战在于类别间差异极为细微；例如，不同鸟类的羽毛图案、喙的形态或体型可能只有很小的差别。除此之外，由于视角、光照、姿态以及背景干扰等因素导致的类别内巨大差异，进一步增加了学习的难度。这些因素都对分类模型的特征提取和表示能力提出了极高的要求。图1。

细粒度分类所面临的挑战（左），以及我们所提出的对比解耦正则化方法（CoDeR）的概览（右）。左图：区分外观相似的子类别十分困难。右图：将第k个模块的表示投影到超球面上后，CoDeR会利用前一轮的类别原型对该表示进行正则化处理，以此提升类别内的紧凑性并增强类别间的区分度，同时会将当前的特征缓存起来，以便在轮次结束后用于更新原型。为便于理解，这里仅展示第k个模块的更新过程。CoDeR结构轻量、易于使用，它在表示空间内发挥作用，无需修改原有的训练流程。