通过教师引导的特征增强方法解决语义分割中对比式知识蒸馏的类别不平衡问题

《IEEE Access》：Addressing Class Imbalance in Contrastive Knowledge Distillation via Teacher-Guided Feature Augmentation for Semantic Segmentation

　　

摘要：

对比知识蒸馏（CKD）利用对比学习的强大区分能力，将知识从性能优异的教师模型传输到结构更轻量的学生模型中，从而实现深度神经网络的压缩。然而，现有的CKD方法往往忽视了训练数据集中固有的类别不平衡问题，这会阻碍教师模型与学生模型之间的有效知识传递。这种不平衡使得学生在从教师模型学习知识时主要关注多数类，而较少关注少数类的特征表示。为解决CKD框架中的这一局限，我们提出了一种新方法——教师引导的特征增强（TGFA），该方法有选择地增强对应于少数类的学生特征，以实现均衡的类别级特征学习。TGFA通过空间注意力图生成新的锚点来模拟教师模型中的重要像素，并通过类别级通道分布捕捉其精确的特征关联，从而最大化特征增强的效果。此外，为了进一步丰富少数类过采样后的特征，我们还利用颜色变化作为图像级的增强手段。在将DeepLabV3/PSPNet–ResNet101类型的教师模型转换为基于ResNet18的学生模型时，TGFA-CKD取得了业界领先的语义分割成果，在Cityscapes、CamVid、PASCAL VOC和ADE20K数据集上的mIoU值分别比最强的CKD基准方法高出+1.22、+0.28、+0.18和+0.35点。