Class-Balanced Softmax (CBS)：基于贝叶斯理论的长尾识别logit调整方法

《Pattern Recognition》：Class-Balanced Softmax: A Bayes theory–based method for long-tailed recognition

　　

类别平衡Softmax（Class-Balanced Softmax, CBS）：一种用于长尾识别的简单logit调整（logit adjustment）方法。平衡Softmax（Balanced Softmax）是CBS在校准指数（calibration exponent）设为1时的特例。研究人员将偏好问题（preference issue）识别为不平衡训练的内在症状。一个新指标，即模型不平衡水平（model imbalance level, I），跨基准量化了这一症状。CBS具有可扩展性，并在大规模数据上优于现有最先进方法。

长尾识别（long-tailed recognition）是图像分类领域的重要挑战。在现实数据集中，各类别样本数量往往呈现长尾分布，导致训练出的模型对头类（head classes）过度偏好，而对尾类（tail classes）性能严重下降。现有重平衡方法包括重采样、重加权和后验校正等，但普遍存在局限：重采样减少数据多样性，重加权如LDAM基于二分类假设，Balanced Softmax虽为当前最优，但其在不平衡数据上仍表现出不平衡的测试性能，且偏好问题未被根本解释。本文基于贝叶斯理论框架，提出了类别平衡Softmax（Class-Balanced Softmax, CBS），一种简单且计算开销极小的logit调整（logit adjustment）方法，用于缓解不平衡训练造成的模型内在偏好问题。

研究人员首先通过理论分析揭示了不平衡训练数据的梯度效应。在标准softmax交叉熵损失下，头类梯度远大于尾类（定理3.1），导致模型在训练中对头类产生偏好，具体表现为尾类训练错误更高且泛化差距（generalization gap）更大。研究人员将这一现象定义为偏好问题（preference issue），并提出模型不平衡水平（model imbalance level, I）指标，通过头、中、尾类的训练召回率和泛化差距计算，量化模型对各类别的偏好程度。为克服该问题，研究人员基于贝叶斯定理推导了类概率分布偏移定理（定理4.1），表明可通过调整logit来恢复平衡模型的决策边界。进一步，通过启发式幂律函数近似类概率分布，CBS将原始logit z_nc调整为z_nc + β log|N_c|，其中β为可调校准指数，|N_c|为类别c的训练样本数。当β=1时，CBS退化为Balanced Softmax。CBS通过增加尾类梯度惩罚、降低头类奖励，在反向传播中实现更平衡的梯度信号。

在实验部分，研究人员在多个长尾基准上进行了广泛评估，包括长尾CIFAR（C10-LT*、C100-LT*）、ImageNet-LT、Place-LT、iNaturalist2018以及基于LVIS-V1构建的极端不平衡数据集。所有对比实验均在统一配置下进行，并与Balanced Softmax等多类现有方法进行了比较。主要结果如下。

（1）CBS在缓解偏好问题上的有效性。通过计算模型不平衡水平I，研究人员发现标准softmax在所有基准上表现出最高的I值，尤其是在LVIS和ImageNet-LT上超过100；Balanced Softmax能降低I，而CBS进一步显著降低I，尤其在iNaturalist2018和LVIS等大规模数据集上，表明CBS的梯度级重平衡对数据规模和复杂度具有鲁棒性。

（2）CBS获得了更好的测试准确率。在平均测试召回率（average testing recall）方面，CBS在长尾CIFAR、ImageNet-LT和Place-LT上均优于所有对比方法，包括Balanced Softmax。与对比学习框架BCL和ProCo结合时，CBS同样持续优于Balanced Softmax，例如在ImageNet-LT上ProCo+CBS达到57.27%，而ProCo+Balanced Softmax为56.86%。统计检验（Welch’s t检验）显示CBS的改进具有显著性（p值<0.05），效应量Cohen’s d>0.8。

（3）CBS的可扩展性。在iNaturalist2018（8142类）和LVIS-based数据集（1203类，不平衡比例超过1:50000）上，CBS均显著优于Balanced Softmax，且统计检验确认改进显著。这说明CBS适用于极端不平衡和超大类别数的开放世界场景。

（4）CBS通过梯度平衡模型。研究人员收集单轮训练中各类别的奖励（reward）和惩罚（penalty）信号，计算相对差异。结果表明，在平衡数据集上梯度类间分布均匀；而在不平衡数据集上，标准softmax赋予头类过高权重，CBS则有效放大尾类梯度信号，有时甚至超过头类，从而补偿尾类因数据稀缺导致的较大泛化差距。

在讨论部分，作者指出CBS仍存在若干局限性：幂律函数是启发式选择，仅得到实证支持，未证明确为所有长尾问题的普适性质；类概率分布仅考虑样本数，忽视了数据多样性、类别噪声、类内方差等因素；超参数β依赖网格搜索，未来可探索自适应学习；CBS同样面临头尾权衡，但可与对比学习等表示学习结合以缓解。此外，其数学基础具有可推广性，未来可扩展至长尾实例分割和物体检测等任务。研究结论为：本文研究了不平衡图像分类的基本挑战，提出了CBS，一种简单的logit调整方法，在多个长尾基准上优于现有重平衡方法。分析表明，CBS有效平衡训练过程中的梯度，从而缓解了研究人员识别为不平衡训练模型内在症状的偏好问题。