面向类别不平衡深度学习的模糊动态focal loss聚焦参数自适应调整机制

《Mathematics》：A Fuzzy Adjustment Mechanism to Tune Focal Loss Hyperparameters in Imbalanced Deep Learning

　　

针对深度学习（deep learning, DL）中的数据不平衡问题，本文提出一种模糊调整机制（fuzzy adjustment mechanism），该机制根据类别特定的学习状态动态调整焦点损失（focal loss, FL）的聚焦参数。该方法不是对所有类别使用单一固定聚焦参数，而是基于三个因素调整类别级参数：类别规模、类别特定焦点损失以及焦点损失变化。这使模型能够在训练期间根据各类别的学习状况调整对不同类别的关注。实验结果表明，与所评估的固定焦点损失基线相比，所提方法取得了有竞争力的性能。基于五次试验的配对t检验（paired t-test），所提方法在CIFAR-10和SVHN数据集上相较于交叉熵损失（cross-entropy loss, CE）表现出统计学显著改进。对于固定焦点损失基线，部分差异具有统计学显著性，而另一些则不具有统计学显著性。鉴于配对试验数量较少（n = 5），这些统计结果应谨慎解释。总体而言，所提出的模糊动态机制通过根据类别级学习条件自适应调整参数，为人工指定固定聚焦参数提供了一种实用替代方案。

研究背景与问题。神经网络（neural network, NN）与卷积神经网络（convolutional neural network, CNN）在图像处理中依赖数据规模与类别平衡；现实应用常出现类别不平衡（class imbalance），即少数类与多数类样本分布偏斜，多数类在训练中主导权重更新与损失贡献，导致少数类识别性能下降。交叉熵损失（cross-entropy loss, CE）在平衡数据上表现良好，但在不平衡条件下易受多数类主导。Lin et al.提出焦点损失（focal loss, FL），通过调制因子降低易分类样本的损失贡献并强调难分类样本；其聚焦参数（focusing parameter，即γ）控制降权程度。Hong et al.曾按类别样本量给各类别分配不同聚焦参数，但为每个类别确定固定聚焦参数仍较困难。为此，研究人员提出模糊调整机制，根据类别规模、类别特定焦点损失及连续迭代间焦点损失变化，动态调节各类别的γ_k，以改善不平衡学习。

研究人员开展的研究与结论意义。研究人员构建了类别驱动的模糊动态焦点损失方法，在CIFAR-10与SVHN两个基准图像数据集上构造人工不平衡数据，并与交叉熵损失、固定γ焦点损失、自适应焦点损失（adaptive focal loss, AFL）及类平衡损失（class-balanced loss, CB loss）等进行比较。结果表明，所提方法在评估配置中取得最高的平均宏F1分数（macro F1-score），在CIFAR-10与SVHN上相对交叉熵损失具有统计学显著改进；但与部分固定γ基线的差异不显著，需结合五次配对试验谨慎解释。其意义在于减少人工指定单一固定γ的需求，使聚焦参数可按类别级学习状态动态调整，提供固定焦点损失之外的实用替代方案。

关键技术方法概括。数据来源为CIFAR-10与SVHN基准图像数据集；CIFAR-10通过将偶数类样本降至原规模的10%构造不平衡，SVHN进一步将五类样本降至原规模的10%。原始数据划分为训练与测试，训练集再按8:2划分为训练与验证；不平衡降采样分别应用于训练、验证、测试，并进行五次独立重复。模型采用VGG16，冻结卷积与池化层，仅重训全连接层；batch size为64，学习率为0.000005，采用Adam优化器，并以验证损失连续两轮增加触发早停。核心方法为三输入模糊推理机制：类别平衡度、当前类别焦点损失、连续epoch焦点损失变化；采用Mamdani最小-最大推理与重心法去模糊化，Δγ_k限制在[?0.2, 0.2]，γ_k下界为γ_min = 0，初始γ_k设为1。

研究结果。3.1 Experimental Settings（实验设置）：通过CIFAR-10与SVHN的不平衡构造、冻结VGG16训练及F1、宏F1、精确率、召回率评估，建立了受控人工不平衡条件下的评测框架。3.2 Analysis of the Hyper-Parameter in Focal Loss（焦点损失超参数分析）：通过二分类不同不平衡度及十分类设置考察γ与类别规模关系。3.2.1 Static γ Values for All Classes（所有类别静态γ值）：二分类中γ增大仅在1:10、1:20、1:30等严重不平衡度下导致性能下降；少数类F1随γ增大而下降，多数类近乎不变；十分类中γ从1增加亦使性能下降，少数类受影响更明显，说明较小γ更适合少数类，γ在0—1范围表现较好。3.2.2 Dynamic γ Values for Individual Classes（逐类动态γ值）：二分类中 minority类γ固定为0、多数类γ从0增至7时，宏F1先升后降；多数类γ增大使多数类性能下降，而少数类F1在多数类γ由0增至1时提高；十分类中多数类γ由0增至2性能改善，由2增至5下降，说明少数类偏好较小γ、多数类偏好较大γ，但两者差异应较小。3.3 Analysis of the Fuzzy Dynamic Focal Loss（模糊动态焦点损失分析）：通过γ轨迹分析发现第3轮各类γ下降，第9轮随固定γ=1训练焦点损失趋近收敛而γ亦趋近收敛；SVHN呈类似趋势。五次独立试验统计显示，CIFAR-10上所提方法平均宏F1为0.8098 ± 0.0116，固定γ=1为0.8066 ± 0.0092；SVHN上所提方法为0.7588 ± 0.0117，最高固定γ基线γ=5为0.7524 ± 0.0063。相对交叉熵损失，CIFAR-10上t = 4.581、p = 0.0102，SVHN上t = 4.111、p = 0.0147，均显著；CIFAR-10上与γ=5差异显著（t = 3.817，p = 0.0185），与γ=3、γ=1不显著；SVHN上与γ=3、γ=1、γ=5均不显著；鉴于n = 5应谨慎解释。初始γ=1优于其他初始化；二分类、五分类、十分类任务中所提方法总体表现优于其他方法。总体结论为动态调整具有竞争力，但并非所有成对比较均达到统计学显著。

讨论部分总结。4.1 Δγ_k范围敏感性分析：比较[?0.2, 0.2]、[?0.5, 0.5]、[?1, 1]，原范围在CIFAR-10与SVHN上最佳，方法在实用范围内较稳健。4.2 去模糊化机制敏感性分析：Centroid、Bisector、Mean of Maximum三种策略性能高度可比，最大差异约0.0028与0.0024，说明对去模糊化策略不敏感。4.3 隶属函数范围敏感性分析：原配置当前焦点损失[0, 0.4]、焦点损失变化[?0.2, 0.2]在两个数据集上最高，方法对范围变化较稳健并支持默认范围。4.4 与不同固定焦点损失参数比较：固定γ=1、3、5、7中，CIFAR-10上γ=3平均F1最高（0.807），SVHN上γ=1最高（0.764），表明固定γ依赖数据集；所提方法CIFAR-10为0.8103、SVHN为0.7648，略高但差异不显著，优势在于无需单一固定γ。4.5 与现有损失函数额外比较：与交叉熵、AFL、CB loss比较，所提方法总体宏F1最高（CIFAR-10为0.810，SVHN为0.765）；组级上少数类宏F1最高（CIFAR-10为0.734，SVHN为0.653），CIFAR-10多数类宏F1与平衡准确率（balanced accuracy, BA）最高；SVHN多数类宏F1接近交叉熵；CB loss在BA尤其少数类BA更高且总体BA最高，说明所提方法在宏F1上具竞争力。4.6 三输入消融：移除任一输入均降低宏F1，移除当前焦点损失降幅最大，表明三输入提供互补信息。4.7 局限性：额外比较使用新生成数据划分，原始五次划分未保留，不能与主实验直接比较；评估限于两个图像数据集与单一冻结VGG16设置，泛化性需谨慎；配对试验n = 5亦需谨慎解释。

研究结论翻译。本文中，研究人员提出了一种基于类驱动策略的方法来处理类别不平衡问题。该方法利用模糊调整机制，根据类别规模、训练焦点损失和训练焦点损失变化三个因素动态调节焦点损失的超参数。研究人员还分析了该超参数的特性，以建立理论基础。研究人员得出结论：少数类可能需要较小的γ值，而多数类可能受益于较大的γ值；然而，为获得更好的性能，少数类与多数类的γ值差异应保持较小。实验中，研究人员在两个基准数据集上评估了模糊动态焦点损失的有效性，并将其性能与固定γ值的传统焦点损失进行比较。更重要的是，所提方法根据类别特定学习条件动态调整类别级聚焦参数，减少了对所有类别在训练中人工指定单一固定γ值的需求。此外，由于评估仅在两个图像数据集上使用单一模型设置（冻结VGG16框架）进行，经验证据范围仍有限；由于缺乏跨多样骨干网络和更广泛应用领域的广泛测试，当前发现的泛化性应谨慎解释。另外，配对t检验在五次独立试验上进行；所提方法取得了比固定焦点损失基线更高的平均宏F1分数，部分比较具有统计学显著性，而另一些未达到传统0.05显著性水平；鉴于配对试验数量较少（n = 5），这些统计结果应谨慎解释。总体而言，结果为所提模糊动态机制能够根据类别级学习条件调整聚焦参数提供了经验证据，为人工指定固定聚焦参数提供实用替代方案。未来将考虑更多数据集，包括标准长尾和自然不平衡数据集，以进一步评估所提方法在不同网络架构和不平衡比下的泛化性。此外，在所提方法中，γ值按类别调整，所得类别特定焦点损失参与模型参数更新，并随后作为模糊调整机制输入，因此各类别会影响其他类别；然而，作为模糊调整机制第一输入的平衡度仅由最小类和最大类决定，因此考虑所有类别规模是未来研究方向。另一方向是通过跟踪各epoch调整后的γ值及其对应性能，将各类别最优γ值表述为优化问题；最后，可探索二型模糊集（type-2 fuzzy set）及回归技术等替代算法范式，以动态确定合适的γ值。