运用改进的循环学习率策略解决卷积神经网络中的学习率问题

《IEEE Access》：Towards Solving the Learning Rate Problem in Convolutional Neural Networks Using an Enhanced Cyclical Learning Rate Strategy

　　

摘要：

卷积神经网络因其强大的空间特征学习能力，被广泛用于图像分割和分类任务。然而，在处理边界不清晰或存在重叠的情况时，优化稳定性与收敛效率仍面临挑战。在CNN训练中，人们通常使用循环学习率等预定义的学习率调度策略，但这些策略对训练过程的适应性较差。本研究提出了循环局部自适应学习率策略CLARA，它在传统CLR的基础上增加了调度层级的自适应学习率调整功能。CLARA能够根据训练情况动态调整学习率下限，从而提升训练过程中的收敛一致性。将该策略与U-Net结合后，用于重叠染色体分割任务时，取得了99.98%的交并比以及99.99%的验证准确率，同时还能产生更加一致的分割结果，并改善重叠区域的分离效果。在利用ResNet-50进行晶圆缺陷分类的实验中，其验证准确率为99.39%，这表明所提出的调度策略适用于各类评估过的图像分割与分类任务。