学习具有保证收敛性的深度卷积神经网络算法

《IEEE/CAA Journal of Automatica Sinica》：Learning laws for deep convolutional neural networks with guaranteed convergence

该研究提出首个具有收敛保证的端到端CNN滤波学习框架，通过数学层表示设计更新律实现全层并行权重更新，理论分析表明训练误差收敛于近似误差依赖的界内。实验表明该框架在保证收敛性的同时，性能与随机梯度下降方法相当但更稳定可靠。

　　

摘要：

卷积神经网络（CNN）在图像分类等众多任务中取得了显著的成功，然而与它们的实际表现相比，对其收敛性的理论理解仍然不够充分。本文提出了首个具有收敛性保证的学习框架，用于深度CNN的端到端学习。该框架基于卷积神经网络中每一层的数学表示，制定了新的更新规则并进行收敛性分析。所提出的学习规则使得深度卷积神经网络的所有层能够同时进行权重更新，分析表明训练误差会收敛到特定的范围内，这些范围取决于近似误差的大小。通过对基准数据集进行案例研究，结果表明，所提出的并发滤波器学习框架能够保证收敛性，并在训练过程中提供更加一致和可靠的结果，尽管在性能上与随机梯度下降方法存在一定的 trade-off。这一框架通过建立理论分析，为提高深度卷积神经网络的可靠性和有效性迈出了重要一步，使得学习规则能够实际应用，并通过自动调整学习率来保证训练过程中的收敛性。