基于Caputo–Fabrizio分数阶导数的神经网络优化框架研究

《Scientific Reports》：An analysis of convergence and performance in optimizing neural networks using fractional derivatives

　　

摘要

本文利用分数阶梯度下降 (FGD) 方法中的 Caputo–Fabrizio 分数阶导数，提出了一种用于神经网络的新型优化框架。该方法通过结合最优阶选择与初始化，提高了神经网络训练中的收敛行为和适应性。它提供了理论分析，验证了在 Caputo–Fabrizio 公式下的线性收敛性，并推导了对数损失和均方误差 (MSE) 损失函数的反向传播规则 (\(\textit{LF}\))。此外，所提出的方法还与温和分数阶梯度下降 (FGD) 技术进行了严格的比较。在各种基准数据集（如分类和回归任务）上的实验结果表明，Caputo–Fabrizio FGD (CF-FGD) 算法在训练准确率和收敛速度方面优于基于 Caputo 的 FGD 技术和传统梯度下降。通过使用混合技术，达到同等或更好性能所需的训练轮数大大减少。这些结果证明了 CF-FGD 的鲁棒性和适应性。