快速精确的分数阶梯度下降算法及其在极端梯度提升中的应用

《Knowledge-Based Systems》：Fast and Accurate Fractional Order Gradient Descent Algorithm and Its Application in Extreme Gradient Boosting

本文提出基于非因果分数阶导数的新型梯度下降算法NGLFGD，并将其应用于XGBoost模型构建NFXGBoost。实验表明NFXGBoost在多个数据集上较传统模型具有更高准确性和更快收敛速度。

　　本文提出了一种快速且精确的分数阶梯度下降算法，并将其应用于改进极端梯度提升（XGBoost）模型。首先，基于Grünwald-Letnikov分数阶导数，引入了一种新型的非因果分数阶导数，该导数具有与传统一阶导数相同的相位谱密度。在此基础上，建立了一种非因果分数阶梯度下降（NGLFGD）算法，确保在单变量情况下能够收敛至真实极值。数值模拟结果表明，NGLFGD不仅收敛速度快，而且具有高精度和全局收敛能力。随后，将NGLFGD算法与XGBoost模型相结合，构建了一种新的非因果分数阶XGBoost（NFXGBoost）模型。在多个数据集上的实证评估结果显示，与流行的机器学习模型相比，所提出的NFXGBoost模型展现出更高的准确性，这证明了其有效性。NGLFGD算法和NFXGBoost模型的源代码已公开在GitHub平台上。

梯度下降（GD）方法是众多优化方法中最基础的一种，是一种用于寻找目标函数极值的迭代算法。由于其简单性，GD被广泛应用于各种研究领域。在面对对象分类问题时，张等人提出了在线梯度下降方案和离线梯度下降方案用于遗传编程。为了解决线性方程的求解问题，萨莫金等人引入了如何利用GD构建迭代方法，并提供了其收敛性的数学严谨证明。张等人引入了多阶段的概念，提出了基于多阶段和方法组合策略的GD优化方法。通过将动量项引入随机递归梯度算法，提出了一种具有线性收敛率的新方差减少随机梯度算法。在BP神经网络中，使用选择性反向传播加速梯度下降。

分数阶微积分是对整数阶导数的扩展，被广泛应用于控制系统、图像处理和信号分析等领域。分数阶导数可以自然地用于改进GD方法，这种方法被称为分数阶梯度下降（FOGD）。目前，FOGD已经受到许多学者的关注，并且有关其收敛性的讨论也逐渐增多。陈等人提出了一种改进的FOGD方法，该方法在每一步更新初始点，以确保有保证的收敛。为了解决收敛问题，魏等人设计了三种改进的FOGD方法。胡塞尼等人提出了一种基于分数阶的优化算法（HAFPSO），用于解决停滞问题，模拟结果表明该算法可以加速收敛并提升经典PSO的局部优化能力。为了解决二次损失函数的优化问题，提出了一种结合变量初始值策略的分数阶梯度下降方法。申等人定义了一种基于Caputo分数阶的梯度，并提出了一个通用的分数阶优化方法。近年来，FOGD在深度学习领域也得到了广泛应用。针对径向基函数神经网络（RBF-NN），提出了一种基于分数阶梯度下降的学习算法，并建立了分数阶RBF-NN。盛等人设计了一种分数阶梯度方法用于改进卷积神经网络（CNN），确认了分数阶梯度方法收敛速度快、精度高，并且可以避免陷入局部最优。通过添加自适应动量系数，设计了一种基于Grünwald-Letnikov定义的分数阶梯度方法用于改进BP神经网络。这些研究为本文提供了灵感。

极端梯度提升（XGBoost）是一种广泛应用的机器学习方法，它是一种可扩展的树提升算法，已被提出并由许多学者进一步改进。XGBoost是一种基于梯度提升决策树的集成学习算法，结合了多种优化和增强策略。通过使用粒子群优化（PSO）来自适应优化参数，江等人提出了PSO-Xgboost模型，该模型在整体分类精度上优于其他常见的机器学习模型。施瓦茨等人发现，在相同数据集上，XGBoost优于其他深度学习模型，而结合XGBoost的深度模型集成在效率上优于单独的XGBoost。阮等人研究了XGBoost的应用，并构建了Stacking-XGBoost和Voting-XGBoost模型，通过在超高性能混凝土（UHPC）上的实验结果验证了其有效性。萨马特等人创建了一种元XGBoost方法，以解决XGBoost的潜在过拟合问题。石等人将XGBoost与贝叶斯优化算法结合，以提高超参数优化的效率。为了预测心脏病，奥兹坎等人应用遗传算法（GA）优化XGBoost参数，提出了一个混合PCA-XGBoost-GA方法，比较结果表明该模型优于其他分类模型。孙等人引入了提前停止轮次调整机制，以改进XGBoost模型的性能，结果表明XGBoost-I-lag的预测精度通常高于其他短期和长期多步预测基线方法。马萨乌迪提出了一种集成模型Stacked XGB-LGBM-MLP，将轻梯度提升（LGBM）、XGBoost和多层感知机（MLP）结合在一起，通过两个数据集验证了所提出模型的性能。此外，许多学者还提出了对XGBoost的改进方法。

基于上述讨论，本文构建了一种新的非因果分数阶XGBoost（NFXGBoost）模型，以改进传统的XGBoost模型，并将其与流行的机器学习模型进行比较。本研究的主要贡献可以总结如下：

1. 提出了一种新的非因果分数阶导数。
2. 通过谱特性对分数阶导数与传统一阶导数进行了对比分析。
3. 建立了一种非因果分数阶梯度下降（NGLFGD）算法。
4. 进行了一些比较以证明NGLFGD的快速速度和良好精度。
5. 构建了新的NFXGBoost模型，并在多个数据集上进行了应用。

本文的其余部分组织如下。第二部分介绍了因果和反因果Grünwald-Letnikov分数阶导数，并提出了新的非因果分数阶导数。第三部分建立了NGLFGD算法，并通过三个测试函数的数值比较展示了其性能。第四部分将NGLFGD算法应用于XGBoost模型，并通过实验验证其优越性能。第五部分总结了全文的工作。

本节基于Grünwald-Letnikov分数阶导数，介绍了因果分数阶导数和反因果分数阶导数，从而提出了新的非因果分数阶导数。随后，通过两种模拟来验证其合理性。

本文提出了一种基于Grünwald-Letnikov定义的新型非因果分数阶导数，该导数是因果和反因果分数阶导数的加权和。提出了一种非因果分数阶梯度下降算法，并通过多个例子和单变量收敛性证明，明确揭示了NGLFGD的有效性。随后，将改进的NGLFGD算法与XGBoost模型相结合，获得了一种分数阶极端梯度提升模型。