集成Fisher判别分析的梯度提升机方法：基于五个基准数据集与模拟实验的实证评估

《Statistical Analysis and Data Mining: An ASA Data Science Journal》：An Integrated Gradient Boosting Machine Approach With Fisher's Discriminant Analysis: Empirical Assessment on Five Benchmark Datasets and Simulations

　　

摘要专业翻译 本研究旨在评估不同维度约减技术——特别是主成分分析（Principal Component Analysis，PCA）与Fisher线性判别分析（Fisher's Linear Discriminant Analysis，LDA）——对梯度提升机（Gradient Boosting Machine，GBM）分类性能的影响。尽管PCA常被用于降低特征维度，以加速训练或降低内存占用，但其在提升（boosting）流程中的应用并非标准做法。此外，据研究人员所知，此前尚无研究系统性地探索LDA能否提升性能或是否与梯度提升框架兼容。除评估PCA和LDA对GBM预测性能的影响外，研究人员还提出了一种新颖的集成迭代算法，该算法在每次提升步骤中融入基于LDA的特征变换。该分析涵盖五个经典基准数据集，代表了样本量、特征数量以及二分类和多分类目标方面的多种场景。结果表明，应用LDA提取特征——尤其是使用所提出的LDA集成GBM——相比标准GBM能提升分类准确率，在多分类设置或高特征维度的二分类问题中尤为显著。最后，通过一系列受控模拟实验，研究人员探究了集成方法的性能如何随特征维度增加以及特征相关性和样本量的不同水平而变化。

论文解读文章

一、研究背景与问题提出

现实世界的数据集往往呈现高维特征，这会阻碍机器学习模型的性能表现。维度约减（Dimensionality Reduction）是应对这一挑战的常用策略，其核心思想是将高维数据转换为更紧凑且信息量更丰富的表示形式。维度约减在机器学习中扮演着关键角色：一方面，通过提取最具信息量的特征，能够提升算法的计算效率，这在实时或资源受限的应用场景中尤为重要；另一方面，维度约减还能缓解“维度灾难”（curse of dimensionality）带来的负面影响，例如分类树在包含大量无关特征的数据上训练时容易过拟合，导致测试集误分类率升高。

在各类数据约减技术中，特征提取（Feature Extraction，FE）侧重于通过变换原始特征空间生成新的变量，以形成更紧凑、更低维的问题表示。无监督特征提取方法如主成分分析（PCA）和独立成分分析（ICA）不考虑类别标签；而监督方法如Fisher线性判别分析（LDA）和偏最小二乘法（PLS）则明确利用类别信息来增强判别能力。尽管PCA因其简单性和鲁棒性而被广泛使用，但其关键局限在于仅识别输入空间中方差最大的方向而不考虑目标变量，导致主成分可能缺乏分类判别力。相比之下，LDA通过最大化类间均值差异并最小化类内方差来寻找原始预测变量的线性组合，在分类任务中通常优于PCA。然而，LDA存在固有约束：提取的判别成分数量最多为C?1（C为类别数），在二分类问题中仅产生一个判别成分，因此被视为一种激进的维度约减方式。

在比较不同特征提取策略的实证研究中，所使用的分类器往往局限于逻辑回归、分类树、K近邻（KNN）或朴素贝叶斯等传统模型。然而，这些模型在实际分类任务中的应用远不如随机森林（Random Forest，RF）或梯度提升机（GBM）等集成方法普遍。GBM是一种迭代算法，通过组合多个弱学习器（通常是浅层分类树）构建强预测模型，每个弱学习器通过梯度下降最小化前序集成的损失函数。极端梯度提升（XGBoost）是GBM的广泛使用实现，以其速度和强大性能著称。然而，针对GBM和XGBoost的预处理研究仍然有限，通常集中于缺失值填补、异常值处理和高共线性管理等标准程序。

值得注意的是，尽管PCA在梯度提升前的使用在机器学习竞赛中被作为降低特征维度的启发式方法提及，但据研究人员所知，尚无现有研究探索LDA与GBM的联合使用。具体而言，没有既有实践或经验证据表明LDA能提升性能或与梯度提升模型兼容。这一研究空白构成了本研究的核心动机。

二、研究内容与主要结论

本研究的目标具有双重性。第一，考察通过PCA和LDA进行特征提取对GBM算法分类准确率的影响。第二，与常见的将机器学习模型应用于固定预处理特征集的方法不同，研究人员提出了一种集成迭代方法——LdaBoost，该方法在GBM训练过程的每个阶段利用基于LDA的特征变换。这一集成设计源于对GBM迭代本质的认识：在每一步中，目标变量会作为前一个弱学习器的残差而被更新。LdaBoost在每次提升迭代中动态重新计算LDA投影。其基本原理在于LDA与GBM的互补优势：LDA将数据投影到最大化类间分离的低维线性子空间，而GBM通过浅层树的集成构建非线性决策边界。例如，在三分类问题中，LDA将观测映射到二维空间，各类形成紧凑且分离良好的簇，GBM能够通过简单的矩形树分裂组合高效捕获这些结构。

实证研究覆盖五个经典基准数据集，在样本量、特征维度和目标类型（二分类与多分类）方面呈现多样化场景。研究结果表明，纳入基于LDA的特征能显著提升GBM准确率，其中集成的LdaBoost方法在基线之上带来最一致的改进。此外，通过受控模拟实验，研究人员系统考察了LdaBoost性能如何随关键数据特征变化，特别是观测数量、输入特征及其平均相关性，并与最优贝叶斯分类器进行比较。据研究人员所知，这是首个在梯度提升框架内研究LDA集成的研究。

三、关键技术方法概述

研究人员采用的技术方法主要包括以下几个方面。在特征提取方面，使用PCA和LDA两种线性降维技术：PCA通过选择协方差矩阵最大的特征值对应的特征向量构成最优变换矩阵，最大化保留主成分得分的方差；LDA则通过最大化Fisher准则，选择S_B（类间平方和）与S_W（类内平方和）之比的最大特征值对应的广义特征向量。在分类器方面，使用Scikit-learn Python库中的GradientBoostingClassifier实现经典GBM，其通过前向分阶段方式构建加法模型，每阶段拟合损失函数的负梯度。在集成算法方面，提出LdaBoost算法：初始化阶段对标签进行独热编码并估计经验类先验；每次迭代时基于当前残差构造伪标签，重新拟合LDA获得新的投影矩阵；计算伪残差作为提升树的响应变量；为每个类别训练一棵回归树预测对应的梯度列；通过学习率缩放进行分阶段更新。在数据来源方面，使用了UCI机器学习库和Kaggle平台的五个数据集：人类活动识别（HAR）数据集（10299个观测，561个特征，6类）、鸢尾花（Iris）数据集（150个观测，4个特征，3类）、声纳（Sonar）数据集（208个观测，60个特征，二分类）、酵母（Yeast）数据集（1484个观测，8个特征，10类）以及降雨量（Rainfall）数据集（2919个观测，11个特征，二分类）。调参策略采用10折交叉验证对max_depth、n_estimators、min_samples_leaf和learning_rate进行自由调参，并对PCA+GBM额外调优主成分数量。

四、研究结果

HAR数据集结果：10折交叉验证显示，基线GBM在使用全部561个特征时达到0.995的准确率（SD=0.002）。PCA+GBM降至0.946（SD=0.006），而LDA+GBM和LdaBoost（均仅依赖5个判别成分）分别达到0.982（SD=0.004）和0.978（SD=0.006）。在留出测试集上，LDA+GBM取得最高准确率0.9528，LdaBoost紧随其后为0.9511，GBM和PCA+GBM分别为0.9400和0.9053。计算方面，LDA+GBM仅需10.25秒，而GBM需675.07秒，PCA+GBM需652.62秒，分别实现约66倍和64倍的加速。宏F1分数与准确率排名一致。

其他数据集结果：在Iris数据集上，LDA+GBM取得最高准确率0.980（SD=0.020）。在Yeast数据集上，交叉验证准确率从GBM的0.568（SD=0.037）提升至LDA+GBM的0.614（SD=0.030），LdaBoost达到0.589（SD=0.032）。在Sonar数据集（二分类，60个特征）上，PCA+GBM以0.764（SD=0.016）取得最佳性能，LdaBoost为0.721（SD=0.075），GBM为0.694（SD=0.173）。在Rainfall数据集（二分类，11个特征）上，各方法性能相当，LdaBoost以0.864（SD=0.025）略领先。基于Wilcoxon秩和检验与Holm校正的成对比较显示，除HAR数据集上PCA+GBM显著劣于其他方法外，各方法间交叉验证准确率分布无显著统计差异。

消融实验证据：在HAR和Yeast数据集上改变保留的判别成分数量发现，LdaBoost需要大量（理想情况下最大数量）的LDA成分，使用较少成分会降低算法的竞争力。在两种分类目标场景中，使用最大成分数相比单一成分可带来约60%的准确率提升。

模拟实验结果：在中等样本量（N=1000）下，LdaBoost在多分类和二分类场景中均持续优于GBM，在50-100个特征范围内准确率增益尤为显著。随着特征数量增加，LDA+GBM与LdaBoost的性能轨迹高度相似。在二分类情况下，LdaBoost在中等特征维度下持续优于LDA+GBM。当样本量增至10000时，两种新算法在所有特征集上均继续优于GBM。LdaBoost与最优贝叶斯分类器的比较显示，在N=10000且二分类目标下，LdaBoost在超过100个特征时仍保持接近贝叶斯水平的准确率，且从增长的相关性中获益。

五、讨论与结论

讨论部分首先阐述了LdaBoost方法的基本原理。在经典GBM中，后续学习器并非直接训练于原始类别标签，而是训练于伪残差（损失函数相对于当前模型的负梯度）。在LdaBoost中，研究人员利用梯度信息构造伪标签：计算残差后，将每个观测重新分配到具有最大正梯度分量的类别。这一步骤将连续的功能梯度离散化，应被视为受损失函数梯度下降最小化启发的启发式程序。LDA随后应用于这些动态重新标记的数据，保持其作为监督降维方法的自然表述。这一过程引入了动态监督形式，标签随迭代而演变，反映模型的当前状态。LDA在此框架中发挥动态作用：每次迭代识别判别子空间，强调模型当前产生最大误差的方向。

关于二分类设置，Fisher判别分析仅产生一个判别成分，但LdaBoost仍具有竞争力。该成分通过监督程序获得，专门设计用于最大化类间分离，因此代表了原始特征空间的高度信息量投影。即使在单维表示上操作，带有决策树的GBM仍保留相当大的建模灵活性，决策树可沿投影轴引入多个分裂，通过阈值规则组合逼近复杂非线性关系。

关于HAR数据集上GBM表现最佳的现象，可能的解释是LDA诱导的监督降维过于激进地压缩了原始信息。LDA最多产生C?1个判别成分，通过少量全局线性方向表示数据，当判别信号分布在许多变量中或依赖特征间的非线性关系时可能受限。而GBM能通过决策树集成自然捕获阈值效应、特征交互和复杂非线性结构。

研究结论指出，据研究人员所知，尚无先前研究调查LDA与梯度提升的联合使用。实证结果表明，在大多数情况下，LdaBoost或LDA预处理GBM在交叉验证和测试准确率上优于标准GBM，HAR数据集是唯一显示基线GBM在保留全部特征时仍具竞争力的案例。总体而言，LdaBoost在分类任务因目标类别数量增加而变得更复杂时，性能增益更为显著；但在多分类设置中，该模式随特征数量增加而减弱。相反，在二分类任务中，LdaBoost随特征维度增加展现出明显优势。模拟研究显示，在中等特征复杂度和高特征相关性下，二分类准确率有所提升，同时清晰揭示了Hughes现象（维度灾难）。与最优贝叶斯估计器的比较表明，LdaBoost在超过100个相关协变量时几乎与贝叶斯最优曲线重合，证明该方法在最相关特征范围内保持了接近最优的判别能力。