噪声依赖的XGBoost、LightGBM与CatBoost鲁棒性

《Algorithms》:Noise-Dependent Robustness of XGBoost, LightGBM, and CatBoost

【字体: 大 中 小 】 时间:2026年08月31日 来源:Algorithms 2.6

编辑推荐:

  梯度提升决策树(GBDTs)在表格数据方法中处于领先地位;然而,其在 corrupted labels 下的比较鲁棒性仍不明确。研究人员通过受控基准协议解决了这一不确定性,其中库身份是唯一自由变量,从而将观察到的差异归因于实现而非调优、数据分割或噪声实现,并且

  
梯度提升决策树(GBDTs)在表格数据方法中处于领先地位;然而,其在 corrupted labels 下的比较鲁棒性仍不明确。研究人员通过受控基准协议解决了这一不确定性,其中库身份是唯一自由变量,从而将观察到的差异归因于实现而非调优、数据分割或噪声实现,并且在报告任何排序之前强制进行容量、噪声下限和数据集选择混杂检查。研究人员在 OpenML Curated Classification benchmark suite 2018(OpenML-CC18)的 15 个数据集上,跨四种噪声率与三种随机种子,于对称、非对称成对翻转和实例依赖标签噪声下对极端梯度提升(XGBoost)、轻量梯度提升机(LightGBM)和类别提升(CatBoost)进行基准测试。干净数据上调优的配置在各噪声条件下固定。预测性能为干净测试集上的宏平均 F1 分数(macro-F1),退化为相对于各库在同一数据集上自身干净数据分数的 macro-F1 绝对下降,因此下述恢复值均为 macro-F1 的绝对百分点。排序取决于噪声率与噪声模型:在对称或非对称噪声下 10% 率时无非分离;对称噪声下自 20% 浮现分离,非对称噪声下仅 40% 时浮现;实例依赖噪声下随率升高而减弱。在 40% 对称与非对称噪声下,CatBoost 的每数据集退化显著低于 LightGBM(Friedman 检验,均 p<0.05),平均秩 1.20 对 2.47 与 1.20 对 2.67,XGBoost 居中(分别为 2.33 与 2.13),且仅在对称噪声下可与 CatBoost 分离。40% 实例依赖噪声下排序消失:未检测到显著库排序(p>0.05),性能差距小于合并种子标准差的两倍,表明 GBDT 鲁棒性结论依赖于噪声模型。排序也随评估维度变化:LightGBM 观测均值中特征重要性最稳定,校准排序依赖噪声模型,CatBoost 训练损失是最强错标检测信号。仅在对称噪声下,小损失重加权显著改善三库,早停为 LightGBM 恢复至多 8.5 百分点;缓解措施未在非对称或实例依赖噪声下评估。对实践者而言,这意味着库与缓解措施应与预期噪声过程共同选择:当可能存在标签条件噪声且以准确率为目标时优选 CatBoost;高率特征依赖噪声下不期望任何库获得鲁棒性;对称噪声下应用早停或小损失重加权,二者均有显著收益且早停对 LightGBM 帮助最大;当部署依赖校准、错标可检测性或重要性稳定性时依维度选择,因排序随维度而异。
研究背景方面,梯度提升决策树(GBDTs,Gradient-Boosted Decision Trees)在学术基准与工业实践中均为表格监督学习最强方法之一,XGBoost、LightGBM、CatBoost 三大开源实现常被依据干净数据基准或熟悉度选中,但真实标签噪声(label noise)普遍存在于众包标注、自动标注流水线与专家分歧中,实际噪声率常达 5–30%。已有文献缺乏在受控条件下对三库系统比较的证据:最接近工作仅测 XGBoost 单库,早期噪声敏感性研究早于 LightGBM 与 CatBoost 成熟,深度学习噪声鲁棒方案不直接迁移至树集成。该研究发表于《Algorithms》,旨在以库身份为唯一自由变量的受控协议填补此缺口。
研究人员开展的研究为:在 OpenML-CC18 的 15 个数据集(1000–48842 样本,2–26 类)上,以 60/20/20 分层分割与种子 42–44,向仅训练标签注入对称、非对称成对翻转(pair-flip)、实例依赖三类噪声,率取 0.1/0.2/0.3/0.4;各(数据集,库)对在干净数据上以 20 次随机搜索调参后冻结,主臂固定 500 树无早停;评测头条为干净测试集 macro-F1,估计量为相对自身干净基线的退化(degradation)绝对百分点;多数据集排序经 Friedman 检验接 Nemenyi 事后检验,辅以 Wilcoxon 符号秩检验,并强制容量、噪声下限(间隙大于两倍合并种子标准差 0.018)、数据集选择三混杂检查;超越准确率维度补充预期校准误差(ECE)、基于每样本训练 log-loss 的错标检测 AUPRC、增益特征重要性 Spearman 稳定性;缓解措施仅对称噪声下测早停(50 轮耐心)与小损失重加权(降权最高损 10% 样本至 0.1 后重训)。
研究结果如下。
4.1 标签条件噪声下库鲁棒性:对称噪声 0.1→0.4 时 CatBoost 平均退化 0.021→0.162,LightGBM 0.033→0.236,XGBoost 0.030→0.228;0.1 率无分离,0.2 起对称浮现分离,0.4 率 Friedman 显著(对称 p<0.05 秩 1.20/2.33/2.47,非对称 p<0.05 秩 1.20/2.13/2.67);实例依赖噪声下 0.2 显著(CatBoost 秩 1.47),0.4 不显著(p>0.05,最佳最差 macro-F1 差 0.009<0.018),即标签条件噪声越高库选择越重要,特征依赖噪声下近乎无关。
4.2 统计显著性与临界差:0.4 率对称噪声 CatBoost–LightGBM 秩距 1.07>临界差,非对称 1.40,实例依赖无非显著对;二元集上非对称等价于对称翻转,多类四集不显著,故非对称结论主要由二元标签反转驱动。
4.3 混杂检查:容量检查中 CatBoost 在 12 个噪声条件中 10 个获最高绝对噪声 macro-F1,调参-默认消融保序;噪声下限检查对称/非对称 0.4 率宏差 0.069/0.061>0.018,实例依赖 0.009<0.018;数据集级结果显示 CatBoost 非全域优于他库,Friedman 按秩聚合吸收异质。
4.4 超越准确率维度:LightGBM 各条件下特征重要性 Spearman 稳定性均值最高,XGBoost 最低;CatBoost 每样本训练损失错标检测 AUPRC 各条件最高(对称 0.4 率 Wilcoxon p<0.05 对 XGBoost);校准 ECE 随噪声模型变:对称 LightGBM 最低,高非对称 XGBoost 最低,实例依赖 CatBoost 最低,但 0.4 率配对 Wilcoxon 均不显著。
4.5 缓解有效性(仅对称):0.4 率小损失重加权三库 Wilcoxon 均显著(p<0.05),早停 LightGBM/CatBoost 显著、XGBoost 边际;观测均值早停为 LightGBM 恢复 8.5 百分点、CatBoost 4.3 百分点;缓解后库差缩小不消失,重加权 CatBoost 0.765 仍高于早停 LightGBM 0.735。
4.6 不平衡与噪声交互:0.4 率退化对多数类占比回归无显著关系(p>0.05),属探索性低功效分析。
讨论部分指出,CatBoost 默认 Plain 提升非 ordered boosting,候选机制为其 oblivious(对称)树强制同级同分裂的结构正则限制了对单错标点低支撑区刻画,标签条件噪声与特征独立故该正则利好,实例依赖噪声聚于边界使各库皆须分裂故分离减弱;此解释为事后推测未隔离机制。实践推荐按预期噪声过程与部署维度选库与缓解,缓解证据仅限对称噪声。威胁效度含合成噪声、11/15 二元致非对称等效、实例依赖生成器 0.05 阈值未做敏感分析、干净数据调参可能不优噪、三种子受限、单 GPU 非确定、CC18 非穷举、指定版本号。
结论部分翻译:研究人员提出受控基准比较 XGBoost、LightGBM、CatBoost 于三标签噪声模型跨 15 数据集。CatBoost 在对称与非对称(标签条件)噪声下退化显著更低;但最高率实例依赖噪声(模糊依赖错标合成代理)下无统计显著库排序,观测差距小于种子变异性。超越准确率各维度排序不一:LightGBM 特征重要性观测均值最稳,校准排序依赖噪声模型,CatBoost 损失信号为最有效错标检测。当疑有标签条件噪声且重准确率时 CatBoost 最优;LightGBM 特征稳定性均值最高(配对不显著),校准随模型变;对称噪声下小损失重加权三库显著受益,早停对 LightGBM 恢复最大;缓解未扩至他噪声模型。框架支持 1755 主网格与逐单元工件追溯,待扩展为机制消融与含非对称/实例依赖的缓解网格。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号