用于低基数分类的梯度提升编程

《ACM Transactions on Evolutionary Learning and Optimization》：Gradient Boosted Programming for Low Cardinality Classification

梯度提升是构建集成模型的有效方法，本研究将其与遗传编程结合，提出梯度提升编程方法。该方法分两阶段：第一阶段生成多样化基础学习器（程序），第二阶段采用特定于程序表示的梯度提升构建集成模型，并学习类别概率分布。在21个涵盖类别不平衡、多类别、特征识别等挑战的数据集上的广泛测试表明，该方案在11个低基数分类任务中表现显著优于随机森林和XGBoost，且能识别更简单的模型。

　　

摘要

梯度提升是一种构建集成模型的有效方法。我们展示了遗传编程如何利用这种方法来处理各种分类任务。所提出的梯度提升编程方法分为两个阶段：第一阶段生成多种基础学习器（程序）；第二阶段针对这些程序的表示形式应用梯度提升算法。最终形成的集成模型是通过对各个基础学习器进行叠加构建的，并且为每个学习器学习到一个类别概率分布。我们在21个分类数据集上进行了广泛的基准测试，这些数据集涵盖了类别不平衡、类别数量较多以及特征识别等场景。结果表明，在11个低类别数量的任务中，该方法的表现显著优于随机森林（Random Forests）和XGBoost等其他集成方法，并且通常能够识别出更简单的模型。