《Computational Statistics & Data Analysis》:Boosted sliced regression for dimension reduction in binary classification
编辑推荐:
本文提出了一种结合梯度提升机(GBM)与切片回归(SR)的新方法(boostSR),用于解决二元分类中充分降维(SDR)的挑战。该方法通过迭代优化类别概率估计和中心子空间识别,突破了传统方法(如SIR/SAVE)对预测变量的分布限制,在数值实验和垃圾邮件检测等实际应用中展现出卓越的精度和计算可扩展性。
亮点
二元分类中降维方法的回顾
本节简要回顾了推动我们提案的几种二元分类SDR方法。Shin等人(2014)发现,基于二元类标签的中心子空间与基于条件类别概率的中心子空间是相同的。即:
命题1
SY|X= Sp(Y)|X,
其中 p(Y) 表示 Y ∈ {-1, 1} 的条件类别概率。由于在那些逆回归方法中使用的切片方案只需要条件类别概率的相对顺序,Shin等人提出了概率增强方法(如preSIR),通过估计类别概率来改善切片效果。
模拟研究
本节进行了模拟研究,以评估所提出方法——增强切片回归(boostSR)的实证性能。为了进行比较,我们还纳入了以下四种方法:原始切片回归(SR)、概率增强切片逆回归(preSIR)、主权重支持向量机(pwSVM)和切片平均方差估计(SAVE)。使用迹相关统计量来评估不同方法估计的中心子空间与真实子空间之间的接近程度。
威斯康星州乳腺癌诊断(WDBC)数据
Shin等人(2014和2017)都研究过这个基准数据集。该数据可在UCI机器学习数据库仓库网站和Kaggle网站上获取。数据记录了569名受试者的诊断结果(良性或恶性)以及十个细胞核测量的平均值、标准误和最大值。Shin等人(2014)表明,传统的SDR方法,包括SIR和SAVE,在使用原始数据时无法提供令人满意的结果。概率增强方法在此数据集上表现有所改善。
讨论
本文提出了一种用于二元分类的降维方法,它结合了梯度提升机和切片回归。该方法无需对预测变量施加概率假设即可详尽地估计中心子空间,并且继承了提升算法计算可扩展性的优点。这项工作展示了将现代机器学习算法融入SDR研究的成功。有两个研究方向值得进一步探索。
未引用图表
缺失引用 算法1
结论