机器学习模型中采样方法的比较

《Scientific Reports》：Comparison of sampling methods in machine learning models

　　

摘要

本研究评估了七种采样策略的性能，其中包括五种基于概率的采样方法——简单随机抽样、分层抽样、重要性抽样、不等样本最大排序集抽样以及所提出的分层最大排序集抽样；此外还有两种合成过采样方法：合成少数类过采样技术和支持向量机。这些采样策略与四种机器学习模型一起被用于性能测试，这四种模型分别是广义线性模型、随机森林、支持向量机以及极端梯度提升算法。所提出的SM方法将分层抽样与最大排序集抽样相结合，同时运用标准化辅助排序得分以及针对不同类别的排序方向，从而为处理类别不平衡问题提供有序的样本选择机制。研究在不同的类别不平衡比例和样本量条件下进行了全面的蒙特卡洛模拟实验。此外，该方法还在两个真实世界的数据集上进行了测试，即皮马印第安人糖尿病数据集和威斯康星州乳腺癌数据集，并与传统的采样策略及合成过采样方法进行了比较。性能评估指标包括准确率、精确率、召回率、F1分数以及接收者操作特征曲线下面积。统计比较则采用了弗里德曼检验、涅梅尼检验以及平均秩分析方法。研究结果表明，所提出的SM方法在多种模拟场景和真实数据集中都具有不错的性能，尤其是在样本量较小且存在类别不平衡的情况下。不过，没有一种采样策略能在所有情况下都优于其他方法。这些发现表明，将分层技术与针对特定类别的排序集抽样相结合，可以为处理类别不平衡问题的分类任务提供一种有效的替代方案。