测量误差对机器学习模型预测性能和变量重要性评估的影响研究

《Scientific Reports》：Effect of features burdened with classical error, misclassifications, Berkson error, and group-summary assignments on machine learning performance and interpretability

　　

摘要

测量误差在现代数据管道中普遍存在，但其对机器学习预测建模和变量重要性评估的影响往往被低估。本研究考察了输入测量误差如何影响预测准确性和可解释性，涵盖四种常见的加性误差类型：经典误差、预测特征的错误分类、由算法或模型分配错误引起的伯克森误差，以及组摘要（聚合）分配误差。通过使用涵盖回归和分类的受控蒙特卡洛模拟实验，我们评估了五种流行的机器学习模型——广义线性模型、支持向量机、随机森林、XGBoost和多层感知机，在不同误差水平下的表现。为了区分误差的影响与优化问题，针对每个数据集分别调整超参数，并使用标准预测指标和排列特征重要性来衡量性能。结果表明，测量误差通常会降低预测性能，并可能显著改变高预测特征的重要性排名和估计贡献，且退化模式因误差类型和模型而异。这些发现阐明了何时性能下降可能被误认为分布偏移等情况，并强调了在得出关于模型鲁棒性、泛化能力或变量相关性的结论之前，诊断和纠正测量误差的重要性。