基于数据集平衡、特征选择与集成方法的心脏病分类机器学习模型比较研究

《Scientific Reports》:Importance of balanced datasets with feature selection and ensemble methods on heart disease classification using distinctive machine learning techniques: a comparative analysis

【字体: 大 中 小 】 时间:2026年04月08日 来源:Scientific Reports 3.9

编辑推荐:

  为改善心脏病早期检测的准确性,研究人员评估了LR、DT、RF、NB、SVM、ANN和KNN等七种机器学习模型。研究利用BRFSS 2020数据集,结合多种特征选择技术(ANOVA、Chi-Square、Regression Analysis)和Bagging集成方法,系统分析了数据集平衡对分类性能的影响。结果表明,在平衡数据集上,随机森林(RF)模型表现最佳,结合特征选择后准确率最高达92%。该研究为心脏病预测的机器学习模型选择和数据预处理策略提供了重要参考。

  
在全球范围内,心血管疾病是导致死亡的首要原因,每年夺走约1790万人的生命,占全球总死亡人数的31%。这种严峻的健康威胁使得开发高效、准确的早期检测与预测方法变得至关重要,这不仅是临床医学的迫切需求,也是公共卫生领域的重大挑战。传统的诊断方法往往依赖于医生的专业判断和一系列复杂的临床检查,这个过程可能耗时较长,且在某些医疗资源匮乏的地区难以普及。因此,利用现代技术,特别是人工智能与机器学习,来辅助或实现心脏病的自动化、快速化早期预警,成为了一个极具前景的研究方向。
机器学习技术为处理海量医疗数据、挖掘潜在风险模式提供了强大的工具。通过算法模型,我们可以从包含年龄、血压、胆固醇水平、生活习惯等多元指标的数据中,学习并识别出与患病风险高度相关的特征组合,从而构建预测模型。然而,构建一个高性能的预测模型并非易事,它面临着多重挑战。医疗数据集常常存在类别不平衡的问题,即健康样本的数量远多于患病样本,这会导致模型倾向于预测多数类,从而漏诊真正的患者。此外,数据中包含的成百上千个特征(变量)中,可能只有一部分是真正有效的预测因子,无关或冗余的特征会干扰模型学习,降低其准确性与泛化能力。如何从原始数据中挑选出最相关的特征子集,同时处理好数据的不平衡性,是提升模型性能的关键步骤。不同的机器学习算法,如逻辑回归(Logistic Regression, LR)、决策树(Decision Tree, DT)、随机森林(Random Forest, RF)等,其数据假设、学习机制和优缺点各不相同,在特定数据集上的表现也存在差异。目前,尚缺乏一个系统的研究,来比较在应用了数据集平衡和特征选择策略后,各种主流机器学习模型在心脏病分类任务上的综合表现,以及哪种预处理与模型组合能产生最优的预测效果。
为了回答这些问题,一项发表在《Scientific Reports》上的研究进行了一项深入的比较分析。研究人员旨在系统评估数据集平衡、多种特征选择技术以及集成学习方法对提升机器学习模型在心脏病分类任务上性能的影响,并确定在此背景下最优的模型与预处理策略组合。
研究者主要运用了以下几种关键技术方法:首先,研究采用了来自“行为风险因素监测系统2020”(BRFSS 2020)的心脏病数据集作为分析基础。其次,为了克服类别不平衡问题,研究对原始数据集进行了平衡化处理。在特征工程方面,研究系统应用了三种经典的特征选择方法:方差分析(ANOVA)、卡方检验(Chi-Square)和回归分析(Regression Analysis),并创新性地通过这几种方法的并集(∪)与交集(∩)操作,构建了八种不同的特征子集组合。在模型构建与评估阶段,研究并行训练和测试了七种常见的机器学习分类器,包括逻辑回归(LR)、决策树(DT)、随机森林(RF)、朴素贝叶斯(Na?ve Bayes, NB)、支持向量机(Support Vector Machine, SVM)、人工神经网络(Artificial Neural Network, ANN)和K-近邻(K-Nearest Neighbors, KNN)。最后,为了进一步提升模型稳定性与性能,研究引入了基于装袋法(Bagging)的集成学习技术,并将其应用于部分模型上进行效果验证。
模型在平衡数据集上的基线性能比较
研究首先在不进行特征选择的情况下,评估了所有七种机器学习模型在经过平衡处理后的数据集上的表现。实验结果显示,在平衡数据集上,随机森林(RF)和决策树(DT)模型取得了最高的分类准确率,分别为85%和82%。这表明,在解决类别不平衡问题后,基于树结构的集成模型(RF)和单一模型(DT)展现出了较强的分类潜力。其他模型如逻辑回归(LR)和朴素贝叶斯(NB)也表现出了一定的竞争力,但准确率相对较低。这一结果为后续在更优特征子集上评估模型性能设立了基线。
特征选择技术对模型性能的增强效果
为了提炼出最具判别力的特征集,研究系统测试了基于三种特征选择方法(ANOVA, Chi-Square, Regression Analysis)的八种组合策略。关键发现是,结合特征选择技术能显著提高多数模型的性能。其中,基于ANOVA的方法在特定组合中显示出优势。具体而言,在特征组合{ANOVA ∪ Chi-Square}和{ANOVA ∪ Chi-Square ∪ Regression}下,随机森林(RF)模型达到了整个研究的性能峰值,其准确率(Accuracy)提升至92%,召回率(Recall)达到93%,曲线下面积(AUC)得分也高达0.92。这意味着,通过筛选出由ANOVA和卡方检验共同认定的重要特征,RF模型不仅整体判断更准确,而且识别出真实患病病例(正例)的能力也非常高,综合判别性能优异。相比之下,仅使用交集(如{ANOVA ∩ Chi-Square})得到的特征子集通常包含的特征数量较少,虽然提升了模型的可解释性,但有时会牺牲部分性能。这一部分结果表明,精心设计的特征选择策略,特别是采用并集方式融合不同选择方法的结果,能够有效去除噪声,保留核心信息,从而极大提升最优模型的分类效能。
集成学习方法对特定模型的影响
为了降低模型方差、提高稳定性,研究进一步将装袋法(Bagging)这一集成技术应用于平衡数据集上的几个模型,包括决策树(DT)、随机森林(RF)和人工神经网络(ANN)。研究观察到,集成方法的效果因模型而异。对于本身已经是集成模型的随机森林(RF),其性能提升空间有限。对于高方差的模型如决策树(DT),装袋法带来了一定的正面效果,有助于使其预测更加稳定。然而,研究也指出,尽管在某些情况下集成方法结合数据集平衡能达到不错的准确率,但其召回率(Recall)和AUC分数有时相对较低,这表明模型可能仍然会漏掉相当一部分实际患病病例。这个发现提示我们,集成技术并非万能,需要根据模型特性和任务目标谨慎使用。
本研究通过系统的比较实验,得出了一系列关于利用机器学习进行心脏病分类的重要结论。首先,数据预处理步骤,特别是解决数据集的不平衡问题,是构建有效预测模型的基础前提,能显著影响模型的基线性能。其次,特征选择并非可有可无的环节,而是提升模型性能的关键杠杆。研究发现,采用ANOVA结合其他方法(如卡方检验)进行特征筛选,能够帮助随机森林(RF)等模型达到最佳的分类性能(准确率92%,召回率93%),这凸显了特征工程在医疗数据分析中的核心价值。最后,集成学习技术如装袋法(Bagging)对性能的提升具有选择性,它更适合于稳定那些本身方差较高的个体学习器,而非无条件地提升所有模型。
这项研究的意义在于,它从实践角度提供了一份清晰的“路线图”。对于医疗人工智能领域的研究者和实践者而言,当面对类似心脏病预测这样的二分类任务时,本研究指出了一条可能的高性能技术路径:优先处理数据平衡问题,然后系统尝试以ANOVA为基础的联合特征选择策略,并优先考虑使用随机森林(RF)这类集成模型作为分类器。同时,研究也客观揭示了当前方法的局限性,如集成方法在提升召回率方面可能存在的不足,这为未来研究指明了改进方向,例如探索更先进的采样技术、设计更精细的特征选择算法或融合深度学习模型。总之,该工作不仅通过详实的比较数据加深了我们对不同机器学习技术组合在医疗领域应用效果的理解,也为开发更可靠、更精准的临床辅助诊断工具提供了宝贵的实证依据和方法学参考。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号