《Discover Public Health》:Quantifying behavioral contributions to diabetes risk using an explainable multiclass machine learning framework with BRFSS 2024
编辑推荐:
本研究开发了一个可解释多分类框架,利用2024年行为危险因素监测系统(Behavioral Risk Factor Surveillance System, BRFSS)数据(n=453,241),评估非糖尿病、糖尿病前期和糖尿病之间的判别。双特征集设计比较了
本研究开发了一个可解释多分类框架,利用2024年行为危险因素监测系统(Behavioral Risk Factor Surveillance System, BRFSS)数据(n=453,241),评估非糖尿病、糖尿病前期和糖尿病之间的判别。双特征集设计比较了仅行为/健康状态预测变量与纳入人口学和人体测量变量的扩展特征集,并在四种分类器中进行评估。Logistic回归模型-2表现出最强的类别平衡性能(macro-F1=0.426;balanced accuracy=0.512),而决策树模型-2获得最高的糖尿病前期召回率(0.338)。XGBoost模型-2取得最高加权F1分数(0.775)和宏平均ROC–AUC(0.765),并较Logistic回归显示更好的概率校准,但未能在留出测试集中识别糖尿病前期。XGBoost模型-2的SHAP(SHapley Additive exPlanations)分析显示,人口学预测变量占糖尿病类别总平均绝对归因的45.21%,行为/健康状态预测变量占42.71%,人体测量预测变量占12.08%。探索性地理SHAP聚合显示模型归因信号存在变异,但这些模式不应被解释为人群水平患病率、比较风险或因果地理效应。总体而言,研究结果表明,在纳入人口学和人体测量预测变量后,行为/健康状态信息仍是糖尿病类别模型归因的重要组成部分,同时强调在多分类糖尿病预测中类别平衡和类别特异性评价的重要性。
论文解读:基于可解释多分类机器学习框架与BRFSS 2024量化行为因素对糖尿病风险的贡献
一、研究背景与问题
糖尿病,尤其是2型糖尿病,仍是重大公共卫生挑战。2024年全球估计有589 million成人患病,美国约38 million成人患病。糖尿病风险由可改变的行为因素和非可改变的人口学或人体测量特征共同塑造,因此基于常规收集调查变量建立可扩展预测工具,可能支持人群水平预防研究。BRFSS(Behavioral Risk Factor Surveillance System,行为危险因素监测系统)提供美国各州和地区自报健康、行为、人口学和慢性病信息的大规模全国协调来源。既往基于BRFSS的糖尿病预测研究显示,机器学习模型可利用调查变量识别糖尿病风险,但多数强调二分类糖尿病分类、总体预测判别或全局特征排序,较少关注非糖尿病、糖尿病前期和糖尿病的多分类建模,也较少量化行为/健康状态、人口学、人体测量特征域对模型归因糖尿病风险的贡献。现有研究中的方法学组件分散在不同分析设置中:多数使用二分类结局或单独预测糖尿病前期;多分类框架强调预测优化和特征级解释,而非行为因素与扩展模型比较及域级归因;校准概率在二分类中评价;地理研究关注差异或单一州,而非跨州聚合类别特异SHAP信号。没有单一研究联合报告多分类预测、双特征集比较、域级SHAP归因、校准、bootstrap不确定性、调查加权敏感性、亚组评价和地理解释聚合。因此,研究人员开展本研究,目标为评估BRFSS 2024多分类糖尿病风险预测、量化行为/健康状态预测变量的相对模型归因贡献,并通过校准、不确定性、亚组和敏感性分析评估模型可靠性。
二、研究开展、结论与意义
研究人员使用2024年BRFSS,最终分析样本为453,241名成人。自报糖尿病状态DIABETE4被重编码为三类:非糖尿病、糖尿病前期和糖尿病;类别分布为82.99%、2.49%和14.52%,存在明显类别不平衡。研究构建可解释多分类框架,采用双特征集设计:Model-1仅含行为/健康状态预测变量,Model-2加入人口学和人体测量预测变量。四种分类器包括Logistic回归、决策树、随机森林和XGBoost(Extreme Gradient Boosting,极端梯度提升)。主要结论是:多分类糖尿病建模不能仅凭总体预测性能判断;没有单一分类器在所有评价目标中占优。Logistic回归Model-2类别平衡性能最强,决策树Model-2糖尿病前期召回率最高,XGBoost Model-2加权F1和宏平均ROC–AUC最高且概率校准较好,但未能在留出测试集中识别糖尿病前期。SHAP分析显示,行为/健康状态信息在纳入人口学和人体测量变量后仍占糖尿病类别模型归因的42.71%,表明其仍是模型归因预测信号的重要组成。研究意义在于强调类别平衡、类别特异性评价、校准、不确定性和域级归因在人群健康机器学习中的重要性,提示此类模型更适合比较性和探索性人群健康分析,而非个体临床决策。
三、关键技术方法
数据来自2024年BRFSS,最终分析样本453,241名成人。预测变量分为行为、人口学和人体测量域;慢性共病、医疗可及性和调查设计权重不纳入预测变量,SEQNO和STATE仅用于索引及地理SHAP聚合。非应答码按变量规则重编码为缺失,结构性有意义反应保留。采用分层80/20训练-测试划分,随机种子42;所有学习型预处理仅在训练集拟合,再应用于留出测试集。数值变量中位数插补和标准化,分类变量训练集众数插补和独热编码。评估Model-1与Model-2,四种算法为Logistic回归、决策树、随机森林和XGBoost;前三者使用class_weight=balanced,XGBoost主模型未使用多分类类权重。评价包括类别平衡、类别特异、校准、bootstrap不确定性、LLCPWT调查权重敏感性、亚组分析,以及全局、域级、top-k稳定性和地理SHAP聚合。SHAP分析在固定3,500例留出测试集观测上进行。SMOTE(Synthetic Minority Over-sampling Technique,合成少数类过采样技术)在初步实验中未保留,因其降低模型稳定性且未改善少数类预测。
四、研究结果
3.1 Overall model performance:总体结果显示,Logistic回归Model-2取得最高macro-F1(0.426)和balanced accuracy(0.512);决策树Model-2取得最高糖尿病前期召回率(0.338);XGBoost Model-2取得最高加权F1(0.775)和macro ROC–AUC(0.765)。Bootstrap不确定性显示,Logistic回归Model-2加权F1=0.707(95% CI 0.704–0.710),macro-F1=0.426(0.423–0.430),balanced accuracy=0.512(0.506–0.519),macro ROC–AUC=0.763(0.759–0.768);XGBoost Model-2加权F1=0.775(0.771–0.778),macro-F1=0.351(0.348–0.354),balanced accuracy=0.358(0.356–0.359),macro ROC–AUC=0.765(0.761–0.770)。类别特异评价显示,决策树Model-2糖尿病前期召回率0.338,但精确率0.040、F1=0.071;Logistic回归糖尿病前期召回率0.226、精确率0.053、F1=0.086;随机森林召回率0.205;XGBoost召回率为0.000。Logistic回归糖尿病精确率0.307、召回率0.648、F1=0.417;XGBoost糖尿病精确率0.538、召回率0.084、F1=0.145。XGBoost概率校准更好,并保持更高加权F1和macro ROC–AUC;Logistic回归在未加权和LLCPWT加权评价下保持更高macro-F1、balanced accuracy和糖尿病前期召回率。LLCPWT敏感性分析未改变两分类器总体比较模式。
3.2 Subgroup performance analysis:亚组分析描述四种Model-2分类器在性别、种族/民族、教育和年龄组中的最大-最小性能差距。总体上,性别相关差距小于种族/民族、教育和年龄相关差距,但子组变异的幅度和模式因指标和分类器而异。对XGBoost而言,糖尿病前期召回率在所有人口学维度上的零差距反映统一零召回,而非一致成功检测。
3.3 Behavioral-only vs. full model comparison:与Model-1相比,Model-2的加权F1变化为Logistic回归+0.033、决策树?0.021、随机森林+0.028、XGBoost+0.021。Macro-F1增加者为Logistic回归(0.390至0.426)、随机森林(0.383至0.409)和XGBoost(0.304至0.351),决策树略降(0.380至0.374)。Balanced accuracy在四种分类器中均增加:Logistic回归0.456至0.512,决策树0.455至0.476,随机森林0.452至0.488,XGBoost 0.334至0.358。
3.4 Feature-importance stability:Model-1与Model-2的top-k SHAP特征重叠为:Top-5为60%,Top-10为60%,Top-20为45%,Top-30为36.7%。这表明在引入人口学和人体测量预测变量后,最高排名预测变量存在部分稳定性,尤其是自评一般健康、饮酒变量和不健康天数指标。
3.5 Global SHAP analysis:全局SHAP分析按XGBoost Model-2糖尿病类别平均绝对SHAP值排序。最高归因特征包括自评一般健康、BMI、饮酒指标、性别、锻炼参与和年龄。这些数值代表模型归因重要性,不应解释为因果效应。
3.6 Behavioral vs. structural contribution:行为/健康状态预测变量占糖尿病类别总平均绝对SHAP归因的42.71%;人口学预测变量占45.21%;人体测量预测变量占12.08%。人口学归因比行为/健康状态归因高2.50个百分点。人口学和人体测量合计占57.29%。这些百分比为编码Model-2特征上的归一化模型归因份额,不应解释为因果效应。
3.7 Geographic explainability:地理可解释性通过将每名受访者的糖尿病类别总绝对SHAP归因在州或辖区层面平均,观察到地理单位间变异。然而,这些估计来自分析SHAP样本,未应用BRFSS调查加权或设计方差估计,因此应解释为模型归因的描述性可视化,而非糖尿病患病率或风险的地理比较。
五、讨论部分总结
讨论指出,本研究扩展了既往BRFSS糖尿病预测研究,通过多分类框架考察行为/健康状态信息与人口学、人体测量预测变量的共同贡献。关键发现是,在扩展预测集引入后,行为/健康状态信息仍是糖尿病类别模型归因的主要部分,与人口学域大致相当,支持其在可解释人群健康模型中的持续使用。但归因模式应解释为模型归因预测重要性,而非独立或因果效应。行为/健康状态、人口学和人体测量预测变量可能相关,自评健康或不健康天数可能部分反映既有疾病负担或糖尿病相关症状,因此行为/健康状态SHAP域不应解释为纯可改变生活方式贡献。XGBoost Model-2未识别糖尿病前期,尽管其加权F1、macro ROC–AUC和校准较好,这突出类别特异局限。Logistic回归、决策树和随机森林具有非零糖尿病前期召回率,但少数类性能仍有限。多分类公式揭示了总体指标无法显示的类别特异行为差异。该困难可能反映BRFSS自报糖尿病前期患病率低、可能诊断不足,以及自报调查变量在无HbA1c或空腹血糖等临床生物标志物时区分中间血糖风险状态的能力有限。临床与公共卫生意义方面,基于调查的机器学习模型更适合比较性和探索性人群健康分析,而非个体临床决策;持续难以识别糖尿病前期限制其仅基于自报BRFSS变量用于筛查。亚组分析显示分类器和维度特异变异,种族/民族、教育和年龄差距较大,提示总体性能可能掩盖亚组异质性;XGBoost糖尿病前期召回率零差距反映统一零召回。这些描述性差距不应解释为公平或不公平证据,未来需正式公平性评估、亚组特异校准和外部验证。可解释性与透明度方面,整合全局、域级和探索性地理SHAP分析提供了透明框架。地理SHAP结果需谨慎解释,基于未加权平均总绝对SHAP归因,部分辖区贡献观测少,未考虑BRFSS抽样权重、分层、聚类或设计方差估计;观察到的地理变异可能反映样本构成和特征分布,应视为探索性模型归因模式。局限性包括BRFSS为横断面自报数据,限制因果推断,可能存在测量误差、回忆偏倚和错分,糖尿病前期常无症状且可能诊断不足;主要机器学习流程未完全建模复杂BRFSS调查设计;未纳入饮食质量、糖尿病家族史、药物使用、遗传风险因素、空腹血糖和HbA1c等临床相关预测变量;SHAP值反映模型归因预测贡献而非因果效应,并可能受相关性影响;内部训练-测试划分不建立外部泛化性,未来需用NHANES、电子健康记录或其他年份BRFSS验证,并纳入纵向和临床丰富数据、生物标志物以及设计感知机器学习方法、亚组特异校准和公平感知评价。
六、研究结论翻译
本研究证明,使用BRFSS数据的多分类糖尿病建模不能仅凭总体预测性能判断。没有单一分类器在所有评价目标中占优:在加权指标上表现强的模型不一定保留少数类检测,尤其是糖尿病前期。重要的是,行为/健康状态预测变量占糖尿病类别总平均绝对SHAP归因的42.71%,表明在纳入人口学和人体测量变量后,该域仍保留很大比例的模型归因预测信号。人口学预测变量占45.21%,人体测量预测变量占12.08%,突出行为和结构因素对模型行为的共同贡献。这些发现反映模型归因而非因果效应。总体而言,这些发现支持类别感知和可解释的人群健康机器学习方法,其中少数类性能、校准和归因应与常规总体指标一起考虑。未来需要在独立和临床丰富人群中进行验证,并对复杂调查数据进行设计感知处理,才能支持更广泛的公共卫生或临床应用。