《Array》:A hybrid machine learning model based on LightGBM and a genetic algorithm for diagnosing diabetes
编辑推荐:
糖尿病(diabetes mellitus, DM)是最常见的慢性疾病之一,早期发现有助于预防心血管、肾脏和视网膜并发症。研究人员处理健康、糖尿病前期和糖尿病患者的三分类任务,输入为13个人口学、人体测量学和症状变量,这些变量无需实验室检查即可采集;数据来自某
糖尿病(diabetes mellitus, DM)是最常见的慢性疾病之一,早期发现有助于预防心血管、肾脏和视网膜并发症。研究人员处理健康、糖尿病前期和糖尿病患者的三分类任务,输入为13个人口学、人体测量学和症状变量,这些变量无需实验室检查即可采集;数据来自某内分泌中心13,053例患者的匿名记录,其中2.40%的单元格缺失。研究人员将LightGBM与两个独立的遗传算法(genetic algorithm, GA)结合。GA-1以无标签适应度(人工隐藏单元格上的重构误差)调优LightGBM插补模型,使学习到的规则可应用于新患者。GA-2在验证子集上调优LightGBM分类器的9个超参数,并对5个精英配置的预测取平均。该流程在2,611例患者的锁定测试集和嵌套5 × 5重复交叉验证中测试,每一步均在训练折内拟合。在测试集上,LightGBM + GA达到准确率0.9345(95% CI 0.9245–0.9441)和宏平均F1-score(macro F1-score)0.9325,而默认LightGBM为0.9284和0.9263。优化模型达到0.9306 ± 0.0047的准确率,优于默认LightGBM,并与随机/贝叶斯调优相当。GA-1插补取得最低Gower误差(0.302)。SHAP(SHapley Additive exPlanations)识别年龄、MI、血压、行走困难、总体健康和家族史为关键预测因子。该模型是低成本实验室前筛查的候选方法,尚待外部验证。
论文解读:Shokhrukh Sariyev等针对糖尿病早期识别中实验室指标依赖、三分类研究不足及数据泄漏导致性能虚高等问题开展研究。糖尿病患病率持续上升,未及时识别可导致心血管、肾脏、神经和视网膜等并发症;已有机器学习研究多集中于健康与糖尿病的二分类,且常在全体数据上完成插补、缩放和超参数搜索,易高估性能。该研究旨在利用首次就诊即可获得、无需实验室检查的13个变量,区分健康、糖尿病前期和糖尿病,并通过无泄漏流程评估混合模型。研究人员基于单中心13,053例匿名记录构建流程,采用锁定测试集和嵌套5 × 5重复交叉验证,比较多种模型,提出LightGBM + GA混合框架,并分析模型依赖的预测因子。研究结论提示,该模型在未见患者中准确率约0.93,较默认LightGBM有小幅但可重复提升,预测概率改善更明显;其意义在于为低成本实验室前筛查和转诊优先级提供候选工具,但需外部验证和重校准。
关键技术方法概括(≤250字):研究使用Samarkand branch of the Republican Specialized Scientific and Practical Medical Center of Endocrinology named after Academician Yo.Kh. Turaqulov的13,053例匿名记录,连续抽样,三分类标签由内分泌科医生确认。关键技术包括:GA-1以无标签Gower重构误差调优LightGBM插补模型;GA-2以验证集多类log-loss调优9个超参数并平均5个精英配置;采用锁定20%测试集与嵌套5 × 5重复交叉验证,所有学习步骤仅在开发数据拟合;使用SHAP、2 × 2消融、缺失率压力测试及校正重采样t检验、Wilcoxon、Holm、McNemar和Friedman检验进行解释与统计比较;并与随机搜索、贝叶斯优化(TPE)及XGBoost、CatBoost比较。
研究结果:
3.1 研究数据集:通过整理某内分泌中心13,053例匿名记录,使用13个无需实验室检查的变量,按A1C(糖化血红蛋白)、FPG(空腹血糖)、OGTT(口服葡萄糖耐量试验)等标准定义三分类,类别接近平衡,未使用重采样。
3.2 无泄漏流程与验证:通过锁定测试集和嵌套重复交叉验证,将插补、超参数搜索和模型拟合均置于开发数据内;步骤顺序敏感性分析显示两种顺序在外折测试中差异可忽略。
3.3 重复记录识别与删除:通过全记录两两比较删除完全重复记录,以降低过拟合和性能虚高。
3.4 分类特征编码:将二值名义变量编码为0/1指示变量;线性和SVM模型使用仅由训练部分估计的z-score标准化,树模型使用未标准化编码。
3.5 GA-1无标签缺失插补:通过以人工隐藏单元格Gower误差为适应度调优LightGBM插补模型,GA-1取得最低重构误差0.3015;但在2.40%缺失率下,各插补方法对分类影响很小。
3.6 机器学习模型诊断:通过比较逻辑回归、SVM、决策树、随机森林、LightGBM、XGBoost和CatBoost,默认LightGBM在重复交叉验证中准确率0.9265,被选为基础模型。
3.7 LightGBM集成模型检测:通过多分类softmax、叶级增长和正则化构建LightGBM;默认模型测试准确率0.9284,错误主要发生在相邻类别,糖尿病前期召回最低。
3.8 GA-2超参数优化:通过验证集多类log-loss调优9个超参数并平均5个精英配置,测试集准确率0.9345、宏平均F1-score 0.9325,log-loss由0.1820降至0.1677,Brier score由0.1041降至0.0974。
3.9 重复嵌套交叉验证与统计显著性:在25个外折中,提出模型准确率0.9306 ± 0.0047,较默认LightGBM提高0.41个百分点(22/25折更优),log-loss显著降低;与随机搜索和贝叶斯调优差异很小。
3.10 两个GA组件贡献消融:通过2 × 2因子消融得出,分类提升主要来自GA-2;GA-1主要提升缺失值重构质量,对当前低缺失率数据的分类贡献有限。
3.11 与随机搜索和贝叶斯优化比较及计算成本:在相同评估预算下,GA-2验证log-loss为0.1706,TPE为0.1709,随机搜索为0.1719;外折测试准确率相近。GA-2每折搜索约372 s,训练最终模型3.2 s,1000例新记录插补和分类0.21 s。
3.12 类特异性性能与不确定性:通过测试集分类指标得出,健康、糖尿病前期和糖尿病召回分别为0.9610、0.8682和0.9672;糖尿病NPV(negative predictive value,阴性预测值)为0.9830,健康/糖尿病混淆极少。
3.13 模型学习内容:通过SHAP分析得出,年龄、BMI(body mass index,体重指数)、血压、行走困难、总体健康和糖尿病家族史最重要;5个症状变量占总平均绝对SHAP值19%,去掉后提出模型交叉验证准确率由0.9306降至0.9141。
3.14 高缺失率插补稳健性:通过额外隐藏10%—30%单元格的压力测试得出,GA-1在各缺失水平重构误差最低;当分类器需要完整输入时,插补方法影响增大。
讨论部分总结:该研究在无泄漏条件下显示所提模型对未见患者准确率约0.93,预测概率校准相关指标改善;增益主要来自GA-2超参数调优,精英平均降低对单一配置依赖但未进一步显著提高准确率;GA-1是最准确的插补器并可作为归纳规则用于新患者,但在原始低缺失率数据中对分类影响小;GA-2与随机搜索和贝叶斯优化在相同预算下找到相近质量配置,不能声称遗传算法本质优于贝叶斯优化。模型主要依赖年龄、BMI、血压、行走困难、总体健康和家族史,症状变量增加约1.65个百分点准确率;糖尿病前期仍最难。局限性包括单中心、类别分布反映内分泌中心而非一般人群、横断面设计、部分自报输入、缺失完全随机压力测试及训练阶段额外计算成本;临床使用前需外部、最好前瞻性验证和重校准。
研究结论翻译:该研究设计了一种混合方法,用遗传算法改进LightGBM集成模型,以13个无需实验室检查的变量对健康、糖尿病前期和糖尿病患者进行三分类筛查。该方法使用两个独立遗传算法:GA-1调优无标签LightGBM插补模型以填补缺失值并可应用于新患者;GA-2在验证子集上调优LightGBM分类器的9个超参数并平均精英配置。整个流程在2,611例患者的锁定测试集和嵌套5 × 5重复交叉验证中无数据泄漏地评估。在测试集上,模型准确率为0.9345(95% CI 0.9245–0.9441),宏平均F1-score为0.9325;交叉验证中准确率为0.9306 ± 0.0047,宏平均F1-score为0.9291 ± 0.0047,在10个比较模型中最佳。与默认LightGBM相比,准确率提高0.41个百分点(25折中22折更优),预测概率明显改善(log-loss 0.188对0.173,p < 0.001)。GA-1在测试插补器中重构误差最低(0.3015对MICE的0.3108),而在观察到的2.4%缺失率下插补方法对分类影响很小。相同预算下,GA-2的测试结果与随机搜索和贝叶斯优化接近。年龄、BMI和血压是最重要预测因子,且模型在去掉症状变量后仍保留大部分准确率,这与其作为候选低成本实验室前筛查工具的预期用途一致。研究的科学新颖性在于无泄漏混合架构,其中每个遗传算法与LightGBM协同解决各自清晰分离的目标,并通过评估协议显示提升幅度及来源。因此,该模型应被视为优先转诊至实验室检测的候选筛查方法;在用于临床决策支持前,仍需在其他中心开展外部、最好前瞻性验证,并针对目标人群重校准。