《DIGITAL HEALTH》:An interpretable machine learning model for predicting intensive care unit mortality risk in elderly patients with concomitant cardiogenic shock and sepsis: Development and external validation using two large critical care databases
编辑推荐:
引言:老年心源性休克(cardiogenic shock, CS)合并脓毒症(sepsis)患者构成高危混合性休克人群,其早期预后判断困难。研究人员旨在开发并外部验证一种用于重症监护病房(intensive care unit, ICU)死亡风险预测的可解释机
引言:老年心源性休克(cardiogenic shock, CS)合并脓毒症(sepsis)患者构成高危混合性休克人群,其早期预后判断困难。研究人员旨在开发并外部验证一种用于重症监护病房(intensive care unit, ICU)死亡风险预测的可解释机器学习(machine learning, ML)模型。方法:从MIMIC-IV v3.1(n=1,219)和eICU-CRD v2.0(n=166)中识别年龄≥65岁且合并CS和脓毒症的患者。MIMIC-IV按70:30分层为训练队列(n=853)和内部验证队列(n=366),eICU-CRD保留用于外部验证。特征选择采用训练队列中Boruta与最小绝对收缩和选择算子(least absolute shrinkage and selection operator, LASSO)的交集。十种模型通过分层5折交叉验证进行调参;在验证前依据最高平均训练交叉验证受试者工作特征曲线下面积(area under the receiver operating characteristic curve, AUROC)选择主要模型族。性能评估包括bootstrap 95%置信区间(confidence interval, CI)、校准、决策曲线分析(decision curve analysis, DCA)和SHAP(SHapley Additive exPlanations)。结果:保留九项预测因子:急性肾损伤(acute kidney injury, AKI)、2型糖尿病(type 2 diabetes mellitus, T2DM)、呼吸频率、乳酸、肌酐、血尿素氮(blood urea nitrogen, BUN)、丙氨酸氨基转移酶(alanine aminotransferase, ALT)、序贯器官衰竭评估(Sequential Organ Failure Assessment, SOFA)和简化急性生理评分II(Simplified Acute Physiology Score II, SAPS II)。按训练交叉验证模型选择规则,Stacking(堆叠集成)排名第一(平均交叉验证AUROC=0.690)。内部验证AUROC为0.742(95% CI 0.690–0.791),外部验证为0.633(0.546–0.718)。在锁定阈值下,外部敏感度为0.750、特异度为0.441。外部Brier评分为0.287,高于仅患病率零模型的Brier评分0.237(scaled Brier=-0.212)。单独SOFA显示相似的外部区分度(AUROC=0.646)且Brier评分更低(0.226),提示该集成模型较简单基准无明确外部优势。跨数据库标准化均数差(standardized mean difference, SMD)显示显著分布迁移。结论:由训练集选择的Stacking模型显示中等内部区分度,但外部区分度和概率校准有限,较简单基准无明确外部优势。该模型应视为研究性,需前瞻性评估及站点特异性验证或重校准。
研究背景与问题:心源性休克(CS)与脓毒症共存构成严重混合血流动力学表型,心输出量受损、血管扩张、微循环功能障碍和全身炎症可共存并加速多器官损伤;老年人因生理储备下降和年龄相关免疫变化更易失代偿。现有CardShock、SOFA等评分虽有用,但主要在CS、脓毒症或一般重症人群中开发,并非专门针对老年CS合并脓毒症患者。机器学习(ML)可建模常规临床变量间的非线性关系和交互,但跨数据集性能可因病例组合变化而显著波动,临床价值依赖透明开发、校准和独立验证,不能仅凭区分度。因此研究人员利用两个大型重症数据库,开发并外部验证可解释ML模型,预测年龄≥65岁合并CS和脓毒症患者的ICU死亡风险,并强调防泄漏预处理、训练集内特征选择和调参、训练集内模型族选择、不确定性估计、校准及跨数据库可运输性评估。研究结论显示,Stacking模型内部区分度中等,但外部区分度和校准有限,较简单基准无明确外部优势;其意义不在于已可部署,而在于识别可重复风险成分并揭示跨数据库运输限制,需前瞻性、站点特异性验证和可能的局部重校准。
关键技术方法:研究人员采用回顾性双数据库队列,来源为MIMIC-IV v3.1(n=1,219)和eICU-CRD v2.0(n=166),纳入年龄≥65岁伴CS和脓毒症患者;MIMIC-IV按70:30分层为训练(n=853)和内部验证(n=366),eICU-CRD仅作外部验证。训练队列以Boruta与LASSO交集筛选特征,十种监督学习模型经分层5折交叉验证和AUROC调参,并按训练交叉验证AUROC最高者锁定主要模型族;分类阈值由训练集折外预测的Youden J确定并锁定;评估采用bootstrap 95%CI、校准、Brier评分、DCA和SHAP;外部验证不参与特征选择、调参和模型族选择。
研究结果:3.1 基线特征:两数据库共纳入1,385例,885例(63.90%)存活、500例(36.10%)于ICU死亡;非存活者AKI、T2DM比例及乳酸、肌酐、BUN、ALT、SOFA、SAPS II较高。MIMIC-IV最终队列1,219例(436例ICU死亡,35.77%),训练集853例(305例死亡,35.76%)、内部验证366例(131例死亡,35.79%);eICU-CRD外部验证166例(64例死亡,38.55%)。训练与外部队列多个SMD提示显著分布迁移,包括HLD(1.224)、SAPS II(1.146)、机械通气(0.824)、CHF(0.604)、T2DM(0.594)和SOFA(0.570),去甲肾上腺素使用SMD为0.238;eICU中T2DM和HLD记录患病率较低,且合并症编码代表有记录病史而非确诊无病,不能排除记录不足。3.2 特征选择:Boruta保留11项、LASSO保留19项,交集为9项预测因子:AKI、T2DM、呼吸频率、乳酸、肌酐、BUN、ALT、SOFA、SAPS II;所有方差膨胀因子<2.0、容忍度>0.52,肌酐与BUN相关性最高(rho=0.735),SOFA与SAPS II中度相关(rho=0.622,P<0.001),对应方差膨胀因子分别为1.896和1.910,未支持删除变量。3.3 模型性能:Stacking以训练5折交叉验证平均AUROC=0.6898排名第一,其后为CatBoost(0.6867)和KNN(0.6847);训练折外预测确定的阈值为0.5682并锁定。内部验证AUROC=0.742(95%CI 0.690–0.791)、AUPRC=0.617(0.534–0.707),敏感度0.573、特异度0.821、Brier=0.210(零模型0.230,scaled Brier=0.085),校准截距/斜率=-0.645/1.428;外部验证AUROC=0.633(0.546–0.718)、AUPRC=0.588(0.464–0.701),敏感度0.750、特异度0.441、Brier=0.287(零模型0.237,scaled Brier=-0.212),校准截距/斜率=-0.848/0.646,提示外部概率预测不如仅患病率预测。DCA示内部有阈值依赖净获益,外部在较高阈值范围约0.39–0.80净获益为负。验证未用于重排模型族;多重比较后多数AUROC差异不显著,外部Stacking与CatBoost差值为0.046(95%CI 0.017–0.075;Holm和Bonferroni校正P=0.018),其余外部比较不显著。基准分析显示内部9变量logistic回归、SAPS II单独、SOFA单独AUROC分别为0.733、0.717、0.626,外部分别为0.640、0.582、0.646;外部Brier分别为0.265、0.280、0.226,Stacking为0.287;SOFA单独外部Brier最低,logistic回归和SOFA外部区分度与Stacking相似。eICU中SAPS II组件完整子集(n=156)结果相似:Stacking AUROC/Brier=0.637/0.288,logistic回归=0.642/0.267,SAPS II单独=0.595/0.279,SOFA单独=0.633/0.229。3.4 模型可解释性:在MIMIC-IV内部验证队列,全局SHAP显示SAPS II最重要,其次为SOFA、T2DM、AKI、乳酸、呼吸频率、BUN、肌酐和ALT;局部解释展示代表性正确分类的高风险非存活和低风险存活病例中预测因子的联合贡献,SHAP归因为模型条件性贡献,非因果效应。依赖图显示较高SAPS II、SOFA、乳酸和呼吸频率通常对应更正向的模型归因贡献,T2DM和AKI呈有无之间的离散变化;乳酸模式近似单调、无明确视觉拐点,未被解释为临床阈值;ALT全局重要性最低,高值呈尾部敏感的反向条件归因,补充分析未将其解释为保护作用。
讨论与结论:讨论指出,该研究的主要启示不是模型已可部署,而是其捕捉了可重复风险成分,同时显示跨数据库运输性受限;外部性能衰减需结合病例定义、预测因子可及性和验证设计差异理解,MIMIC-IV与eICU队列因多个合并症、严重度评分和治疗变量SMD较大而不可互换。Stacking因训练交叉验证AUROC最高被保留,并非因验证优越;九个基学习器预测高度相关(平均两两Spearman相关训练折外0.856、内部0.889、外部0.880),集成多样性有限,且未见明确外部增量益处。SHAP宜按临床域解释:SAPS II和SOFA代表疾病严重度,乳酸和呼吸频率反映急性生理紊乱与低灌注,AKI、BUN和肌酐反映肾脏及全身器官功能障碍;乳酸无离散阈值,T2DM为预测归因而非因果,ALT高值反向归因不提示保护。校准进一步限制临床应用:外部Brier高于零模型,平均预测风险0.622而观察死亡率0.386,校准截距-0.848、斜率0.646,提示系统高估;训练折外和内部验证亦呈负校准截距,平衡类权重可能贡献概率偏移,但跨数据库病例组合变化亦可能参与且无法隔离;验证队列未行事后重校准以保持锁定验证目标。未来可在电子健康记录中嵌入模型,在足够第一日变量可用后计算风险并展示局部SHAP以支持临床复核、监测和血流动力学再评估,而非触发自主治疗。局限性包括回顾性设计和编码变量偏倚、外部验证样本小(166例、64例死亡)低于约100事件基准、脓毒症操作化依赖绝对SOFA标准而无感染前基线、eICU未用培养时间、无合并症记录按无病史处理可能低估、BNP/NT-proBNP等因缺失超过35%被排除、主要流程使用单一固定插补数据集未传播插补不确定性、仅用首个合格ICU episode和第一日信息、衰弱和功能认知及长期结局未统一。研究结论翻译:由仅训练集交叉验证规则选择的九预测因子Stacking模型在MIMIC-IV内部验证中显示中等区分度,但在eICU-CRD外部验证中区分度和校准更有限。外部概率预测差于仅患病率零模型,且该集成模型较九预测因子logistic回归或单独SOFA无明确外部优势。SHAP分析提供了透明的模型归因信息,但这些模式不应解释为因果效应或已验证的临床阈值。该模型仍为研究性,临床使用前需前瞻性、站点特异性验证及可能的局部重校准。