《Frontiers in Cardiovascular Medicine》:Explainable machine learning for predicting in-hospital mortality in acute heart failure: a prospective single-center cohort study from Vietnam
编辑推荐:
背景:准确的危险分层对急性心力衰竭(acute heart failure, AHF)至关重要,因其住院死亡率较高。Get With The Guidelines–Heart Failure(GWTG-HF)评分应用广泛,但其性能可能因人群而异,且来自东南亚的
背景:准确的危险分层对急性心力衰竭(acute heart failure, AHF)至关重要,因其住院死亡率较高。Get With The Guidelines–Heart Failure(GWTG-HF)评分应用广泛,但其性能可能因人群而异,且来自东南亚的前瞻性数据稀缺。研究人员在越南AHF队列中开发并内部验证了可解释机器学习(machine learning, ML)模型用于预测住院死亡,并与GWTG-HF评分进行比较。方法:研究人员前瞻性纳入572例连续因AHF入院患者(2024年10月至2025年6月)。缺失数据采用基于随机森林(random forest)的算法插补,类别不平衡在训练折内用合成少数类过采样技术(synthetic minority over-sampling technique, SMOTE)处理。六种算法(逻辑回归(logistic regression)、弹性网(elastic net)、随机森林、XGBoost、LightGBM、CatBoost)采用分层交叉验证训练,并进行乐观校正,在独立25%测试集上评估。研究人员评估区分度(受试者工作特征曲线下面积(ROC-AUC)、精确率-召回率曲线下面积(PR-AUC))、校准(校准斜率/截距、Brier评分和缩放Brier评分)、分类性能及临床效用(决策曲线分析(decision-curve analysis));阈值仅由训练数据推导。成对AUC比较采用DeLong检验,解释采用SHAP(SHapley Additive exPlanations)。报告遵循TRIPOD + AI。结果:53例患者(9.3%)住院死亡。随机森林区分度最高(AUC 0.846,95% CI 0.757–0.922),其次为GWTG-HF评分(0.817)、逻辑回归(0.795)、弹性网(0.794)、CatBoost(0.786)、XGBoost(0.763)和LightGBM(0.694)。没有ML模型显著优于GWTG-HF评分(所有DeLong检验p > 0.05),该比较受仅13例测试集事件限制。尽管CatBoost的Brier评分数值最低(0.085),所有模型的缩放Brier评分均较低,校准截距均为负,表明激进的不平衡校正导致风险高估;因此预测概率需要重新校准。SHAP识别出呼吸衰竭、N末端B型利钠肽原(N-terminal pro–B-type natriuretic peptide, NT-proBNP)、高敏肌钙蛋白I(high-sensitivity troponin I)(风险增加)以及急性失代偿性心力衰竭(acute decompensated heart failure, ADHF)表型和左心室扩张(left ventricular dilation)(与较低预测风险相关)为最具影响力的特征。结论:以随机森林为首的可解释ML取得良好区分度,但未显著优于GWTG-HF评分,最可能反映统计效能有限而非真实等效。由于概率校准不良并需重新校准,可解释ML最好被视为补充性风险排序工具;在临床使用前需要外部、多中心和时间验证。
研究背景与问题:心力衰竭是一种复杂临床综合征,全球影响超过6000万人,急性心力衰竭(acute heart failure, AHF)是计划外住院的重要原因,在高收入国家约占全部入院的1%–2%,尽管诊疗进步,住院死亡率仍达4%–10%。亚洲登记数据显示,东南亚患者一年死亡率高于其他亚洲地区,提示疾病谱和结局存在区域差异,因此早期准确危险分层对监测强度和治疗决策十分重要。现有工具包括来自ADHERE注册的分类回归树模型和广泛应用的Get With The Guidelines–Heart Failure(GWTG-HF)评分等。多数模型基于传统逻辑回归(logistic regression),假定预测因子与结局间为加性且大体线性关系,可能难以捕捉临床数据中的复杂交互和非线性模式;部分人群中现有评分区分度仅中等,限制跨环境泛化。机器学习(machine learning, ML)可处理高维数据并学习非线性关系和高阶交互,在心血管医学中应用扩展,但其相对逻辑回归的优势并非普遍:系统综述在低偏倚风险研究中未发现一致性能获益。作者提出三个缺口:现有多数ML研究来自行政数据库、重症监护队列或大型回顾性注册,可能不反映真实世界AHF住院患者谱;低收入和中等收入国家尤其东南亚的前瞻性证据稀缺,疾病谱、医疗组织和治疗实践差异可能影响模型性能和泛化;模型透明性担忧限制临床实施,解释个体预测因子贡献被视为可信和临床可用系统的前提。因此,本研究主要贡献不是方法学进步,而是在代表性不足的东南亚人群中开展前瞻性、真实世界区域验证,并将可解释ML与既有临床评分进行头对头比较;目标为开发并内部验证多个ML模型预测住院死亡、以GWTG-HF评分为基准比较区分度/校准/临床效用、通过SHAP(SHapley Additive exPlanations;基于Shapley值的模型解释方法)提高可解释性,并按TRIPOD + AI报告。
研究开展、结论与意义:研究人员在越南南部三级转诊中心Cho Ray医院心内科开展前瞻性观察队列研究,2024年10月至2025年6月连续纳入572例按2021年欧洲心脏病学会标准诊断的AHF住院患者,以入院为预测时点,主要终点为指数住院期间全因住院死亡。数据按75%训练集(n = 429)和25%独立测试集(n = 143)分层划分,六种算法经分层交叉验证、乐观校正和独立测试集评价,并与GWTG-HF评分比较,采用SHAP解释随机森林模型。结论显示,随机森林在测试集取得最高AUC 0.846(95% CI 0.757–0.922),GWTG-HF评分为0.817,但没有任何ML模型显著优于GWTG-HF评分;仅13例测试集事件使比较效能不足,因此不能解释为等效。所有模型预测概率校准不良,需重新校准,模型更适合作为风险排序工具;方向分辨的SHAP分析提供临床一致解释。其意义在于,在东南亚AHF前瞻性队列中评估可解释ML与成熟评分的相对表现,强调除区分度外还需报告校准和临床效用,并为后续外部、多中心和时间验证提供依据。
关键技术方法(不超过250字):本研究来源为越南Cho Ray医院心内科2024年10月至2025年6月连续纳入的572例AHF前瞻性单中心队列,以入院为预测时点。按住院死亡分层分为75%训练集和25%独立测试集;缺失值用随机森林迭代插补,SMOTE(synthetic minority over-sampling technique;合成少数类过采样技术)仅在训练折内处理不平衡。六种算法(逻辑回归、弹性网、随机森林、XGBoost、LightGBM、CatBoost)经分层交叉验证、重复交叉验证和bootstrap乐观校正,阈值仅由训练数据推导;评价指标包括ROC-AUC(receiver operating characteristic area under the curve;受试者工作特征曲线下面积)、PR-AUC(precision–recall area under the curve;精确率-召回率曲线下面积)、校准斜率/截距、Brier评分、缩放Brier评分和决策曲线分析(decision-curve analysis, DCA),并用SHAP解释最佳模型,报告遵循TRIPOD + AI。
研究结果:
3.1 研究人群:通过前瞻性队列的基线描述和存活者与死亡者比较,572例AHF患者中53例(9.3%)住院死亡;死亡者更常出现心源性休克、呼吸衰竭和急性冠脉综合征,白细胞计数、血尿素氮(blood urea nitrogen, BUN)、肌酐、NT-proBNP(N-terminal pro–B-type natriuretic peptide;N末端B型利钠肽原)、高敏肌钙蛋白I和转氨酶更高,收缩压和舒张压更低(均p < 0.05);ADHF(acute decompensated heart failure;急性失代偿性心力衰竭)表现在非存活者中明显更少(24.5% vs. 69.7%,p < 0.001),反映死亡病例中新发和休克表现比例更高。
3.2 候选预测因子与有效样本量:通过缺失值处理、编码、相关性和方差膨胀因子检查,31个候选预测因子进入模型,事件数53例,EPV(events per variable;每个变量对应的事件数)约1.7(开发集1.3),低于常规阈值;多重共线性有限,但低EPV限制稳定性,因此优先采用简约、正则化和浅层树模型,并应用乐观校正。
3.3 模型性能:3.3.1 区分度:通过独立测试集ROC-AUC、PR-AUC及DeLong检验,随机森林AUC最高(0.846,95% CI 0.757–0.922),GWTG-HF评分为0.817,逻辑回归0.795、弹性网0.794、CatBoost 0.786、XGBoost 0.763、LightGBM 0.694;随机森林PR-AUC为0.31,乐观校正AUC为0.81;GWTG-HF与任何ML模型间DeLong检验均无统计学显著差异(均p > 0.05),但仅13例测试集事件使比较效能不足,非显著性应视为不确定而非等效证据。3.3.2 分类性能:通过仅由训练数据推导阈值并在测试集应用,随机森林分类最平衡(敏感度84.6%、特异度70.8%、准确率72.0%、F
2 0.545),XGBoost准确率最高(74.1%)且特异度73.8%、敏感度76.9%;GWTG-HF评分在阈值下敏感度92.3%、特异度67.7%、精确率0.222、阴性预测值0.989、F
1 0.358、F
2 0.566、准确率0.699;测试集仅13例死亡,所有模型精确率低,点估计置信区间宽。3.3.3 校准:通过校准图、校准斜率/截距、Brier评分和缩放Brier评分,CatBoost的Brier评分数值最低(0.085),随机森林校准斜率最接近1(1.087),但所有模型缩放Brier评分低或为负,校准截距均为负(?1.00至?1.91),提示系统性风险高估和概率准确性有限,是激进不平衡校正的预期后果;不平衡敏感性分析显示减少过度校正和事后重校准可改善校准截距与缩放Brier评分而区分度基本不变;GWTG-HF评分校准为Brier 0.073、缩放Brier +0.117、斜率1.633、截距?0.095。结论为模型可提供风险排序,但预测概率在个体决策前需重校准。3.3.4 临床效用(决策曲线分析):通过决策曲线分析,在约0.05–0.30的高危识别相关阈值范围内,随机森林和GWTG-HF评分净获益均高于全治和全不治策略,GWTG-HF评分在多数范围内净获益最高,提示其临床效用稳健。
3.4 模型可解释性(SHAP):通过对随机森林的SHAP分析,最具影响力的特征依次为ADHF表型、呼吸衰竭、NT-proBNP、高敏肌钙蛋白I和左心室扩张,随后为天冬氨酸氨基转移酶(aspartate aminotransferase, AST)、舒张压、BUN、心源性休克和白细胞计数;方向分析显示,较高NT-proBNP、较高肌钙蛋白I、呼吸衰竭和心源性休克增加预测死亡概率,而ADHF表型和左心室扩张与较低预测死亡概率相关;该方向与描述性数据一致,反映新发和休克表现相对慢性心衰失代偿更具致命性,模型总体依赖急性血流动力学失代偿、心肌损伤、淤血和终末器官功能障碍相关变量。
讨论总结与结论翻译:讨论总结指出,该前瞻性队列开发并评价六种ML模型并与GWTG-HF评分比较,得到三点发现:ML模型区分度良好,随机森林AUC最高;没有ML模型显著优于GWTG-HF评分,且仅13例测试集事件提示统计效能有限而非证明等效;预测概率因激进不平衡校正而校准不良,模型应视为待重校准的风险排序工具,SHAP提供方向明确且临床一致的解释。随机森林在本较小前瞻性队列中较稳定,而XGBoost在大型ICU-based AHF队列中常为最佳(Li et al.和Tanaka et al.报告AUC分别为0.821和0.816);GWTG-HF评分表现稳健,与Christodoulou et al.系统综述一致,即ML相对逻辑回归无一致获益。SHAP识别的是模型学习到的关联而非因果决定因素;ML模型除生命体征和肾功能外整合急性表现和生物标志物。实施前需前瞻性外部和时间验证、重校准及持续校准监测、计算与推断需求、数据可用性和临床可用性、监管治理等。优势包括前瞻设计、完整结局确认、防止插补和过采样泄漏、预设预测时点、综合区分度/校准/临床效用评价和TRIPOD + AI报告;局限包括事件数少(总53例,开发集约40例,测试集13例)、EPV低、内部验证不能替代外部验证、概率需重校准、将全部患者按非Black计算GWTG-HF限制多族裔可移植性,且贡献为区域临床验证而非方法学突破。研究结论翻译:在越南前瞻性AHF队列中,以随机森林为首的可解释ML取得良好区分度,与GWTG-HF评分相当但未显著更好,最可能反映统计效能有限而非真实等效。预测概率校准不良并需重新校准,因此模型最好被视为补充性风险排序工具。方向分辨的SHAP分析提供透明、临床一致的解读,突出急性表现、先进生物标志物和超声心动图参数。在可解释ML被推荐用于AHF常规个体化风险分层前,需要更大规模的多中心研究,并进行外部和时间验证、重校准及前瞻性影响评价。