《Neurocritical Care》:Artificial Intelligence for Early Prediction of Intracranial Hypertension: From Single-Centre Development to Multicentre Validation
编辑推荐:
背景:颅内压升高是创伤性脑损伤后最严重的继发性损伤之一。在生理模式进展为危险的颅内压升高之前识别这些模式,可使干预措施从反应性转向预防性。研究人员此前在乌普萨拉单中心研究中,一个XGBoost机器学习模型在预测即将发生的颅内压损伤方面表现出高判别性能。该模型识
背景:颅内压升高是创伤性脑损伤后最严重的继发性损伤之一。在生理模式进展为危险的颅内压升高之前识别这些模式,可使干预措施从反应性转向预防性。研究人员此前在乌普萨拉单中心研究中,一个XGBoost机器学习模型在预测即将发生的颅内压损伤方面表现出高判别性能。该模型识别与即将发生的阈值跨越相关的短期生理轨迹,而非预测独立的未来临床事件。这些结果是否能在各中心间推广尚不清楚。因此,本研究旨在评估在乌普萨拉数据集上训练的XGBoost模型应用于多中心TBI队列——CENTER-TBI高分辨率ICU队列时,是否能保持相似性能。
方法:在乌普萨拉高频创伤性脑损伤队列上训练的XGBoost模型,使用来自多中心CENTER-TBI队列的数据进行外部验证。基于4小时历史窗口,利用颅内压和有创动脉血压的分钟级平均值预测30分钟内颅内压损伤的发生。采用双向验证设计,并使用多种指标评估性能。
结果:队列包括来自乌普萨拉的602名患者和来自CENTER-TBI数据库的255名患者。当在乌普萨拉队列上训练并在CENTER-TBI上测试时,模型的受试者工作特征曲线下面积(AUROC)达到97.4%,灵敏度为93.8%,特异度为98.6%。在CENTER-TBI上训练并在乌普萨拉数据集上测试时,AUROC为96.1%,灵敏度为81.2%,特异度为98.7%。两种验证方向的平衡准确率均超过88%。
结论:XGBoost模型在多中心外部验证下保持了高性能,表明颅内压升高前的损伤前生理模式在各队列间是共有的。观察到的不同验证方向之间的灵敏度差异可能反映了队列特征或数据集大小的差异。这些发现支持在临床实施前需要进行局部评估。
论文解读:基于XGBoost的颅内高压早期预测模型——从单中心开发到多中心外部验证
一、研究背景与意义
创伤性脑损伤(TBI)是全球范围内导致死亡和残疾的重要原因之一。在重症神经监护(NIC)中,预防继发性损伤是首要治疗目标。在所有继发性临床损伤中,颅内压(ICP)升高是最严重的一种,如不及时处理可能导致脑缺血甚至全脑梗死。持续监测ICP可实现对升高的数值进行早期治疗,但识别危险ICP升高前的生理模式仍具挑战。若能识别此类模式,可在ICP损伤发生前发出预警,从而加强监测、进一步评估并在适当时进行干预,有可能阻止损伤的发生。
研究人员此前在乌普萨拉高频TBI(UHF-TBI)数据集上训练了四种机器学习(ML)模型,用于30分钟内即将发生的ICP损伤的短期预测。其中,极端梯度提升(XGBoost)模型仅使用ICP和动脉血压(ABP)数据即实现了高判别性能,其结合了强准确性、适度计算需求和易获取性,使其成为有吸引力的临床应用ML模型。然而,这些结果来自单中心数据集,可能不具备泛化性。欧洲合作神经创伤有效性研究(CENTER-TBI)项目为在多中心数据集上进行外部验证提供了理想机会。外部验证可以揭示在乌普萨拉数据上训练的模型应用于其他医院治疗的患者时是否表现相似,这是理解模型泛化能力和基于AI的早期预警系统在真实临床环境中可行性的关键一步。因此,本研究的目的是评估在UHF-TBI数据集上训练的XGBoost模型应用于CENTER-TBI数据集时是否保持相似性能。
二、关键技术方法
研究人员采用了双向验证设计。模型训练在一个完整队列的数据集上进行,使用五折交叉验证进行超参数调优,超参数调优过程中,在UHF-TBI中按年份分组折叠,在CENTER-TBI中按中心分组折叠。优化后的模型在外部队列上进行评估。数据预处理方面,对来自Uppsala大学医院NIC单元(2008-2019年)的602名患者组成的UHF-TBI数据集,以及来自21个中心、2014-2017年间符合纳入标准的255名患者组成的CENTER-TBI数据集,将原始高频监测数据降采样至分钟级平均值,并纳入缺失指示器。所有分析使用Python 3.10和3.12以及XGBoost包(版本1.7)完成。
三、研究结果
基线特征比较: 两个队列在年龄和性别分布上相似,男性占主导(CENTER-TBI为79%,UHF-TBI为78%)。入院格拉斯哥昏迷评分(GCS)总分在CENTER-TBI队列中位数为5分,在UHF-TBI队列中位数为7分,差异显著。抗凝药物使用率在UHF-TBI队列为4%,在CENTER-TBI队列为16%,差异同样显著。
ICP损伤发生率: 根据定义,ICP损伤在CENTER-TBI数据集的30分钟预测窗口中占16.8%,在UHF-TBI数据集中占6.4%,差异显著。
模型性能指标: 当在UHF-TBI上训练并在CENTER-TBI上测试时,模型AUROC达97.4%,灵敏度93.8%,特异度98.6%。当在CENTER-TBI上训练并在UHF-TBI上测试时,AUROC为96.1%,灵敏度81.2%,特异度98.7%。两种验证方向的平衡准确率分别为90.9%和88.6%。两种验证方向下,准确率均超过88%,而F1分数低于0.7,阳性预测值(PPV)范围为58%至70%。
四、讨论与结论
讨论部分指出,本研究对先前在单中心队列中表现良好的XGBoost模型进行了外部验证。总体而言,研究结果支持模型的外部有效性,但也显示性能可能在队列间存在差异。模型识别的是与即将发生的阈值跨越相关的短期生理轨迹,而非预测独立的未来临床事件。
关于ICP损伤的定义和发生率,研究采用了一致的持续性阈值标准。CENTER-TBI数据集中ICP损伤比例更高。虽然不同中心的局部阈值和对ICP升高的临床反应可能存在差异,但统一的回顾性定义不太可能影响回顾性性能估计,但可能影响模型在临床实践中的行为,表明需要进行局部评估和必要时重新训练。
关于队列间的外部验证,模型性能因外部验证方向而异。两种验证方向的AUROC均保持在96%以上,支持模型的整体泛化能力,表明损伤前生理模式至少在部分程度上是跨队列共享的。然而,一个验证方向上较低的灵敏度表明存在一定的域偏移,即生理模式与即将到来的ICP损伤之间的关系可能在不同队列间存在差异。
关于类别不平衡和患病率依赖的指标,ICP损伤不常见导致类别不平衡,特别是在UHF-TBI队列中。由于两个队列的类别不平衡程度显著不同,PPV、准确率和F1分数等指标必须谨慎解读。
关于局部阈值设定和临床实施,在临床使用前应在当地评估决策阈值。高灵敏度的阈值可能对早期预警有用,但也可能增加假警报数量,而较高阈值可能减少警报负担但代价是漏掉更多真正的ICP损伤。未来在实时部署研究中需评估临床效用、警报负担和用户响应。
关于方法论考虑和未来工作,研究结果凸显了泛化性与局部优化之间的平衡。未来工作应评估自适应策略,包括站点特异性再训练或迁移学习的使用。包含治疗变量的未来研究可能改善预测性能并有助于理解潜在病理生理学。此外,对正在进行的ICP损伤期间和无活跃损伤期间的时段进行单独分析,可能有助于阐明模型在不同生理状态下的稳定性。
局限性方面,特征集仅限于生理数据,未纳入基线变量和治疗变量。监测实践和数据完整性的差异可能影响了结果。排除不完整记录可能引入了选择偏倚。此外,时间窗水平上ICP损伤的低流行率限制了亚组分析的统计效能。
结论翻译: 基于生理数据训练的XGBoost模型在多中心数据集的外部验证下,对ICP损伤的早期预测保持了强大的判别能力。模型性能在队列间保持高水平,支持NIC中存在共享的损伤前生理模式,尽管灵敏度随验证方向而变化。这些发现强调了在临床实施前进行局部评估的重要性,包括在预期患者群体、数据采集流程、损伤患病率和临床工作流中评估模型性能,并在需要时进行局部再训练。