《Medicina Intensiva (English Edition)》:Toward transparent clinical decision support in the ICU: A multi-window, model-agnostic explainability approach for 72-h mortality prediction using the eICU collaborative research database
编辑推荐:
本研究构建多模型框架预测ICU患者72小时死亡率,采用随机森林等机器学习模型,通过整合人口统计学、临床及生化等多时间窗口数据,F1分数达0.93。提出模型无关概率可解释性方法,揭示变量对死亡概率的层级影响。该方法显著提升预测精度并增强临床决策透明度。
丹尼尔·加拉尔多·戈麦斯(Daniel Gallardo Gómez)| 萨拉·迪亚兹(Sara Díaz)| 哈维尔·昆特罗·索萨(Javier Quintero Sosa)| 克劳迪娅·希门尼斯·巴斯克斯(Claudia Jiménez Vázquez)| 阿尔瓦罗·里托雷-伊达尔戈(álvaro Ritoré-Hidalgo)| 安东尼奥·古铁雷斯-皮扎雷亚(Antonio Gutiérrez-Pizarraya)| 米格尔·安赫尔·阿门戈尔·德拉奥兹(Miguel ángel Armengol de la Hoz)| 玛丽亚·雷库埃尔达·努涅斯(María Recuerda Nú?ez)| 安赫尔·埃斯特拉(ángel Estella)
健康技术评估领域(AETSA),进步与健康公共基金会(FPS),西班牙塞维利亚
摘要
目的
本研究有两个主要目标:(1)开发一个多模型框架,用于预测患者入住重症监护室(ICU)后72小时内的死亡率;(2)引入一种与模型无关的可解释性方法,以实现预测概率的变量级解读。
设计
采用多模型机器学习方法进行回顾性研究,分析多个时间窗口的数据,并结合人口统计、临床和生化变量。
患者或参与者
纳入研究的是16岁以上、在2014年和2015年入住ICU且入住后72小时内数据齐全的患者。共有106,449名患者被纳入分析。
干预措施
未施加任何临床干预;这是一项用于预测模型开发和评估的回顾性分析。
主要研究变量
在多个时间窗口收集的人口统计、临床和生化变量。
结果
共纳入106,449名患者(平均年龄62.6岁,46%为女性),总体72小时死亡率为4.8%。随机森林模型在预测性能指标方面表现最佳,三个时间窗口的F1分数分别为0.93(95%置信区间0.93至0.94)、0.92(95%置信区间0.92至0.93)和0.83(95%置信区间0.83至0.85)。基于这些指标以及预测结果的生物学合理性,选择了随机森林模型。
结论
所提出的多模型方法显著提高了72小时ICU死亡率的预测准确性。此外,我们提出了一种与模型无关的可解释性策略,用于变量级解读预测概率,这有助于提高透明度并支持未来在临床决策支持中的应用。
引言
关于重症监护室(ICU)的入院和继续住院的决定往往是在数据不完整和生理状况快速变化的背景下做出的。1, 2, 3 传统的严重程度评分(如APACHE、SAPS)可以描述群体水平的情况,但可靠性和个体水平的预后预测能力有限,尤其是在入院前后临床状况可能迅速变化的时期。4, 5, 6, 7, 8
早期ICU死亡是一种具有明显临床特征的严重疾病类型,尽管采取了及时治疗,但仍然无法稳定患者的病情;延迟或早期应对不当会对结果和不良事件产生重大影响:患者需承担额外费用(超出侵入性治疗的风险)、家属探视受限、医疗相关感染风险增加、可能需要患者镇静、经济成本增加以及ICU资源被过度消耗。9 有证据表明早期死亡的发生率很高:在特定疾病群体中(例如社区获得性脓毒症休克),约56%的ICU死亡发生在入院后72小时内10;在一个包含600多名患者的社区获得性脓毒症休克队列中,死亡率为14.4%11;在一个包含6500多名患者的9年ICU队列中,42.8%的患者在入住ICU后的前5天内死亡12。在我们的eICU队列中,4.82%的患者在72小时内死亡。这些数据表明72小时是一个关键的评估和决策时期。
我们研究了三个逐步扩展的入院前后时间窗口:A(入院前24小时至入院)、B(入院前24小时至入院后24小时)和C(入院前24小时至入院后48小时)。这些窗口反映了ICU工作流程中的实际检查点——A用于入院评估,B和C用于决定是否继续住院。2, 3 尽管B和C时间窗口更接近结果,但它们涉及的不同临床决策(如是否继续在ICU治疗)与A窗口不同。这种划分方式通过将每个模型与特定的决策点对应起来,减轻了关于预测结果接近性的担忧。
利用日益丰富的公开医疗数据集,我们开发了一个多模型框架,该框架利用常规收集的人口统计、临床和生化变量来预测72小时死亡率,推动了数据驱动的临床知识的发展13, 14, 15, 16,并引入了一种与模型无关的概率基可解释性方法,实现了不同分类器之间的变量级解读标准化17, 18。这项工作是朝着开发透明且具有时间感知能力的临床决策支持系统迈出的方法论步骤,而非一个可以直接应用的系统。
章节摘录
患者与方法
回顾性数据来自eICU合作研究数据库,这是一个用于重症监护研究的免费多中心数据库19。该数据库汇集了来自美国大陆208家医院335个重症监护单元的数据。这些数据涵盖了2014年和2015年入住重症监护单元的患者信息。
结果
如2.1小节所述,我们纳入了106,449名来自eICU数据库的ICU患者(平均年龄62.65岁,标准差17.43岁),其中49,148名(46.20%)为女性,大多数患者自认为是白人(77%)。在研究人群中,有5,126名患者在ICU入住后72小时内死亡(死亡率为4.82%)。我们分析了关于恒定变量(即社会人口统计和临床历史数据)以及随时间变化的变量(即在数据中随时间变化的变量)的信息。
讨论
本研究的主要目标之一是开发一个能够根据不同时间数据配置估计早期ICU死亡风险的多模型框架。虽然表现最好的模型(模型C)依赖于接近结果的信息,因此不能被视为独立的临床决策工具,但这项工作代表了方法论上的贡献。具体来说,它为开发透明且具有时间感知能力的解决方案迈出了第一步。
结论
除了预测患者的死亡率外,我们的与模型无关的可解释性方法还报告了每个预测因子在个体层面的相对贡献和影响方向,从而提高了透明度和临床可解释性。这些结果应被视为方法论上的见解,而非可以直接使用的决策辅助工具。在实际应用之前,还需要进行时间上的外部验证、前瞻性影响评估以及与临床专家的整合。
伦理批准
由于研究采用回顾性设计、无需直接干预患者,并且采用了安全机制(由独立隐私专家Privacert,马萨诸塞州剑桥市认证,符合《健康保险可移植性和责任法案》标准1031219-2),eICU数据库无需机构审查委员会的批准。对去标识化的公开数据(如eICU数据库中的数据)进行分析时无需此类批准。
CRediT作者贡献声明
D.G.G.和S.D.在研究设计、数据分析和论文撰写方面贡献均等。J.Q.S.和C.J.V.协助模型训练和解释工作。á.R.实现了可解释性框架的实现。A.G.P.提供了临床验证。M.A.A.H.负责方法论设计,监督模型开发并协调整个研究。M.R.N.和á.E.监督了临床方面并参与了解释工作。
所有作者均审阅并批准了最终稿件。
关于写作过程中使用生成式AI和AI辅助技术的声明
在相应作者的监督下,使用ChatGPT 4.0版本(OpenAI)协助论文的撰写和修改,包括语言编辑和结构建议。科学分析或模型开发的任何部分均未使用生成式AI完成。
致谢
感谢麻省理工学院计算生理学实验室和Phillips公司在数据开放性和通过eICU开展合作方面所提供的支持。