《Scientific Reports》:Evaluating the generalisability of LiSep LSTM for early prediction of septic shock across US and european cohorts
编辑推荐:
脓毒症仍然是一个重大的公共卫生问题,且与高死亡率相关。早期检测和及时干预对于改善预后至关重要,但尚未有标准化方法被普遍采用。LiSep LSTM模型是一种利用MIMIC-III数据库开发的长短期记忆(Long Short-Term Memory, LSTM)神
脓毒症仍然是一个重大的公共卫生问题,且与高死亡率相关。早期检测和及时干预对于改善预后至关重要,但尚未有标准化方法被普遍采用。LiSep LSTM模型是一种利用MIMIC-III数据库开发的长短期记忆(Long Short-Term Memory, LSTM)神经网络,已显示出有前景的预测性能,但其跨地区的泛化性尚未被探索。本研究在来自AmsterdamUMC(Amsterdam University Medical Centers, AUMC)数据库的独立欧洲队列中评估了LiSep LSTM模型。研究人员使用内部、外部和合并验证来评估模型性能,以检查跨队列的分布偏移和数据异质性的影响。进一步应用排列特征重要性(Permutation Feature Importance, PFI)来量化每个特征在不同评估设置中对模型性能的贡献。在AUMC队列上进行测试时,模型实现的受试者工作特征曲线下面积(Area Under the Receiver Operating Characteristic Curve, AUROC)为0.8851(95%置信区间[confidence interval, CI] 0.8612–0.909),中位发作前时间(Hours Before Onset, HBO)为47.0小时(四分位距[interquartile range, IQR]:16.0–255.0),略优于其在MIMIC-III上的表现。外部验证显示校准和召回率降低,而合并训练相对于仅外部评估提高了AUROC和Brier分数。准确率中等(0.60–0.77),精确率仍然较低(0.01–0.17),表明存在大量的假阳性负担。这些发现表明,合并训练增强了鲁棒性并支持更早识别感染性休克,但可靠的部署仍需局部校准和管理假警报的策略。
脓毒症(sepsis)是重症监护病房(intensive care unit, ICU)中常见的危重症,感染性休克(septic shock)是其最严重的并发症,具有高死亡率。既往国际研究显示,脓毒症30天平均死亡率为24.4%,90天死亡率为32.2%,而感染性休克死亡率可达34.7%和38.5%,且存在显著地域差异。早期识别和及时干预能改善预后,但目前尚无普遍接受的标准化预测方法。多数机器学习(machine learning, ML)模型基于单一中心或国家数据开发,因患者人口学特征、临床实践和电子健康记录(electronic health record, EHR)结构的差异,跨医疗系统的泛化性常不理想。LiSep LSTM模型是基于美国MIMIC-III数据库开发的长短期记忆(Long Short-Term Memory, LSTM)神经网络,在早期感染性休克预测中表现优异,但尚未在欧洲队列中验证。为此,研究人员利用MIMIC-III(美国,约59,000次ICU入住)和AUMC(荷兰,约23,000次ICU入住)两个公开数据库,系统评估了LiSep LSTM模型的跨队列迁移能力,研究发表于《Scientific Reports》。
研究人员采用内部验证(同数据集训练与测试)、外部验证(跨数据集训练与测试)以及合并验证(合并两数据集训练)三种设置,评估模型性能。主要评价指标包括受试者工作特征曲线下面积(Area Under the Receiver Operating Characteristic Curve, AUROC)、发作前时间(Hours Before Onset, HBO)、Brier分数、准确率、精确率和召回率。同时应用排列特征重要性(Permutation Feature Importance, PFI)量化各特征贡献,并通过比较两队列的特征分布分析分布偏移的影响。
主要关键技术方法可概括为:使用两个公开ICU数据库(MIMIC-III与AUMC),数据预处理包括每小时重采样、单位统一、异常值去除、记录去重、空值填充、诊断提取和标签计算。模型采用四层LSTM(100个隐藏单元)加dropout正则化,六折交叉验证训练。评估采用AUROC、HBO、Brier分数、准确率、精确率、召回率,并使用PFI分析特征重要性。样本队列来源为美国MIMIC-III和荷兰AUMC。
性能评估结果显示,内部验证获得最高的AUROC和最低的Brier分数,表明同队列判别力和校准最佳。当模型在AUMC上外部测试时,AUROC为0.8851(95%置信区间0.8612–0.909),中位HBO为47.0小时,略优于其在MIMIC-III上的表现。但外部验证的校准和召回率均下降,Brier分数升高,提示跨队列迁移时模型可靠性降低。合并训练后,以MIMIC-III为测试集时,AUROC、召回率提高;以AUMC为测试集时,AU