《npj Digital Medicine》：Evaluating deep learning sepsis prediction models in ICUs under distribution shift: a multi-centre retrospective cohort study
编辑推荐：
ICU脓毒症预测模型常因数据分布偏移导致外推性不佳。本研究系统性比较了泛化、微调/重训练、目标训练、监督域适应（DA）和融合训练五种部署策略在不同目标数据规模下的表现。结果发现常规微调表现不佳，而重训练、融合训练及DA分别在特定数据规模下表现最优，为临床实践中依据目标数据量选择部署策略提供了关键证据。
在重症监护室（ICU）的战场上，临床医生们与死神赛跑，而脓毒症（Sepsis）则是其中一位凶险而隐秘的敌人。这种由感染引发的全身性炎症反应综合征，是导致ICU患者死亡的主要原因之一。近年来，随着人工智能的蓬勃发展，研究者们寄希望于深度学习模型，通过分析海量的ICU患者生命体征和实验室数据，来提前预警脓毒症的发生，为干预赢得宝贵时间。然而，一个棘手的现实是，在一个医院或数据库上训练表现优异的预测模型，迁移到另一个医疗中心时，其预测能力往往会大幅下降，有时甚至变得不可靠。这种现象被称为“分布偏移”，即模型训练时所使用的数据分布，与应用场景（目标域）的真实数据分布不一致。这就像用温带气候数据训练出的天气预测模型，到了热带就失灵了一样。面对这一挑战，以往的研究和临床实践通常依赖于“微调”这一策略，即在目标域的一小部分数据上对预训练模型进行小幅调整，期望它能适应新环境。但这种“一招鲜”的方法真的普适吗？有没有更好的方法来应对不同数据条件？这正是《Evaluating deep learning sepsis prediction models in ICUs under distribution shift: a multi-centre retrospective cohort study》这项研究所要深入探究的核心问题。
为了系统回答上述问题，研究团队开展了一项大规模、多中心的回顾性队列研究。他们聚焦于一个明确的目标：在数据分布偏移的现实条件下，如何最优地部署脓毒症深度学习预测模型。研究发表在《npj Digital Medicine》期刊上。
本研究主要运用了以下关键技术方法：首先，研究整合了三个大型、已协调的成人ICU数据集，包括HiRID、MIMIC-IV和eICU，共涵盖216,536次住院记录，以此量化不同中心间的数据分布偏移。其次，研究人员设计并系统比较了五种模型部署策略，包括直接应用（泛化）、微调/重新训练、仅在目标数据上训练、监督域适应以及融合训练。第三，评估是在多种深度学习模型架构上进行的，并设置了四种不同的目标域数据可用性场景，从而全面评估各策略在不同数据规模下的鲁棒性和性能。模型性能的核心评估指标采用了受试者工作特征曲线下面积（AUROC）和标准化精确召回曲线下面积（AUPRC）。
研究结果
量化分布偏移：研究首先证实了三个ICU数据集（HiRID, MIMIC-IV, eICU）之间存在显著的数据分布差异，这种分布在人口统计学特征、临床测量指标等方面均有体现，为后续评估模型在不同分布下的表现提供了现实基础。
五种部署策略的性能全景图：研究团队系统评估了五种策略在“无目标数据”、“小规模目标数据（≤ 8k例）”、“中等规模目标数据（8–32k例）”和“大规模目标数据（≥ 32k例）”四种场景下的表现。结果描绘了一幅复杂的图景，表明不存在单一的最优策略，其效果高度依赖于可用目标数据的多少。
微调策略的局限性：一个关键且反直觉的发现是，文献中常规采用的“微调”策略，在大多数情况下表现并不理想，甚至常常逊于其他方法。这表明，简单地在新数据上小幅调整预训练模型参数，并非应对分布偏移的银弹。
数据规模决定最优策略：
- •
在小规模目标数据场景下，完全重新训练模型，或采用融合训练（结合源域和目标域数据训练新模型）的策略，能够取得最佳性能。
- •
在中等规模目标数据场景下，监督域适应方法展现出最稳定的性能提升，其AUROC和标准化AUPRC均优于其他对比方法。
- •
在大规模目标数据场景下，重新训练和融合训练再次成为表现最好的策略。
模型架构的鲁棒性：这些关于策略优劣的结论在不同深度的学习模型架构（例如不同复杂度的循环神经网络RNN）上均表现出一致性，增强了研究发现的普适性。
结论与讨论
本研究得出了明确且具有实践指导意义的结论：在为ICU脓毒症预测模型应分布偏移问题时，不应再机械地依赖“微调”这一常规做法。相反，选择何种部署策略应成为一个需要审慎决策的环节，决策的核心依据是目标环境所能提供的数据规模以及具体的操作上下文。具体而言，当目标站点仅有少量标注数据时，重新训练或融合训练是更可靠的选择；当拥有中等规模数据时，监督域适应技术能带来最显著的稳定增益；而在数据充足时，重新训练或从零开始的融合训练则能获得最佳性能。
这项研究的重要意义在于，它将机器学习中“域适应”的理论探讨，与临床预测模型落地所面临的严峻现实——“分布偏移”问题——紧密结合，并通过大规模实证研究，为未来的研究和临床实践提供了清晰的路线图。它挑战了领域内对“微调”的过度依赖，倡导了一种更精细化、数据驱动化的模型部署范式。这对于推动基于人工智能的临床决策支持系统从实验室走向不同医院、不同地区的真实ICU环境，实现其潜在价值，同时确保其安全性和有效性，具有关键性的推动作用。该研究指出，未来的工作应继续探索更高效的域适应方法，并考虑在策略选择中纳入计算成本、模型可解释性等更多元化的实际因素。
