机器学习中急诊分诊用于住院预测的协变量漂移与概念漂移模拟

《npj Digital Medicine》：Simulation of covariate and concept drift in machine learning hospital admission prediction from emergency triage

　　

摘要

能够预测患者是否需要住院的机器学习模型有助于优化患者流量管理，但协变量漂移、概念漂移以及重新训练对模型长期性能的影响目前尚不明确。我们利用西澳大利亚某大型医院的所有患者数据（已去标识化）构建了极端梯度提升（XGBoost）模型。训练和验证数据来自2016年和2017年的患者病例（n?=?133,814），而测试则从2018年到2023年按季度进行（n?=?455,496）。我们评估了两种重新训练策略：季度重新训练和半年度重新训练。通过单变量和多变量分析来检测协变量漂移，报告内容遵循TRIPOD?+?AI和MINIMAR标准。结果显示，无论是训练集与测试集之间，还是在六年的测试期内，都存在显著的漂移现象。基础模型的平均AUROC值为0.875（范围为0.844–0.887），平均每日床位误差为7.42张（范围为0.47–13.1张）。经过重新训练后，季度重新训练和半年度重新训练的模型分别表现出更高的区分能力（平均AUROC值为0.892和0.893），同时床位误差也有所降低（分别为每天4.02张和4.48张），且两者的校准和分类性能相近。随着时间推移，协变量漂移会显著降低模型的校准性能，但对区分能力的影响较小。简单的重新训练能够提升模型的区分能力，并减轻概念漂移带来的校准问题，这凸显了为确保时间序列模型的持续有效运行而进行重新训练的重要性。