多中心川崎病静脉注射免疫球蛋白抵抗预测模型的时间漂移评估与时间感知更新策略比较

《BMC Medicine》：Temporal drift, calibration monitoring, and adaptive updating of an IVIG resistance prediction model in Kawasaki disease: a multicenter pediatric cohort study

　　

摘要

背景

临床预测模型会随着病例组合和临床环境的变化而随时间失去准确性，但目前关于儿科预测模型中时间漂移和模型更新的证据仍然有限。我们评估了一个用于川崎病（KD）静脉注射免疫球蛋白抵抗（IVIGR）的多中心预测模型的时间漂移，并比较了重新校准、年度更新和时间感知更新策略。

方法

我们进行了一项多中心回顾性队列研究，纳入了2006年至2024年间接受治疗的川崎病儿童。模型在新冠疫情前队列（2006–2019）中开发，并在新冠疫情期间（2020–2022）和新冠疫情后（2023–2024）队列中进行验证。我们比较了五种算法，并选择随机森林（RF）进行后续的重新校准和更新分析。使用受试者工作特征曲线下面积（AUC）、校准度、Brier评分和决策曲线分析评估模型性能。策略包括按时间间隔重新校准、全部历史数据重新拟合、半衰期加权、滚动窗口和日历年调整。分析使用10个插补数据集，不确定性估计使用500次bootstrap重抽样。

结果

在6443名儿童中（疫情前3788人；疫情期间1837人；疫情后818人），IVIGR发生率分别为7.0%、13.9%和10.1%。RF的AUC从疫情期间的0.776下降到疫情后的0.629，其校准斜率从0.894下降到0.431。全部历史数据重新拟合达到了平均AUC 0.787和平均Brier评分0.070。日历年调整RF和3年窗口滚动窗口RF均达到平均AUC 0.804。日历年调整RF的Brier评分最低，观察值与预期值之比最接近1，且在大多数阈值下净收益略高。

结论

在这个多中心儿科队列中，IVIGR模型表现出时间漂移，辨别力和校准度均有所下降，且在不同日历年之间变化较大。日历年调整RF在评估的时间感知策略中表现出最有利的整体性能特征之一。这些发现表明，川崎病中IVIGR预测模型的性能在开发后可能会发生变化，突出了在长期临床实施前和期间持续进行性能监测和模型更新的重要性。