在电子健康记录数据上验证预测模型：从应用于法国心脏导管检查队列的NCDR-IMPACT评分中获得的经验教训

《BMC Cardiovascular Disorders》：Validating predictive models on EHRs data : lessons learnt from the NCDR-IMPACT-score applied on a French cardiac catheterization cohort

　　

摘要

研究目的

我们提出了一种自然语言处理流程，用于从属于APHP医院的儿童医院中提取并重新计算现有的IMPACT评分。

材料与方法

从每位患者的电子健康记录中提取预测变量及不良事件发生情况。数据提取依据数据格式采用规则驱动和机器学习方法。机器学习文本分类器在经过主动学习标注的数据集上得到训练。一旦注册系统自动填满数据，我们就为患者计算IMPACT评分，并通过逻辑回归分析确定适用于该群体的特定比值比，从而得出IMPACT-score-Necker。

研究结果

我们从2,980名患者那里提取了临床数据。将该评分应用于我们医院的病人群体后，IMPACT-score-Necker的AUC值为0.719，而原始IMPACT评分的AUC值为0.642。作为参考，IMPACT评分在NCDR-IMPACT验证组中的AUC值为0.752。

讨论

针对我们所在群体对IMPACT评分进行本地校准，提升了预测精度，使AUC值从0.642上升至0.719，同时也解决了我们所在人群与原始NCDR-IMPACT群体之间的差异问题。这进一步强调了模型需要根据本地数据进行调整，因为患者的人口统计特征和临床状况差异会显著影响模型性能。可以利用本地的电子健康记录数据仓库来进行重新校准和持续监测，确保人工智能工具在临床应用中保持准确性、伦理性及实用性。

结论

我们的研究结果凸显了在真实世界环境中对模型进行验证的必要性，而电子健康记录则是训练和验证人工智能模型的可靠数据来源。