利用大语言模型结合专家知识增强提示技术实现静脉血栓栓塞症的自动化风险评分：一项多中心验证研究

《npj Digital Medicine》：Automated risk scoring for venous thromboembolism using large language models with expert knowledge-augmented prompting: a multicenter validation study

　　

摘要

静脉血栓栓塞症（VTE）是住院患者中常见但可预防的并发症，然而利用非结构化的电子健康记录来制定标准化风险评分仍然面临挑战。我们回顾性分析了来自30家医院的全国性多中心研究队列中的匿名化电子健康记录。通过分层随机抽样，从10家医院选取50例用于模型开发，从另外20家医院选取200例用于测试。通过德尔菲法，结合19位专家的意见，为帕多瓦评分法和卡普里尼评分法设计了包含专家知识增强的提示模板，并将其与基本提示和复杂提示进行了比较。评估采用了六种开源大型语言模型，以经患病率调整和偏差调整后的卡帕值（PABAK）以及F1分数作为主要评价指标。结果显示，包含专家知识增强的提示模板在两组数据集中的表现均最为出色。在测试数据集中，帕多瓦评分法的平均项目级PABAK和F1分数分别为0.97和0.96，卡普里尼评分法则为0.97和0.93；大多数项目的PABAK和F1分数均高于0.90。在风险分层方面，帕多瓦评分法的性能优于卡普里尼评分法（PABAK为0.92，F1分数为0.96，而卡普里尼评分法的相应数值分别为0.73和0.64），且处理时间分别为每例6.07秒和12.82秒。这些研究结果表明，借助专家知识增强的提示功能的开源大型语言模型，能够高效地支持血栓预防工作流程中的帕多瓦评分法、卡普里尼评分法应用以及风险分层工作。