《JAAD International》:Development and validation of NLP models for automated melanoma service-level monitoring
编辑推荐:
摘要背景黑色素瘤筛查质量的常规监测受到病理报告非结构化特性的阻碍。目标开发并外部验证一个自然语言处理(NLP)流水线,从病理报告中提取黑色素瘤的存在、侵袭性和Breslow厚度。研究类型回顾性双中心观察性研究,用于NLP模型的开发与验证。方法我们使用Parc Taulí医院(
摘要
背景
黑色素瘤筛查质量的常规监测受到病理报告非结构化特性的阻碍。
目标
开发并外部验证一个自然语言处理(NLP)流水线,从病理报告中提取黑色素瘤的存在、侵袭性和Breslow厚度。
研究类型
回顾性双中心观察性研究,用于NLP模型的开发与验证。
方法
我们使用Parc Taulí医院(1996–2019年)疑似黑色素细胞肿瘤的皮肤科病理报告进行开发与内部测试,并使用独立的Vall d'Hebron队列(2025年)进行外部验证。对加泰罗尼亚语和西班牙语的样本级文本进行人工标注。评估了基于规则的、经典机器学习以及公开的基于Transformer的比较器。在开发集上选择最终模块,按顺序串联,并进行端到端评估。
结果
在外部端到端验证中,黑色素瘤检测的准确率、召回率、精确率和F1分数分别为0.979、0.909、0.909和0.909。侵袭性黑色素瘤识别的召回率为0.941,精确率为0.842,F1分数为0.889。Breslow路由/完整性检测的召回率为1.000,精确率为0.872,F1分数为0.931。数值型Breslow提取在返回的数值中显示有用性/覆盖率为0.789,Exact@±0.1 mm为1.000。性能低于内部测试,尤其是在黑色素瘤检测和数值型Breslow覆盖率方面。
局限性
报告惯例和语言混合可能限制模型的普适性。肿瘤分期输出是基于Breslow厚度的替代指标,而非完整的AJCC分期。
结论
黑色素瘤指标的自动化提取在本地验证后可能实现可扩展的服务水平基准评估。
Marc Corbacho-Monné|Tara Bonet|Damià Valero-Bover|Aida Lara-Moya|Ricard Onieva|Empar Sáez|Mireia Sabat-Santandreu|Berta Ferrer-Fàbrega|álvaro Gómez-Tomàs|Pepi Ródenas|Guillem Caballé-Tomàs|Maria Mercè Nogueras|Xabier Michelena|Jordi Piera-Jiménez|Gerard Carot-Sans|Marina Ramiro-Pareta