指令微调开源大语言模型提升德语肿瘤诊断编码准确性

《Scientific Reports》：Instruction-tuning large language models with medical classification data improves ICD coding of German tumor diagnoses

　　

摘要

准确的肿瘤诊断编码，使用德国修订版《国际疾病分类第10版》（ICD-10-GM）和《肿瘤国际疾病分类第3版》（ICD-O-3），是结构化癌症记录的重要组成部分。大语言模型（LLMs）为自动化此类任务提供了可能性，但可本地部署的开源权重模型往往缺乏足够的领域专业编码能力。本研究调查了基于公共分类资源的指令微调是否能提高开源权重LLM对德语肿瘤诊断文本的编码准确性。研究选取了Qwen、Llama和Mistral系列中的八个模型（7–700亿参数），使用基于ICD-10-GM、ICD-O-3和德国手术分类的超过50万条问答对进行微调。评估使用本地肿瘤记录系统中的已编码诊断作为测试数据。ICD-10-GM准确率从1.4至24%提升至41–58%，部分准确率（仅前三位代码）从31至74%提升至73–83%。ICD-O-3部位编码的准确率也有所提高，但起始值较低且始终保持相对较低水平。几乎所有模型的格式错误代码输出降至接近0%。肿瘤诊断识别率达到99%。数据质量分析表明，不完整的诊断描述限制了可达到的测试性能。准确率与模型规模呈正相关，但微调后小型模型与大型模型之间的差距有所缩小。Qwen3的推理模式通常表现低于微调模型，且速度慢了100倍以上。我们的研究结果表明，利用公共目录构建指令数据集以改善LLM在医疗记录任务中的表现具有潜力。为支持可复现性和进一步研究，我们公开发布了完整的训练数据集和表现最佳的微调模型检查点。