临床专家的知识与提示工程提升了小型语言模型在电子健康记录中提取癌症相关信息的能力

《Communications Medicine》：Clinician expertise and prompt engineering enhance cancer information extraction in electronic health records by small language models

　　

摘要

背景

在非结构化的电子健康记录中，真实世界数据对于理解癌症等复杂疾病至关重要。但由于语言差异、语义复杂性以及隐私问题，提取结构化信息颇具挑战。本研究评估了四种小型、可在本地部署的语言模型在从意大利语电子健康记录中提取信息方面的性能。

方法

我们研究了英语和意大利语中的三种提示策略（零样本、少样本和带注释的少样本），并邀请不同专业水平的临床医生参与，以评估提示设计对准确率的影响。我们在APOLLO 11试验中，使用四种开源小型语言模型，从意大利语电子健康记录中提取非小细胞肺癌的相关临床信息。该提取流程包括四个步骤：问题定义、数据预处理、基于大型语言模型的信息提取以及结果评估。

结果

研究显示，在大多数任务中，通用型模型（如LLaMA 3.1 8B）的表现优于生物医学专用模型，尤其是在提取二元特征方面。而像TNM分期、PD-L1指标以及ECOG-PS评分等多类别变量则因隐含的语言表达及缺乏标准化而更难处理。少样本提示以及使用目标语言输入能显著提升模型性能，并减少错误输出。临床专业知识有助于提高提取结果的一致性，尤其是那些使用带注释示例的学生。

结论

该研究证实，具备隐私保护功能的小型语言模型可被本地部署，用于高效且安全地提取癌症相关数据。研究结果强调了需要将小型语言模型与专家意见相结合的混合系统，同时也凸显了让临床文档编写方式与小型语言模型的功能相适配的重要性。这是首项针对意大利语电子健康记录对小型语言模型进行性能测试的研究，同时探讨了临床专业知识在提示设计中的作用，为未来将这类模型整合到实际临床工作中提供了重要参考。