用于规范成瘾精神病学临床记录和信息提取的语言模型——一项实证研究

《Drug and Alcohol Review》：Language Models for Standardising Clinical Notes and Information Extraction in Addiction Psychiatry—An Empirical Study

本研究针对电子健康记录中的非结构化临床笔记进行自然语言处理，通过微调大型语言模型（LLM）实现临床笔记校对和物质相关信息的提取，验证了LLM在提高可读性、减少生僻词以及优化罕见物质类别的信息提取等方面的有效性。

　　

摘要

引言

电子健康记录包含结构化数据和非结构化数据，其中非结构化的临床笔记在成瘾精神病学中广泛使用。这些临床笔记存在许多错误，需要进行校对以确保准确性和可读性。本研究评估了自然语言处理方法，并改进了一个大型语言模型（LLM），用于校对临床笔记和提取与物质使用相关的信息。

方法

我们分析了来自一个为期5年的成瘾医学电子健康记录数据集（2018–2023年）中的临床笔记，选取了6500条笔记。校对任务包括纠正拼写错误和扩展缩写；信息提取任务则用于识别物质使用的存在情况并量化最后一次使用的时间。由医生和护士组成的团队提供的标注结果作为黄金标准。在此基础上，我们比较了现有解决方案（包括LLM）的性能，并改进了一个LLM以完成这些任务。最终模型（经过微调的LLAMA-3.2-3b）还与最先进的商业模型（Generative Pretrained Transformer-4-o）进行了对比；同时进行了一项人类偏好实验，让匿名评估者在模型生成的版本和人工生成的校对版本之间进行选择。

结果

校对提高了文本的可读性，并减少了词汇表外的词汇使用。基于LLM的解决方案表现优于更简单的方法。经过微调的模型在这两项任务上的表现均优于Generative Pretrained Transformer-4-o。在62%的试验中，匿名评估者更倾向于选择模型校正后的临床笔记（p < 0.001）。在信息提取任务中，虽然整体表现令人满意（平均F1分数为0.99），但在处理如致幻剂等较为罕见的物质类别时表现较差。

讨论与结论

经过微调的LLM有效地规范了临床笔记，并从成瘾精神病学记录中提取了结构化信息。这两种功能都具有重要的应用价值。规范化的处理提高了临床文档的可读性，促进了跨学科团队之间的沟通。自动化信息提取可以减轻临床工作人员的负担，利用现有记录创建研究队列，并通过提取关键信息（如“最后一次使用时间”）来改善治疗效果，这些信息可用于发出警报。即使计算资源有限，也仍可以修改开源LLM以适应成瘾精神病学领域的特定任务。我们提出的解决方案可以在消费级服务器上部署，从而确保数据隐私和安全。

利益冲突

作者声明没有利益冲突。