《eBioMedicine》：Relationship extraction for adverse drug events in clinical notes using large language models: a retrospective cross-sectional study
编辑推荐：
**背景**：药物不良事件（adverse drug events，ADEs）是患者安全的关键指标，但往往仅记录于自由文本临床笔记中。近年来自然语言处理（natural language processing，NLP）领域的进展，尤其是生成式大语言模型（l
**背景**：药物不良事件（adverse drug events，ADEs）是患者安全的关键指标，但往往仅记录于自由文本临床笔记中。近年来自然语言处理（natural language processing，NLP）领域的进展，尤其是生成式大语言模型（large language models，LLMs），在识别药物不良事件方面的潜力尚未得到充分研究。本研究旨在比较多种大语言模型在住院及门诊临床笔记中识别ADE-药物（ADE-Drug）关系的性能。
**方法**：研究人员使用了2018年国家NLP临床挑战赛（n2c2）ADE数据集（住院患者；n = 505）的临床笔记，以及2018年10月1日至2019年12月31日期间来自新英格兰地区一家大型学术医疗中心的门诊就诊记录（n = 2555）。临床笔记经预处理后切分为片段作为模型输入。评估的模型包括：GPT-4o、GPT-4o-mini、Llama 3.2-3B及其指令微调变体（包括Llama的低秩适配器）。所有模型的性能均采用严格与宽松两种评估标准（精确率、召回率和F1值）进行评估，随后对两个性能最优模型进行人工评估（精确语义匹配、部分匹配、遗漏ADE、仅提及药物、非药物或错误）。
**结果**：在本地测试集划分的1048份临床笔记中，450份（42.9%）包含至少一个ADE。n2c2测试集包含202份临床笔记，其中155份（76.7%）包含至少一个ADE。GPT-4o和GPT-4o-mini是所评估模型中性能最优的两个模型。GPT-4o在两个数据集上的ADE提取性能均持续优于GPT-4o-mini，具有更高的F1值（0.524 vs. 0.381）和更均衡的精确率-召回率分布。两个模型均能在明确和复杂的临床情境下有效捕获ADE，但局限性包括对既往过敏史的错误分类，以及偶尔将治疗适应证与不良反应相混淆。GPT-4o在临床笔记中实现了更高的精确匹配覆盖率且错误更少，表明其在住院和门诊环境中均具有更可靠的性能。
**解读**：本研究为将大语言模型方法整合到真实世界药物安全监测中奠定了基础，对改善患者安全具有直接意义。
**资助**：无。
**论文解读**
**一、研究背景**
药物不良事件（adverse drug events，ADEs）是美国住院和门诊环境中患者安全的关键威胁。据估计，住院环境中治疗ADEs的年经济负担为15.6亿至56亿美元，门诊环境中额外增加80亿美元。一项对2809例住院患者的多中心回顾性审查发现，每100次入院中发生13.6例ADEs；在3103例门诊患者中，每100次就诊发生1.25例ADEs。尽管ADEs在临床实践中普遍存在，多数事件仅记录于自由文本临床笔记中，并未被常规数据监测系统捕捉。传统的自发报告系统、基于索赔数据的计费代码等方法在识别ADE方面存在灵敏度不足、人工负担重等显著局限。早期自然语言处理（natural language processing，NLP）方法侧重于命名实体识别（named entity recognition，NER）任务，即标注文本中的药物和ADE实体；然而，先前挑战赛表明，药物标注性能已达到超过89%的F1值，进一步提升空间有限。因此，将ADE提取视为关系分类任务——判断给定的ADE-药物实体对是否存在因果关系——已成为更具临床信息意义的方法。既往研究采用了注意力机制双向长短期记忆网络（bidirectional long short-term memory，LSTM）、卷积神经网络（convolutional neural network，CNN）、支持向量机（support vector machines，SVMs）及基于Bidirectional Encoder Representations from Transformers（BERT）的架构进行关系分类，但普遍存在对人工特征工程和任务特定监督的依赖、难以建模跨句关系以及泛化能力受限等问题。近年来，生成式大语言模型（large language models，LLMs）凭借强大的语言理解能力，为ADE提取提供了新的可能。然而，LLMs在门诊环境中临床笔记——这类文档更短、噪声更大且异质性更强——的应用尚未得到系统性研究。本研究旨在系统比较多种LLM在住院和门诊临床笔记中识别ADE-药物关系的性能。
**二、研究方法概述**
本研究采用回顾性横断面设计，使用两个数据来源：2018年国家NLP临床挑战赛（n2c2）ADE数据集（505份住院出院摘要，来自Beth Israel Deaconess Medical Center的MIMIC-III数据库）和来自Mass General Brigham的门诊及紧急护理临床笔记语料库（2555份门诊就诊记录，时间跨度为2018年10月1日至2019年12月31日）。临床笔记经规则预处理管道处理，提取标注关系跨度两侧各225个字符的窗口并拼接为输入片段。评估的模型包括GPT-4o、GPT-4o-mini和Llama 3.2-3B，以及其指令微调变体（Llama采用低秩适配（Low-Rank Adaptation，LoRA）参数高效微调技术），并以ClinicalBERT作为领域特定基线。性能评估采用严格与宽松两种标准（精确率、召回率和F1值），并由两名临床药师在盲法条件下对两个最优模型进行人工评估，按六类标准（精确语义匹配、部分匹配、遗漏ADE、仅药物提及、非药物、错误）分类，不一致时由第三名药师参与达成共识。统计方法包括非参数自助重抽样估算95%置信区间、McNemar检验比较配对模型性能，以及Cohen's kappa评估人工评审间一致性。
**三、研究结果**
**数据集特征**
MGB-门诊数据集预处理前包含2555份临床笔记（平均1924个词元，范围15–11,735），预处理后为2321份（平均464个词元），中位数词元数从1683降至390。n2c2-住院数据集包含505份临床笔记，预处理后平均词元数从3814降至1912。测试集中，MGB数据1048份笔记中有450份（42.9%）含至少一个ADE，n2c2数据202份笔记中有155份（76.7%）含至少一个ADE。
**模型选择**
研究人员使用101份随机选择的笔记（n2c2 51份和本地50份）进行模型初筛，两名临床药师独立评审（Cohen's κ = 0.851）。GPT-4o-mini因最高的"精确匹配"与"部分匹配"合计响应被选中，GPT-4o因最低的漏诊ADE、非药物、仅药物和错误合计被选中。Llama模型未能一致地产生所需输出格式，而是生成了新的临床笔记或基于知识库报告潜在ADE总结，其宽松匹配F1值仅为0.0509–0.0552。
**ADE-药物关系评估**
在六类评估框架下，GPT-4o在精确语义匹配比例上显著优于GPT-4o-mini（32.1% vs. 19.6%），其错误输出比例更低（47.9% vs. 58.1%），且产生较少的虚假仅药物输出（4.7% vs. 10.7%）。缺失ADE的比例在两者间相近（13.5% vs. 10.1%）。总体而言，GPT-4o提供的ADE-药物关系提取更可靠，错误更少，与金标准对齐更好。
**跨数据集性能比较**
GPT-4o在全部数据集上持续优于GPT-4o-mini，总体F1为0.524（95%CI：0.503–0.545）对0.381（95%CI：0.363–0.399）。两者均呈现召回率高于精确率的特征（GPT-4o总体召回率0.715 vs. 精确率0.413），表明模型更倾向于捕获ADE但以精确率为代价。在n2c2-住院数据集上，GPT-4o的F1为0.530对GPT-4o-mini的0.330；在MGB-门诊数据集上，GPT-4o的F1为0.522对0.400。按临床环境分层分析显示，在初级/专科门诊（n = 930）中GPT-4o优势显著（F1：0.535 vs. 0.387，p < 0.001），而在紧急护理环境（n = 174）中虽然GPT-4o的F1更高（0.404 vs. 0.320），但GPT-4o-mini在召回率上表现更优。
**错误分析**
生成式模型在临床上下文明确且结构良好时表现出色，例如正确关联奥氮平与轻度帕金森步态、关联华法林/美托洛尔/沙库巴曲缬沙坦与皮疹，以及从宽泛描述中推断卡托普利导致低血压。主要局限性包括：将既有过敏史误分类为新发ADE（如将多西cycline、环丙沙星和头孢氨苄的严重反应错误归因）、将治疗适应证与不良反应混淆（如将阿司匹林和氯吡格雷标注为导致"血栓预防"、将抗过敏治疗药物标为过敏反应致病药）、以及艰难梭菌感染中抗生素兼具病因与治疗作用的复杂情况。GPT-4o的错误主要来自错误预测，但其遗漏ADE和"非药物"错误较少；GPT-4o-mini整体错误预测数量更多，尤其在MGB-门诊语料中错误预测占比达56.1%。
**四、讨论与结论**
本研究建立了LLM在门诊和住院临床笔记中提取ADE-药物关系的首个系统评估。研究发现，尽管两个模型在复杂真实文本上的ADE-药物识别精确率均有局限，GPT-4o提供了跨数据集的更一致性能，而GPT-4o-mini倾向于产生更多错误。模型性能受临床信息类别的显著影响：明确的药物暴露与症状发作时间关系、临床医生对事件归因于药物的明确陈述、因不良反应停药记录以及过敏反应描述均有助于模型正确识别；相反，模糊的因果语言、冗长药物清单、既往过敏史以及类似不良反应的治疗适应证会降低性能。这表明时间推理和因果归因是ADE-药物识别成功的关键决定因素。研究还发现，与既往报告相比，生成式LLM在结构化关系提取方面仍逊于任务特定架构（如ClinicalBERT）；n2c2基准上顶级系统的ADE-药物标签F1为0.4755，而GPT-4o为0.530，尽管两者在跨度级与文档级指标上并不直接可比。研究人员指出，n2c2数据可能在LLM训练截止前已包含于基础模型训练数据中，存在数据污染可能性。研究局限性包括：单中心数据限制了泛化性、225字符窗口预处理可能遗漏相关信息、以及缺乏对全结构化评估框架的直接比较。
**研究结论**
本研究显示，生成式大语言模型能够从非结构化的临床笔记中可靠地识别ADE-药物关系。通过可扩展且准确的安全信号提取，这些模型代表了药物警戒领域向前迈进的重要一步，有助于更早发现不良事件并加强患者安全工作。
