《Drug Safety》：Development and Validation of a Two-Stage NLP System Combining Rule-Based Extraction and LLM-Based Classification for Deprescribing Recommendations in Discharge Summaries
编辑推荐：
摘要
引言：老年人多重用药与不良药物事件和功能衰退风险增加相关。出院小结中常包含处方精简建议，但由于文档复杂性，这些建议常被忽视。
目的：本研究旨在开发并验证一种结合基于规则的提取和基于大语言模型（LLM）分类的两阶段混合自然语言处理（NLP）系统，用
摘要
引言：老年人多重用药与不良药物事件和功能衰退风险增加相关。出院小结中常包含处方精简建议，但由于文档复杂性，这些建议常被忽视。
目的：本研究旨在开发并验证一种结合基于规则的提取和基于大语言模型（LLM）分类的两阶段混合自然语言处理（NLP）系统，用于从出院小结中自动识别处方精简建议。
方法：这项回顾性队列研究纳入了澳大利亚新南威尔士州六家公立医院中年龄≥65岁、住院时间≥48小时的850份出院小结。模型1（基于规则的提取）识别出院药物和包含预定义处方精简关键词的候选句子。模型2（基于LLM的分类）将候选句子分为五类，并通过预设映射得出二元结局（存在与不存在处方精简建议）。数据分为训练集（80%）和测试集（20%）。金标准分类由独立评审确定，并对差异进行裁定。
结果：模型1从850名患者（中位年龄82.8岁）中提取了9631种出院药物（每名患者中位数11种）和1061个候选句子。模型2在测试集（144种药物）中对二元结局的F1分数为0.91，准确率为0.90。评估者间信度显示高度一致性（Cohen's kappa 0.70）。最常被建议处方精简的药物为抗生素和阿片类药物。最常见的错误分类是将住院期间完成的行动误认为出院后建议。合并处理时间平均为每份出院小结12.6秒。
结论：结合基于规则的提取和开源LLM分类的两阶段混合方法能够从出院小结中识别处方精简建议，实现成本高效、符合隐私要求的本地部署。
论文解读：两阶段NLP系统在出院小结处方精简建议识别中的应用
一、研究背景与问题
老年人多重用药（通常指同时使用5种及以上药物）与不良药物事件、药物不依从及功能衰退风险增加密切相关。已有研究表明，约84%的老年患者愿意在临床医生建议下停用药物。处方精简（deprescribing）是指在监督下停用获益小于风险的药物，对老年人尤为重要。医院出院转诊阶段是处方精简的关键时期，因为此时药物方案常发生变化，且出院后易发生用药错误。出院小结中虽常包含处方精简建议，但因其篇幅长、结构复杂，这些建议常被初级保健提供者忽视。然而，人工识别出院小结中的处方精简建议既费时又易出错。近年来，自然语言处理（NLP）特别是大语言模型（LLM）的进展为自动化处理提供了可能。已有的混合方法研究显示，结合基于规则的提取与基于LLM的分类可有效用于临床信息提取。但既往研究多聚焦于使用既定处方标准识别潜在不适当药物，针对医院临床医生实际记录的处方精简建议的自动化提取研究仍有限。因此，本研究旨在开发并验证一种两阶段混合系统，结合基于规则的提取与开源LLM分类，从出院小结中识别并分类处方精简建议。
二、研究方法概述
本研究为回顾性队列研究，数据来自澳大利亚新南威尔士州六个公立医院（Northern Sydney Local Health District和Central Coast Local Health District），包括一所三级转诊医院、若干大中型急症医院及一所亚急性康复医院，所有医院均使用Cerner EMR电子病历平台。纳入2022年1月4日至3月28日期间出院、年龄≥65岁、住院时间≥48小时的患者，排除住院期间死亡及无出院药物记录者。共随机抽样900份，排除50份后，分析850份出院小结。伦理批准由Northern Sydney Local Health District人类研究伦理委员会授予（2021/ETH11776）。系统开发分为两个模型：模型1采用基于规则的NLP提取患者属性、出院药物清单及可能包含处方精简建议的候选句子；模型2采用LLM对候选句子进行五分类。模型2使用Llama 3.3（700亿参数）本地部署，采用few-shot学习策略，温度参数设为0以保证输出稳定性。数据按80%/20%分为训练集和测试集。金标准由两位评估者独立分类（临床药师KF和老年医学专科培训医师MM），差异由资深老年医学临床药理学家SH裁定。主要结局为模型2在测试集上对二元分类（存在与否）的性能，使用F1分数、准确率、敏感性、特异性、PPV、NPV评估。
三、研究结果
3.1 模型1：基于规则的提取
模型1提取了850份出院小结的特征：中位年龄82.8岁（IQR 75.8–88.9），54.7%为女性，出院时处方药物中位数11.0种（IQR 7.0–15.0）。最常见的医疗科室为老年医学科（278名患者，占32.7%）。共提取9631种出院药物（训练集7755种，测试集1876种）。通过训练集迭代确定了27个关键词模式，识别出1338个含关键词句子，经药物-句子链接后生成1061个候选句子（训练集864个，测试集197个），对应781种唯一出院药物。两位评估者间的Cohen's kappa为0.70，分类一致性范围从“无目标停药的剂量减少”的52.4%到“停药”的97.8%。
3.2 模型2：LLM分类性能
模型2在训练集（637种唯一药物）上达到预定义阈值，F1分数>0.9。测试集（144种唯一药物）上，二元分类F1分数为0.91，准确率0.90。按医院分别评估时，F1分数范围0.67–0.97，两个F1最低（0.67）的医院样本量最小（医院A n=12，医院E n=9）。句子水平分析显示二元F1为0.92，特异性0.96，敏感性0.87。一致性分析显示，在温度0.8下五次独立采样中，98.5%（769/781）实现完全一致；不一致主要发生在候选句子以治疗类别或缩写（如analgesic、PPI）指代药物时。平均置信度94.3%，但校准分析显示中度失校准（ECE=0.090），在约80%置信水平出现过自信，在89–100%高水平出现不足自信。
3.3 附加分析
全数据集（781种药物）共79次错误分类（10.1%），其中66例假阳性，13例假阴性。假阳性最常见原因（23例，占34.8%）是将住院期间已完成的行动误判为出院后建议。假阴性全部源于对语境的理解错误，未能识别缺乏显式关键词（如stop、cease、wean）的隐含处方精简建议。在所有418种药物的处方精简建议中，共使用454个预定义关键词，其中“stop”、“cease”和“wean”合计占83.3%。最常被建议处方精简的药物为阿莫西林（主要为停药）和羟考酮±纳洛酮（主要为减量至停药）。性能也随药物类别变化，便秘用药的二元F1为1.00，糖尿病用药为0.73。拼写纠正将9个药物名标准化，最常见的是cholecalciferol（3例）和apixiban（2例）。模型1平均每份摘要处理时间4.9秒（SD 4.1），模型2平均每个候选句子3.5秒（SD 0.6），每份摘要平均2.2个候选句子，合计处理时间12.6秒/份。
四、讨论与结论
本研究表明，两阶段混合方法能够有效识别出院小结中的处方精简建议。基于规则的提取提供了高效的关键词定位，LLM提供了上下文理解能力，二者结合取得了较高性能。值得注意的是，开源LLM的本地部署带来成本效益、隐私合规和模型透明性优势。性能变异分析显示，医院间差异主要源于小样本和亚急性康复医院更精细的文档记录。评估者间一致性在“无目标停药的剂量减少”类别最低，反映了逐步减量方案缺乏明确时间线或终点时解释的主观性。校准分析表明，模型置信度不能可靠反映分类质量，因此当前配置下不宜采用基于置信度阈值的自动化分流，系统更适合作为筛查工具，将候选处方精简建议标记给临床医生审查。高敏感性（0.97）对减少漏检尤为重要。错误分析提示，通过改进提示词以区分过去与未来动作，并整合结构化处方元数据，可减少假阳性。研究局限性包括单地区（NSW）文档惯例可能不适用于其他地区，以及基于规则的关键词可能遗漏仅在测试集或外部队列出现的表达。未来研究需进行多中心国际验证，与微调Transformer模型（如ClinicalBERT）进行基准比较，并评估自动化提取对患者结局（如药物相关伤害、依从性、处方精简决策连续性）的影响。
结论：本研究证明，结合基于规则的提取和LLM分类的两阶段混合方法能够从出院小结中识别处方精简建议，实现F1分数0.91。开源LLM的使用允许在医疗机构中实现成本高效、符合隐私要求的本地部署。通过在照护转诊时系统性地捕获处方精简建议，该方法可促进多学科药物管理并支持质量改进倡议。该论文发表于《Drug Safety》。
