《Journal of Pain and Symptom Management》：Feasibility of Real-Time Integration of a Large Language Model in the EHR to Identify Goals-of-Care Documentation
编辑推荐：
背景：本文描述了将大语言模型（Large Language Model, LLM）集成到电子病历（Electronic Health Record, EHR）中，以识别非结构化的目标照护（Goals-of-Care, GOC）文档记录或离散数据录入。
目的：旨
背景：本文描述了将大语言模型（Large Language Model, LLM）集成到电子病历（Electronic Health Record, EHR）中，以识别非结构化的目标照护（Goals-of-Care, GOC）文档记录或离散数据录入。
目的：旨在确定经过提示工程（prompt-engineered）的大语言模型能否以与人类专家相当的水平可靠地检测临床记录中的目标照护文档记录，并能将该评估结果实时展示给临床医生。
方法：一支由姑息治疗专家组成的跨学科团队创建了一个经裁决的参考标准（adjudicated reference standard），用于评估大语言模型在检测目标照护文档记录方面的性能。基于此，性能最优的模型（GPT-4o）被集成到电子病历系统中，在四家医院开展了为期六个月的试点，随后在全企业范围内推广。
结果：GPT-4o取得了最佳性能（特异度0.95，召回率0.74，精确率0.78）。对人工智能标记的临床记录（n=325）进行人工审核，确认了显著的专家一致性（86%）。在亚组分析中，不同种族、性别或年龄之间未发现统计学显著差异（特异度范围0.91–1；所有p值>0.05）。在企业规模应用中，该模型在约两个月内识别出37,000名具有目标照护文档记录的患者。与无该记录的患者相比，具有人工智能标记目标照护文档记录的患者表现出更高的病情严重度（重症监护室住院≥5天：30.2% vs 8.2%；住院死亡率：14.9% vs 0.6%；临终关怀出院：10.5% vs 0.4%）。代码状态变更也显著更为频繁（29.3% vs 9.9%；p<0.05）。
结论：该举措实现了最初目标，提供了一种经济可持续的电子病历优化方案，将非结构化、高价值的目标照护叙述转化为实时可发现、可追踪的文档记录。检测并展示这些对话至关重要，可提高临床情境感知能力，同时减轻文档记录负担，从而促进与目标一致的照护（goal-concordant care）。
论文解读：基于大语言模型的电子病历实时集成用于识别目标照护文档记录——一项企业级可行性研究
一、研究背景与问题提出
在美国，估计有1.29亿人患有至少一种主要慢性疾病，其中42%患有两种及以上，12%患有至少五种慢性疾病。与患者价值观一致的照护，即目标一致性照护（goal-concordant care），已被证实能够改善临床结局，并日益被视为重要的质量和健康公平指标。尽管共享决策是高质量照护的基石，但在重症患者的电子病历（EHR）中，目标照护（GOC）对话的文档记录常常缺失或被忽视。为改善文档记录，各医疗系统已实施多种举措。研究人员所在机构自2017年起即在重症监护室（ICU）住院≥5天的患者中追踪GOC讨论，通过多组件举措，该系统于2024年在目标患者群体中实现了85%的文档记录率。然而，文档记录仍是持续性挑战。虽然结构化数据提取相对简单，但检索医患对话的关键要素更为复杂。电子病历供应商推出了结构化模板和书签等技术解决方案，但因双重文档负担和额外培训需求，采用率有限。临床医生常需手动搜索非结构化记录以定位这些讨论，导致关键对话常在病历中丢失。无法有效检索GOC文档记录可导致非必要干预、医疗成本增加及临床医生道德困扰。传统的叙述性文档评估方法，如人工评估和基于规则的系统，常面临成本、准确性和可扩展性方面的挑战。虽然更成熟的自然语言处理（NLP）技术显示出潜力，但在处理临床对话的细微差别方面存在困难，且需要敏感数据进行训练。大语言模型（LLM）已展示出提取和总结临床文本的潜力，但据研究人员所知，尚无模型被集成到电子病历中用于实时临床使用。因此，研究人员评估了将实时LLM筛查纳入电子病历以识别已记录的GOC对话的可行性，旨在改善这一关键信息的可及性和利用率。
二、研究设计与主要技术方法
研究人员采用多学科共识流程制定标注指南并创建金标准数据集。从住院记录中随机选取500份，由三位经验丰富的姑息治疗临床医生使用Labelbox云平台进行审核。标注指南改编自先前建立的系统级文档标准。当记录描述了对话实质、识别了参与者并涉及期望医疗护理的一般水平时，被分类为包含GOC讨论。通过两阶段标注流程（基准项目和共识项目）开发金标准数据集，最终保留488份记录。研究人员测试了多种专有模型，包括GPT-3.5 Turbo、GPT-4、GPT-4o、GPT-4o-mini、GPT-4.1和o1-mini，并评估了分块策略的影响。在确定最佳模型后，实施了自定义电子病历集成点，实现临床记录的实时分析。在四家医院开展六个月试点后，采用两级处理架构进行全企业推广，第一级使用GPT-4o-mini进行主处理，第二级使用GPT-4o进行回退和确认处理。
三、研究结果
模型性能：通过488份人工标注记录评估，GPT-4o（不分块）被选为部署模型，特异度0.95、召回率0.74、精确率0.78。研究人员优先考虑错误类型更可辩护的模型，特别是在人类标注者也难以准确识别GOC讨论的复杂案例中。
偏倚与公平性评估：通过亚组分析评估模型在不同人口统计学亚组中的表现。采用Fisher Mid-p检验评估各人口学组间特异度的相等性，结果显示在种族、性别或年龄类别间无统计学显著差异（特异度范围0.91–1；所有p值>0.05）。虽然四分之五规则在某些亚组中低于0.8，但鉴于缺乏显著统计差异，未发现系统性偏倚的令人信服的证据。
试点实施与分析：模型于2024年12月起在四家急性护理医院处理所有临床记录。前六个月，模型识别出325份先前文档记录工作流程未捕获的额外GOC对话记录。人工审核确认AI预测与人工评估的一致性约为86%。AI标记记录中最常见的服务线为内科/医院医学、肿瘤学和术前护理/外科。
系统扩展与规模化：试点后采用两级处理架构，性能无退化（特异度0.96、精确率0.80、F1分数0.75、准确率0.91），同时成本降低约80%。全企业部署后，模型在前两个月内读取了超过570万份个体记录，覆盖约53.9万名独特患者，识别出37,023名具有GOC对话的患者。具有AI标记GOC记录的患者病情严重度更高，ICU住院≥5天比例30.2% vs 8.2%，住院死亡率14.9% vs 0.6%，临终关怀出院率10.5% vs 0.4%。代码状态变更率显著更高（29.3% vs 9.9%；p<0.05）。
四、讨论与结论
该研究代表了LLM在电子病历中检测GOC讨论的首次实际实施。研究存在若干局限性：模型为特异度优化，可能遗漏某些GOC讨论；处理电子病历中复制转发文本可能导致重复识别；由于总记录量巨大，难以确定真实假阴性率；虽然评估未提示偏倚，但临床文档中的语言和情境线索可能允许间接推断人口统计学属性；该流程不评估所提供照护是否真正与目标一致。未来研究方向包括：评估临床医生与标记记录的互动方式、进行外部验证以确保跨机构泛化性、增强模型可解释性、开发捕获具体决策的结构化格式，以及将框架应用于其他复杂临床内容的识别。研究结论认为，经临床医生裁决、提示工程优化的LLM能够在护理点实时呈现关键患者对话，同时减少破坏性文档记录工作流程。这将先前非结构化的叙述转化为离散、可操作的信号，改善临床决策和系统级测量。研究人员最终设想一种电子病历，不仅存储临床记录，还能清晰、有意义地实时呈现患者故事，以指导以人为本的照护。
