《PLOS Digital Health》:Large language model-generated clinical summaries in emergency departments: A blinded comparison study
编辑推荐:
急诊科(ED)临床医师常规构建“单行摘要”,将患者病史和临床表现提炼为一句支持快速决策的高价值语句。生成这些摘要具有认知负荷。大语言模型(LLMs)可能通过综合纵向电子健康记录(EHR)数据提供辅助。在这项对99例急诊就诊的盲法研究中,急诊医师对配对的LLM生
急诊科(ED)临床医师常规构建“单行摘要”,将患者病史和临床表现提炼为一句支持快速决策的高价值语句。生成这些摘要具有认知负荷。大语言模型(LLMs)可能通过综合纵向电子健康记录(EHR)数据提供辅助。在这项对99例急诊就诊的盲法研究中,急诊医师对配对的LLM生成摘要与医师撰写摘要的准确性、完整性和临床效用进行了评估,并附文字解释说明总体偏好。研究利用k近邻少样本提示法生成LLM单行摘要。采用线性混合效应模型比较评分,同时考察LLM的选择性笔记纳入情况,并使用快速内容分析总结文字解释。研究发现,在所有维度上,LLM生成摘要的评分均高于医师撰写摘要。准确性方面,估计边际均值(标准误)分别为4.18(0.09)和3.40(0.11)(β=0.78;95%置信区间[CI] 0.50-1.07);完整性方面为3.69(0.10)和3.25(0.12)(β=0.44;95% CI 0.14-0.74);临床效用方面为3.88(0.10)和3.21(0.12)(β=0.67;95% CI 0.35-0.99)。LLM利用了53.2%的可用笔记,其中病史与体格检查(H&P)笔记在97.0%的病例中被请求,影像报告在81.8%的病例中被请求,展现出因主诉显著变化的语境敏感文档选择模式。定性分析表明,LLM摘要通常更全面且措辞中立,而医师摘要具有更强的语境细微差别,但偶尔遗漏关键细节。这些发现是评估LLM能否从纵向EHR数据生成临床可接受单行摘要的重要第一步;在部署于真实世界ED工作流程之前需要进行前瞻性验证。
**论文解读文章**
**研究背景与问题**
急诊科(ED)临床医师在高度时间压力、资源受限和频繁中断的环境下做出快速高风险的决策。面对初次接触的患者,医师必须迅速将患者电子健康记录(EHR)中来自多个来源的临床数据整合为连贯的心理模型,以支持诊断推理和即时管理。这一过程中的关键早期步骤是构建一个简洁的“单行摘要”——一种急诊科特有的临床总结,将患者的人口学特征、病史和主诉提炼为一句解释性陈述,通常位于临床笔记的“现病史(HPI)”部分开头。与长期了解患者的临床环境不同,急诊科医师在缺乏预先熟悉度的情况下接诊,因此快速综合并总结相关临床信息对情境意识尤为重要。然而,生成高质量单行摘要具有认知挑战:急诊科医师平均每小时被中断12-13次,同时需要浏览由不同医疗机构多个提供者撰写的复杂纵向记录,这些记录可能包含多种笔记类型(如出院小结、会诊笔记、影像报告)。这种认知劳动直接与床边患者护理竞争,导致疲劳和职业倦怠。大语言模型(LLMs)在临床推理和总结任务中展现出强大性能,但此前尚无研究系统评估LLM生成单行摘要的能力,尤其是需要整合多个EHR信息类型(如临床笔记、影像报告)和跨时间临床就诊的任务。该空白与急诊科环境尤为相关,因为快速综合信息(通常在数秒至数分钟内)对关键决策至关重要。
**研究内容与结论**
该研究旨在评估LLM通过综合来自既往住院就诊的临床笔记和影像报告信息生成急诊科单行摘要的能力。研究采用实验设置模拟急诊科医师在患者接诊中的真实认知需求。为了评估LLM生成摘要的质量,研究人员进行了一项盲法评估,请21名急诊医师(12名主治医师、9名住院医师)对配对出现的LLM生成摘要与医师撰写摘要进行并排比较,分别从准确性、完整性和临床效用三个核心维度进行5点Likert量表评分,同时指示总体偏好并可选附文字理由。研究结果显示,在所有99例病例中,LLM生成摘要的评分在准确性(估计边际均值4.18 vs 3.40,β=0.78,95% CI 0.50-1.07,p=1.98×10
-7)、完整性(3.69 vs 3.25,β=0.44,95% CI 0.14-0.74,p=0.0030)和临床效用(3.88 vs 3.21,β=0.67,95% CI 0.35-0.99,p=3.28×10
-5)上均显著高于医师撰写摘要。总体偏好方面,LLM生成摘要的胜率为56.8%(排除平局后)。定性分析表明,LLM摘要更忠实于病历记录、时间准确且包含关键细节,而医师摘要则提供更丰富的语境细微差别。该论文发表在《PLOS Digital Health》。
**关键技术方法**
研究人员使用k近邻少样本提示法(kNN few-shot prompting):首先根据主诉分组,利用句子转换器(sentence-transformer)嵌入出院小结和主诉文本,检索三个最相似的病例作为示例,每个示例包含医师撰写的单行摘要,并将其插入提示中作为上下文示例。LLM采用OpenAI GPT-4o(温度=0.1),通过UCSF的HIPAA合规Versa API访问。模型被允许从最近一次既往住院就诊中最多选择7种笔记类型(包括出院小结、病程记录、会诊笔记、病史与体格检查[H&P]笔记、影像报告、超声心动图报告、心电图报告),实际利用了53.2%的可用笔记。样本队列来自加州大学旧金山分校(UCSF),纳入2022年3月至2024年3月间年龄≥18岁且有至少一次既往住院的急诊就诊(共3984例符合条件,最终分析99例)。评估使用线性混合效应模型(以摘要类型为固定效应、审评者为随机截距)进行统计分析,并采用快速内容分析处理自由文本理由。
**研究结果**
- **队列特征**:最终分析纳入99例唯一急诊就诊。来自最近一次既往住院的笔记中,几乎所有患者包含病程记录(99%)、H&P笔记(98%)和影像报告(98%)。心电图(ECG)在87%的病例中存在,会诊笔记占64%,超声心动图报告占56%。每例所有笔记合并的平均(SD)长度为5598(2314)字,包含平均6.0种不同笔记类型。
- **LLM生成摘要情况**:LLM平均(SD)请求3.73(0.67)份笔记(中位数4.0),利用53.2%的可用笔记。H&P笔记几乎普遍被请求(97.0%),其次为影像报告(81.8%)。笔记选择模式因主诉类别显著变化(Kruskal-Wallis H=17.29,p<0.001)。心肺系统主诉(如气促)需要最全面的笔记(平均4.9份),且普遍包含心脏检查;而肌肉骨骼主诉(如背痛)所需笔记较少(平均3.2份)并适当排除心脏笔记;精神科评估则高比例利用病程记录(75%)和会诊笔记(100%),同时完全避免影像和心脏检查。
- **单行摘要评估**:在调整审评者随机效应的混合效应模型中,LLM生成摘要的评分在准确性(β=0.78)、完整性(β=0.43)和临床效用(β=0.67)上均显著高于医师撰写摘要。总体复合评分同样倾向于LLM(β=0.626,SE=0.131,95% CI 0.369-0.884,p=3.82×10
-6)。病例级方差估计为零,而审评者级方差非零(SD≈0.65-0.80),表明个体间评分严格性存在差异。
- **笔记特征与摘要表现**:对于LLM生成摘要,总体笔记长度与评分无显著关联;但H&P笔记越长,准确性越高(r=0.243,p=0.016),而病程记录越长,完整性和总体质量越差(r=-0.229,p=0.023)。当影像报告被LLM纳入时,摘要质量评分更高(均值4.05 vs 3.58,Cohen's d=0.49,p=0.078);超声心动图报告的纳入也显示正向效应(Cohen's d=0.32)。
- **定性分析**:55份配对评估包含自由文本评论。主要主题包括:(1)事实可靠性(与源文档一致性);(2)包含与主诉相关的临床语境以助鉴别诊断;(3)准确引用关键临床事件的新近度和时间点;(4)支持分诊或管理决策的可操作信息。审评者常赞赏LLM摘要的事实可靠性和对病历记录的忠实,而医师摘要的语境丰富性(包括关键合并症和诊断细微差别)更受青睐。有审评者指出两者互补,认为结合二者可产生更临床实用的摘要。
**讨论与结论**
讨论部分指出,该研究表明在领域特定语境下,LLM生成的单行摘要在盲法回顾性比较中获得了高于医师撰写的准确性、完整性和临床效用评分。LLM的表现不受笔记数量影响,表明其对信息密度和碎片化具有稳健性,这有助于减轻认知超载和疲劳。然而,医师摘要提供了语境细微差别,提示混合工作流(LLM提供结构化基础,医师进行语境化细化)可能最有前景。任何部署都必须注意自动化偏差风险,应包含医师对时间声明的审查、明确标记LLM生成内容以及持续监测摘要准确性。与先前研究(如Van Veen等人的放射学报告总结、Williams等人的出院小结总结)相比,该研究发现LLM优势更明显,主要归因于kNN少样本提示和选择性多就诊笔记纳入,显著减少了零样本方法中出现的常见错误类型(时间线坍缩和结果误归因)。研究还表明,高价值笔记(H&P、影像报告)不成比例地提高了摘要质量,而冗长的病程记录则降低质量,提示目标性检索的重要性。局限性包括单中心设计、单审评者设计无法估计信度、评估设计中的结构性不对称(医师在临床中可能获得笔记未反映的信息),以及样本对复杂病例的选择偏倚。研究结论为:在这项盲法评估中,LLM生成单行摘要的准确性、完整性和临床效用评分均高于医师撰写摘要,表明在结构化提示和临床监督下,生成模型可在受控回顾性比较中产生评分更高的摘要。前瞻性验证是临床部署前的必要下一步,实施必须优先考虑透明性和安全性,使这些工具增强而非取代临床推理。