《AI in Precision Oncology》:A Scalable Method for Validated Data Extraction from Electronic Health Records with Large Language Models
编辑推荐:
摘要
目的/背景: 医疗机构日益需要结构化的患者级临床变量,用于治疗决策、运营流程、质量测量和临床试验筛选。相关信息往往分散在异构的电子健康记录系统中、非结构化格式和扫描文档中。大语言模型为增强病历提取提供了机会,尤其是在肿瘤学领域,因为诊疗点的结构化编码很少
摘要
目的/背景: 医疗机构日益需要结构化的患者级临床变量,用于治疗决策、运营流程、质量测量和临床试验筛选。相关信息往往分散在异构的电子健康记录系统中、非结构化格式和扫描文档中。大语言模型为增强病历提取提供了机会,尤其是在肿瘤学领域,因为诊疗点的结构化编码很少能捕捉患者完整的纵向临床病程。
方法: 研究人员开发了两种互补的基于大语言模型的方法。第一种方法基于模式(schema)执行命名实体识别(Named Entity Recognition,NER)和关系抽取(Relation Extraction,RE),从非结构化文档中提取信息,并将输出标准化为快速医疗互操作性资源(Fast Healthcare Interoperability Resources,FHIR)和观察性健康数据科学与信息学(Observational Health Data Sciences and Informatics,OHDSI)词汇表。第二种方法采用检索增强的清单框架,该框架查询嵌入的文档文本以及结构化数据,返回带有基于证据的论证和来源引用的自定义输出。通过人工验证、自动化一致性检查和迭代错误分析来评估性能。
结果: 基于模式的用于药物、放射和外科手术的大语言模型提取器达到了约95%的准确率、精确率、召回率和F1分数。在3,493名患者中部署后,大语言模型提取相比结构化电子健康记录来源,识别出的肿瘤药物成分增加了207%。65%的患者捕捉到了肿瘤治疗,而结构化数据中这一比例为40%,并且属性覆盖率显著提高:处方适应症(71%对5%)和停药原因(10%对0%)。对于放射和肿瘤外科手术,大语言模型提取的患者覆盖率是结构化来源的三倍多。清单框架在4,802个验证元素中,癌症诊断变量的提取达到了99.0%的F1分数,治疗线数达到了97.6%。93.5%的患者识别出了癌症诊断和日期,而结构化数据中这一比例为69.8%;分期和分级分别提取到了64%和62%,而结构化数据中几乎为零。治疗线清单在2,320名患者中生成了4,218条治疗线,捕捉了治疗方案日期、最佳反应、停药原因和进展日期。在有反应数据的患者中,客观缓解率从一线治疗的65%下降到三线治疗的22%,一线治疗反应率从结直肠癌的43%到食管癌的85%不等。
结论: 两种互补的基于大语言模型的策略显著提高了来自异构病历的结构化临床数据的完整性和实用性,支持为临床分析、研究和运营流程可扩展地生成可互操作的患者级数据集。
一、研究背景与目的
医疗数据的互操作性虽已提升,但由于系统多样性和文档标准化流程的缺乏,在诊疗点查找关键信息仍具挑战。患者医疗信息分散于不同实践机构和系统的众多系统中,即便能跨不同电子健康记录系统访问记录,信息检索也颇具难度。此外,自由文本病历旨在促进临床沟通,而电子健康记录中的结构化数据则服务于计费目的,因此访问病历中的信息对于临床护理的连续性至关重要。
然而,临床病历在语义和语言上均较为复杂,包含可能未执行的医嘱、特殊形式的否定表达以及大量依赖上下文的缩写,这些对自然语言处理均构成挑战。既往的基于规则和统计方法(如条件随机场)以及混合和机器学习方法虽在学术环境中取得良好性能,但规则系统难以开发且缺乏真实世界的稳健性,机器学习方法则受限于有限的公共训练数据集以及创建标注训练数据的成本和专业知识要求。值得注意的是,这些系统远未达到最初I2B2挑战赛提出的95%准确率和F1分数的临床使用标准。近年来,专用大语言模型在上述及更复杂的提取任务中展现出强大能力。为此,研究人员开发了一种高度可扩展的解决方案,使用通用大语言模型进行准确的临床文本分类和结构化数据提取,该方案可快速实施和调整,达到目标性能,实现高效有效的数据检索,并与标准医疗数据模型集成。
二、研究设计与方法概述
该研究构建了一个包含数据收集与预处理、嵌入模型与文本分块、分类与语义搜索等核心功能的平台。患者文档以多种格式接收,包括图像文件、快速医疗互操作性资源(Fast Healthcare Interoperability Resources,FHIR)和整合型临床文档架构(Consolidated Clinical Document Architecture,C-CDA)文件。文档按章节、段落或预定义标题进行分块,并使用文本嵌入模型生成向量表示。通过结合嵌入向量和监督式随机森林分类器的混合架构,实现了文档章节标签的标准化分类。
研究开发了两种互补的基于大语言模型的方法。方法一为自下而上的基于模式的提取与标准化,应用大语言模型进行命名实体识别(Named Entity Recognition,NER)和关系抽取(Relation Extraction,RE),从非结构化文本中捕捉原文术语和值,并转换为与FHIR R4对齐的标准化结构化数据。方法二为自上而下的基于清单的患者级断言与自动语义检索,通过预设的大语言模型提示回答特定临床问题,返回带有证据论证和来源引用的结构化输出。检索增强生成工作流通过语义搜索自动识别候选文档,并由清单特定过滤器细化。提取结果映射至FHIR R4资源,并标准化至观察性健康数据科学与信息学(Observational Health Data Sciences and Informatics,OHDSI)词汇表。验证由临床培训的人工评审员独立进行,随机抽取10%进行审计。研究队列由覆盖实体合作伙伴(一家分子诊断实验室)识别的患者组成,记录了来自美国54个州/地区的就诊文档。
三、主要研究结果
模式提取器性能: 针对药物、放射和外科手术三种模式,在初始验证队列中,提取器在准确率、精确率、召回率和F1分数方面均达到约95%或更高。具体而言,药物提取在38名患者的216份文档上验证,放射在25名患者的408份文档上验证,外科手术在108名患者的534份文档上验证。
清单框架性能: 诊断清单和治療线清单部署于99名确诊癌症患者。诊断清单在3,960个元素上达到98.2%准确率、98.7%精确率、99.4%召回率和99.0% F1分数;治療线清单在842个元素上达到97.0%准确率、95.4%精确率、99.8%召回率和97.6% F1分数。语义检索显著减少了文档负担,每个诊断清单项中位引用4份文档,每个治療线清单项中位引用8份文档。
大规模部署信息增益: 将验证后的提取器部署于3,493名预期癌症患者队列。与结构化C-CDA数据相比,大语言模型提取使肿瘤药物成分增加207%,肿瘤治疗患者覆盖率从40%提升至65%,处方适应症覆盖率从5%提升至71%,停药原因从0%提升至10%。放射治疗患者覆盖率从411人(12%)提升至1,247人(36%),外科手术患者覆盖率从1,402人提升至3,351人。诊断清单为93.5%的患者识别出初始诊断和日期,而结构化数据为69.8%;癌症分期提取率为64%,分级为62%,而结构化数据中几乎为零。治療线清单在2,320名患者中生成4,218条治疗线。
队列分析: 在3,493名患者队列中,肺癌(n=1,068)、乳腺癌(n=1,035)和结直肠癌(n=407)为最大亚组。一线治疗中位持续时间为91天,二线为90天,三线为133天。在有反应数据的患者中,客观缓解率(ORR)从一线治疗的65%下降至三线治疗的22%,疾病控制率(DCR)从85%下降至54%。一线ORR因癌症类型而异,从结直肠癌的43%至食管癌的85%。
四、讨论与结论
研究结果表明,基于大语言模型的提取能有效从异构病历中生成结构化的纵向肿瘤学数据,涵盖诊断、治疗顺序、反应和结局,显著增强了结构化电子健康记录数据的完整性。两种提取方法深度集成,模式提取的药物和放射数据直接输入治療线清单,实现患者级临床摘要的生成。该分层架构可复现于多种临床抽象工作流。
研究存在若干局限性。提取准确性依赖于高质量输入文档,扫描文档的光学字符识别(OCR)性能变化可能引入错误。严格的验证步骤对减轻幻觉至关重要。客观缓解率和疾病控制率估计需谨慎解读,因为最佳反应仅记录了18.5%的治疗线,且可评估子集非随机,反应类别源自临床医生和放射科医生的自由文本而非独立RECIST 1.1裁定。
结论指出,两种互补的基于大语言模型的策略显著提高了异构病历中结构化临床数据的完整性和实用性,支持为临床分析、研究和运营流程可扩展地生成可互操作的患者级数据集。随着真实世界医疗数据量和复杂性的持续增长,能够将碎片化记录转化为结构化、可追溯且临床有意义输出的平台,对于实现精准肿瘤学研究、支持临床试验匹配和加速循证医疗至关重要。