《JAMIA Open》:Registry Forge: an open-source end-to-end pipeline for patient-directed SMART on FHIR registries
编辑推荐:
摘要
目的:患者导向型SMART on FHIR(基于FHIR标准的可替代医疗应用技术规范)使注册研究能够获取纵向电子健康记录数据,但所获取的数据载荷在投入使用前需要大量的工程处理。研究人员提出Registry Forge,一个开源流水线,用于将此类数据转换为
摘要
目的:患者导向型SMART on FHIR(基于FHIR标准的可替代医疗应用技术规范)使注册研究能够获取纵向电子健康记录数据,但所获取的数据载荷在投入使用前需要大量的工程处理。研究人员提出Registry Forge,一个开源流水线,用于将此类数据转换为可直接用于人工审核整理(curation-ready)的输出结果。
材料与方法:Registry Forge解析C-CDA(临床文档架构整合版)、HTML、RTF、PDF及FHIR输入,将记录关联至规范化的患者标识符,并输出浏览器端仪表盘、OMOP CDM v5.4(观测医学结果伙伴通用数据模型5.4版)数据集、GA4GH Phenopackets v2(全球基因组学与健康联盟表型数据包v2版)、编码清单以及疾病特异性叙事文本提取结果。
结果:将该流水线应用于ALS研究协作研究(肌萎缩侧索硬化研究协作研究,94名参与者,覆盖56个美国医疗系统),共处理22 686个文件及1 791个FHIR Bundle(FHIR资源包,含109 599个资源);其中仅15.0%的文件为完整C-CDA XML文档,HTML(48.4%)与RTF(34.3%)格式占主导地位。
讨论:实际获取的数据载荷远比通常假设的更为异构;该架构设计注重可扩展性,但其通用性仍有待进一步验证。
结论:Registry Forge弥合了数据获取与可直接用于审核整理的数据之间的差距,无需服务器基础设施即可运行,并以开放方式公开提供。
论文解读:Registry Forge——面向患者导向型SMART on FHIR注册研究的开源端到端数据治理流水线
一、研究背景与问题提出
患者注册研究(patient registry)和自然病史研究(natural history study)是临床研究中重要的数据收集模式,通常需要长期追踪特定疾病人群的详细医疗记录。传统的数据获取方式依赖参与者自行填写问卷或由各参与中心分别提供医疗记录,效率低且数据完整性受限。美国《21世纪治愈法案最终规则》(21st Century Cures Act Final Rule)实施后,经认证的健康信息技术模块必须支持FHIR R4(快速医疗互操作性资源第4版)API以及SMART App Launch(基于FHIR的可替代医疗应用启动协议)和OpenID Connect授权,这使得患者能够通过登录医院的患者门户,授权外部注册研究访问其自身的电子健康记录数据。这一联邦层面的规则从根本上改变了注册研究的数据获取模式,显著减少了逐中心签署数据使用协议的负担。
然而,研究人员指出,获取数据并不等同于获得可用数据。在实际的患者导向型检索工作流中,通过FHIR Bundle导出以及DocumentReference(文档引用资源)和Binary(二进制资源)检索所获得的数据,是C-CDA(临床文档架构整合版)XML、FHIR JSON以及多种供应商依赖格式的叙事附件的混合体。每一种数据产物都需要经过解码、解析、去重、关联至规范化患者标识符,并最终呈现以供审核。对于小型注册研究,尤其是罕见病注册研究而言,往往缺乏专职数据工程人员来完成这一系列复杂的工程处理工作。因此,亟需一种可复现、本地优先、开源的流水线,能够将异构的SMART on FHIR获取的数据存储库转化为研究人员可直接使用的标准化输出。
二、研究内容与核心结论
针对上述问题,研究人员开发并评估了Registry Forge,一个开源端到端流水线,旨在弥合数据获取与数据可用之间的工程鸿沟。该流水线遵循“全量提取、延后整理”(extract-all, curate-later)的设计理念,采用七阶段核心流水线加独立下游模块的架构。核心流水线负责解码和解析所有输入产物、跨C-CDA与FHIR数据流关联记录、丰富不完整的显示名称字段、支持可审计的测试记录排除,并生成编码清单与患者主索引。下游模块则基于同一数据包分别生成浏览器仪表盘、OMOP CDM v5.4(观测医学结果伙伴通用数据模型5.4版)数据集、GA4GH Phenopackets v2(全球基因组学与健康联盟表型数据包v2版)文档、疾病特异性叙事内容提取结果等。研究人员将该流水线应用于ALS研究协作研究(肌萎缩侧索硬化研究协作研究)的真实队列,验证了其工程可行性与实用性。
研究得出的核心结论是:患者导向型SMART on FHIR实际返回的数据载荷远比许多研究者预期的更为异构。在研究的真实队列中,仅有15.0%的文件是完整的C-CDA XML文档,而HTML(48.4%)和RTF(34.3%)叙事文档合计占存储库的八成以上。这一发现具有广泛的警示意义——任何假设所有DocumentReference附件均为C-CDA的流水线,都将在处理过程中静默丢弃大部分源材料。Registry Forge通过magic-byte格式检测和格式特异性解析器,成功处理了全部异构格式,并在约30分钟内(标准笔记本环境)完成了整个存储库的端到端处理,无需任何服务器或云基础设施,证明了其在有限工程资源条件下的实用性。
三、关键技术方法概述
研究人员构建的Registry Forge流水线主要采用以下关键技术方法:七阶段核心流水线,包括阶段1的分块CSV重组与base64解码、阶段2的magic-byte格式检测与格式特异性解析(C-CDA使用xml.etree.ElementTree、RTF使用自定义剥离器、PDF使用pypdf、HTML使用html.unescape)、阶段3的13种FHIR资源类型特异性提取器、阶段4的按患者标识符统一结构化表并添加来源标签、阶段5的LOINC显示名称回填、阶段6的配置驱动测试患者过滤、阶段7的编码清单生成;OMOP ETL模块读取数据包与OHDSI Athena词汇表并写入9张CDM v5.4表;Phenopackets v2 ETL模块为每位患者生成1份JSON文档;正则表达式叙事提取模块应用模式库从自由文本中提取疾病特异性内容。研究队列来源为ALS研究协作研究(94名参与者,覆盖56个美国医疗系统)。
四、研究结果
输入与架构:研究人员处理了两个并行目录,包括22 686个通过SMART on FHIR DocumentReference和Binary端点检索的文档文件,以及1 791个各含1名患者FHIR Bundle的JSON文件。流水线采用七阶段核心加独立附加模块的架构,遵循全量提取、延后整理的哲学,保留C-CDA与FHIR双数据流中的重复观测并标注来源系统,供采用者自行制定下游去重规则。
核心流水线:阶段1重组分块CSV导出并按文档标识符base64解码载荷;阶段2基于magic-byte检测将每个文件路由至格式特异性解析器,并按域优先级选择主编码同时保留完整编码列表;阶段3遍历FHIR Bundle并将每个资源分派至13种资源类型之一的特异性提取器,通过subject.reference解析患者关联;阶段4按患者标识符统一结构化表并标注来源;阶段5从内置LOINC查找表回填缺失的displayName属性;阶段6通过配置驱动过滤器排除测试患者记录;阶段7生成编码清单。无法识别格式的文件被解码为纯文本、标记为未知、计入运行日志并保留供审核,而非静默丢弃。
附加模块:OMOP ETL读取数据包及OHDSI Athena词汇下载,写入9张CDM v5.4表,按标准概念域而非源类别路由记录;Phenopackets v2 ETL为每名患者生成1份JSON文档及1份Cohort文档,附带运动神经元病、癫痫和自身免疫性神经系统疾病的种子映射;正则表达式叙事提取模块对每个自由文本源应用模式库,每处匹配输出1行,包含患者标识符、来源、模式、值、片段和偏移量,内置ALS特异性模式涵盖ALSFRS-R评分、El Escorial确定性、发病部位、家族史、基因提及、用力肺活量和治疗里程碑。
结果:在94名参与者的队列中,记录解析至56个美国医疗系统,以Epic为主并含部分Cerner;约三分之一的参与者关联了来自多个系统的记录。magic-byte格式检测显示仅15.0%的文件为完整C-CDA XML,HTML(48.4%)和RTF(34.3%)合计占八成以上。流水线从Bundle流处理了109 599个FHIR资源,提取了33 084个C-CDA章节叙事及14 825个叙事文档(排除测试记录后)。编码清单枚举了数千个跨SNOMED CT、ICD-10-CM、RxNorm、LOINC、CVX和CPT-4的唯一编码对。约36%的LOINC编码观测缺少displayName属性,阶段5富集补充了39 022个标签,将显示名称覆盖率从64%提升至84%。OMOP ETL成功填充全部9张目标CDM表,Phenopackets ETL为每名参与者生成1份有效v2 JSON文档。在合成演示队列上,正则表达式叙事提取模块恢复了内置模式库中所有类别的ALS特异性内容。完整端到端运行约需30分钟,OMOP ETL另加约5分钟,均在标准笔记本上完成。
五、讨论与结论
讨论部分指出,通过患者导向型SMART on FHIR获取数据的注册研究很可能面临结构上相似的问题。研究人员总结了常见的获取后问题及对应解决层:异构载荷格式由阶段2的magic-byte检测和格式特异性解析器解决;标识符映射溯源缺口由阶段4的患者导入审计表连接解决;供应商特异性显示名称缺失由阶段5回填解决;测试或非临床记录由阶段6配置驱动过滤解决;映射流水线未知的源编码由阶段7编码清单解决;OMOP词汇版本漂移由词汇标记输出文件夹及CDM_SOURCE.csv版本记录解决;叙事中困住的疾病特异性内容由正则表达式提取模块解决。
研究人员明确区分了互操作性与协调性:Registry Forge将异构产物纳入统一的、带溯源标签的框架,其输出是可直接用于审核整理而非直接用于分析的。协调C-CDA与FHIR双数据流中的重复观测、冲突值、跨系统时间对齐、表型定义和队列构建仍属下游活动,需要方法学判断。研究验证了工程可行性而非语义有效性,填充的OMOP表和模式有效的Phenopackets本身并不确立概念映射准确性或临床意义保留。研究的主要受众是医疗系统之外运营的注册研究,包括通过商业患者导向型检索服务获取记录的患者倡导非营利组织。研究局限包括基于单一注册研究开发测试、生产队列规模较小、正则表达式模式库为种子而非验证过的生产NLP、五层质量控制框架为起点而非Kahn等人数据质量框架或OHDSI数据质量仪表盘的替代品。
研究结论指出,患者导向型SMART on FHIR显著扩展了患者注册研究的数据获取选项,但使获取数据可用所需的分析工作不成比例地落在缺乏内部数据工程能力的小型注册研究身上。在所报告的队列中,数据载荷以叙事文档为主而非完整C-CDA文档。在本文所展示的背景下,Registry Forge端到端弥合了这一差距,无需服务器基础设施,将异构的SMART on FHIR获取的文档存储库转化为研究者可用的浏览器查看器、OMOP CDM v5.4数据集、GA4GH Phenopackets、编码清单以及疾病特异性叙事内容的结构化提取结果。完整实现包括全合成演示数据集,已在MIT许可下公开提供。