EHRForge：从临床笔记构建基于证据的时序问答基准的可复现工作流

《Computers》：EHRForge: A Reproducible Workflow for Constructing an Evidence-Grounded Synthetic Temporal QA Benchmark from Longitudinal Clinical Notes

　　

摘要

纵向电子健康档案 (EHRs) 是时序问答问题的自然来源，但将其转化为可靠的基准不仅仅是提示语言模型生成问答那么简单。我们提出了 EHRForge，这是一个可复现的工作流，用于从受治理的临床笔记集合中构建基于证据的合成时序问答基准。该工作流构建按时间顺序的就诊级时间线，根据历史长度选择上下文，生成模式约束的问答候选项，然后对这些候选项进行确定性的时序和结构检查，随后进行片段到就诊的证据对齐，以匹配源笔记。在一项受限的机构案例研究中，EHRForge 生成了 27,558 个候选项。其中，18,867 个 (68.5%) 通过了第一阶段验证，10,742 个 (占原始候选项的 39.0%) 在 829 名患者中通过了自动证据对齐阶段。人工验证包括对第一轮被拒绝的 300 个、第二轮被拒绝的 300 个以及保留的 1000 个项目进行双重审查。在保留集上，两名人工验证者之间的原始一致性在五质量准则中从 96.4% 到 99.3% 不等，Cohen's 系数范围为 0.459 到 0.737。在下游问答实验中，我们在检索增强问答设置中评估了四种检索方法，其中 NV-Embed-v2 在从完整患者时间线检索时，Hit@5 达到 77.0%，Recall@5 达到 59.0%，Coverage@5 达到 41.7%。Qwen2.5-32B 在使用 NV-Embed-v2 证据时达到 40.1 词元 F1 分数，在使用完美证据时达到 46.7。进一步分析表明，这种完美证据差距的大部分产生于一个或多个标注的证据就诊未能到达阅读器时。这些结果将 EHRForge 定位为一种可审计且可配置的方法，用于在必须保留来源溯源和机构数据治理的设置中进行基准构建。