编辑推荐:
为解决传统 NLP 方法在 EMS 电子健康记录(EHR)自动文档化中处理医学术语、语境歧义及数值提取等难题,研究人员开展多 LLMs 整合框架研究。评估 Claude 3.5 等模型,发现整合框架 F1 得分更高,有望提升急诊文档效率。
电子健康记录(EHR)文档化自动化可显著减轻医护人员负担,在快速精准记录至关重要的急诊场景中尤为关键。该自动化的核心在于利用自然语言处理(NLP)技术将转录对话转化为结构化 EHR 字段,例如从 “他的体温是 39.1,也就是华氏 102.4 度” 中提取 “102.4 华氏度” 这类体温值。但传统基于规则和单一模型的 NLP 方法常受限于特定领域医学术语、语境歧义及数值提取错误。本研究探索整合多个大型语言模型(LLMs)以提升急诊医疗服务(EMS)文档准确性的潜力,开发了 LLM 整合框架,并在包含 40 例 EMS 培训模拟转录对话的数据集上对 Claude 3.5、GPT-4、Gemini 和 Mistral 这四个前沿 LLMs 进行评估,评估聚焦于零样本和少样本学习场景下的精确率、召回率和 F1 分数。结果显示,整合 LLM 框架性能优于单个模型,在零样本和少样本学习场景下总体 F1 分数分别达到 0.78 和 0.81。除定量评估外,还与领域专家开展初步用户研究,评估整合框架的感知有用性和挑战,结果表明该方法相比传统手动文档化有减少文档化工作量的潜力,但也存在医学语境误解和偶尔遗漏等挑战,凸显了需进一步优化的方向。本研究首次系统探索和评估 LLMs 在实时 EMS EHR 文档化中的应用,通过解决自动转录和结构化数据提取中的关键挑战,为实际应用奠定基础,有望提升急诊医疗文档的效率和准确性。