基于大语言模型的电子健康记录多模态预测建模：系统综述与集成策略分析

《npj Digital Medicine》：Large language models for multimodal clinical predictive modeling: a systematic review

　　

摘要

电子健康记录（EHR）包含结构化和非结构化数据，两者对于全面表示患者病史至关重要。大语言模型（LLMs）的出现使得能够利用EHR数据的机器学习模型可以纳入非结构化数据模态。在本系统综述中，我们表征了利用基于大语言模型的多模态预测建模与EHR数据的研究。在对641项研究进行筛选后，57项符合纳入标准。我们确定了三种基于大语言模型的多模态集成策略：嵌入、提取和文本融合。根据融合时非结构化数据的格式，所有策略相较于单一模态模型均表现出性能提升（平均提高6.4%）。大语言模型通过生成笔记嵌入用于下游预测、提取具有临床信息的变量以及在融合前对长文本文档进行总结等方式促进了建模。基于本综述，我们确定了大语言模型增强的预测建模需要考虑的因素，包括样本量、可解释性和计算成本。本研究支持了大语言模型在基于EHR的预测建模中的潜在价值，并为未来多模态建模工具提供了框架。