《JAMIA Open》：Evaluating multimodal fusion strategies for early postoperative delirium prediction using structured electronic health record data and clinical narratives
编辑推荐：
目标：评估使用结构化电子健康记录（electronic health record，EHR）数据和临床笔记进行术后谵妄预测的多模态融合策略。材料与方法：研究人员使用接受大手术患者（2013—2021年）的EHR数据，比较了单模态与多模态模型。结构化数据使用XG
目标：评估使用结构化电子健康记录（electronic health record，EHR）数据和临床笔记进行术后谵妄预测的多模态融合策略。材料与方法：研究人员使用接受大手术患者（2013—2021年）的EHR数据，比较了单模态与多模态模型。结构化数据使用XGBoost和自注意力与样本间注意力Transformer（Self-Attention and Intersample Attention Transformer，SAINT）建模，临床笔记使用微调的Bioformer（一种生物医学Transformer语言模型）建模。多模态方法包括特征级、决策级、门控、交叉注意力和表示级融合。结果：表示级融合取得了最高的受试者工作特征曲线下面积（area under the receiver operating characteristic curve，AUC-ROC = 0.791），随后为决策级融合（0.780）、门控融合（0.774）、特征级融合（0.772）和交叉注意力融合（0.765）。在单模态模型中，Bioformer取得的AUC-ROC为0.761，而SAINT和XGBoost取得的AUC-ROC均为0.753。讨论：多模态方法持续提升了性能，提示来自结构化变量和临床叙述的预测信息具有互补性。值得注意的是，尽管表示级融合架构更简单，其表现优于更复杂的融合策略。结论：表示级融合取得了最佳性能，支持将多模态学习用于术后谵妄预测。
**论文解读：多模态融合策略在术后谵妄早期预测中的系统评估**
术后谵妄（postoperative delirium，POD）是老年大手术患者中常见的神经认知并发症，发生率可高达40%，并与住院时间延长、功能衰退及远期不良结局相关。由于谵妄的临床表现具有波动性和非典型性，临床识别难度较大，因此术前筛选出高风险患者对于配置监测资源和实施预防性干预具有重要意义。既往基于结构化电子健康记录（electronic health record，EHR）的机器学习预测多使用XGBoost等树模型，虽具有良好判别性能，但此类模型难以生成可微分的上下文潜在表征，限制了其与端到端多模态深度学习管线的整合能力。与此同时，临床叙述中蕴含的病情描述、风险评估等非结构化信息尚未在传统模型中充分利用。不同模态信息的最佳整合方式——尤其是基于Transformer的结构化数据表征与基于Transformer的临床文本表征如何融合，尚缺乏系统的比较证据。本研究正是基于这一缺口，对多种多模态融合策略开展了规范化评估。
研究人员使用印第安纳患者护理网络（Indiana Network for Patient Care，INPC）中2013—2021年接受大手术的14,100例患者EHR数据，以意识模糊评估法（Confusion Assessment Method，CAM）文档或国际疾病分类第九版/第十版（ICD-9/ICD-10）诊断代码构成的复合结局定义POD，利用术前可获取的结构化变量与术前一年内的临床笔记，比较了单模态模型及五种多模态融合架构。结果显示，表示级融合的SAINT–Bioformer框架取得最高判别性能（AUC-ROC=0.791，95%CI 0.775–0.810），显著优于决策级融合（AUC-ROC=0.780，DeLong检验P=0.0022），并且表现出良好的概率校准（Brier分数为0.194）。多模态模型总体一致优于单模态模型，表明结构化EHR变量与临床叙述可提供互补的预测信息。该研究的意义在于，transformer-based表格表征可有效与语言模型文本嵌入整合，且相对简单的表示级融合策略在预测性能与模型可维护性之间提供了较理想的平衡点，为多模态EHR建模提供了可推广的架构参考。
在技术方法层面，研究队列来源为INPC数据库，最终纳入14,100例行大手术的患者，按患者层面以80%（其中10%用作验证集）与20%划分为训练集和测试集，并保持所有模型使用相同数据划分以保证公平比较。结构化数据分别使用XGBoost、多层感知器（multilayer perceptron，MLP）和SAINT建模；临床笔记使用经低秩自适应（low-rank adaptation）参数高效微调的Bioformer进行编码。多模态整合策略包括：将标准化表格变量与Bioformer嵌入拼接后输入MLP的特征级融合；将XGBoost与Bioformer独立预测分数输入逻辑回归元分类器的决策级融合；对模态表征进行学习式自适应加权的门控融合；以多头注意力实现表格表征投影与Bioformer嵌入交互的交叉注意力融合，以及将SAINT与Bioformer潜在表征逐元素求和后接MLP分类的表示级融合。评估指标包括AUC-ROC、敏感性、特异性、精确率-召回率曲线及Brier分数。
在结果部分，“模型评估：判别与校准”这一核心环节显示，表示级SAINT–Bioformer融合模型在测试集上取得最高判别性能，AUC-ROC为0.791，并通过精确率-召回率分析获得平均精确率0.787；可靠性图显示预测概率与观测事件率在大部分风险区间内接近一致，Brier分数为0.194，表明其校准性能可接受。结合各融合策略的表现，研究进一步指出，虽然交叉注意力融合通过多头注意机制显式建模了跨模态交互，但其AUC-ROC为0.765，未超过更简单的表示级融合。这可能是因为SAINT和Bioformer各自已学习到信息充分的模态特异表征，额外交互层带来的边际收益有限。决策级融合（0.780）虽然与表示级融合最为接近，但需分别训练多个模态模型并额外训练元分类器，增加了流程复杂度。整体来看，表示级融合在保持预测优势的同时，架构更加精简，且每个模态编码器可独立更新或替换，体现出良好的模块化特性。
在讨论与局限性方面，研究人员指出，多模态学习的预测优势不仅来源于模态间信息的互补性，还取决于各模态的表示方式与融合设计的合理选择。与采用传统自然语言处理流程（如词袋表示）并配合随机森林的既有研究相比，Transformer嵌入对临床叙述具有更强的上下文建模能力。本研究的可解释性分析未被纳入，注意力权重未作为解释性指标；同时，该回顾性研究基于INPC单中心数据，未进行外部验证；POD的判定依赖CAM文档与ICD诊断编码，可能存在漏诊或错分类风险；模型预测目标为术后住院期间POD是否发生而非其精确时点，且仅使用静态术前信息，未纳入纵向轨迹信息。研究结论认为，对多模态融合策略的系统评估表明，将结构化EHR变量与临床文本整合可在POD预测中较单模态方法显著改善判别性能；其中使用SAINT与Bioformer的表示级融合在采用相对简单架构的同时取得了最强整体表现，证明Transformer表格表示可与Transformer来源的临床文本嵌入在统一多模态框架中有效融合。更广泛而言，表示级融合为多模态临床预测提供了一种兼顾预测性能与实施复杂度的有效方案，后续仍需通过前瞻性及外部验证评估其实际临床效用与工作流程整合可行性。
