《Bioengineering》：Evidence-Guided Multimodal Risk Prediction Framework for Severe COVID-19 Outcomes Using EHR and CT Imaging for COVID-19 Clinical Decision Support
编辑推荐：
早期识别需要重症监护的COVID-19患者对于改善治疗优先级排序、支持临床决策以及管理有限的医院资源至关重要。虽然结构化电子健康记录（EHR）数据提供了重要的生理信息，但胸部计算机断层扫描（CT）成像包含了与疾病严重程度相关的额外指标。本研究提出了一种多模态临
早期识别需要重症监护的COVID-19患者对于改善治疗优先级排序、支持临床决策以及管理有限的医院资源至关重要。虽然结构化电子健康记录（EHR）数据提供了重要的生理信息，但胸部计算机断层扫描（CT）成像包含了与疾病严重程度相关的额外指标。本研究提出了一种多模态临床决策支持框架，用于预测严重COVID-19结局，该框架利用来自COVID数据共享学习（CDSL）数据集的结构化急诊临床特征和患者层面的CT成像。在多模态队列构建后，纳入了784名同时拥有结构化临床记录和CT成像的患者进行分析。研究人员评估了三种预测设置：使用梯度提升（Gradient Boosting）的仅EHR预测、使用基于ResNet50的特征提取结合逻辑回归（Logistic Regression）的仅CT预测，以及使用加权晚期融合的多模态预测。实验结果表明，基于CT的模型超越了临床基线，取得了0.42的F1-score和0.772的ROC-AUC，而仅EHR模型分别取得了0.30和0.715的分数。总体而言，多模态融合框架在所测试的方法中取得了最强的结果，达到了0.47的F1-score和0.782的ROC-AUC。综合来看，这些发现表明，尽管单独使用CT成像在评估ICU风险方面具有有意义的预测能力，但将其与临床数据结合会导致更可靠和稳健的预测。所提出的框架为多模态临床决策支持提供了实用且可解释的基础，并展示了将结构化临床数据与医学影像结合用于智能重症监护应用的潜力。
**论文解读：基于证据的多模态风险预测框架用于严重COVID-19结局——结合EHR与CT成像**
**研究背景与问题**
COVID-19大流行对全球医疗基础设施造成了巨大压力，尤其是重症监护病房（ICU）层面。及时识别需要ICU治疗的危重患者对于挽救生命、合理分配资源至关重要。然而，传统的预测方法多依赖结构化电子健康记录（EHR）数据，包括人口统计学、生命体征、实验室结果等。尽管这些数据提供了重要的生理信息，但无法全面反映COVID-19患者肺部受累的影像学表现。胸部CT成像能够提供肺部感染、炎症和呼吸恶化的详细证据，但单独使用可能忽略关键的生理和生化信息。现有研究多聚焦于单一模态，或采用简单的特征拼接进行多模态融合，导致维度不匹配、训练不稳定和可解释性差。此外，目前尚不清楚多模态融合是否真正优于强CT基线模型，特别是使用真实世界患者级CT影像时。为此，研究人员提出了一个基于加权晚期融合的多模态框架，利用CDSL（COVID Data for Shared Learning）数据集，整合结构化EHR特征和CT影像，以预测ICU入院作为严重COVID-19进展的替代终点。
**研究内容与结论**
研究人员构建了一个包含784名同时具有结构化EHR记录和代表性CT影像的患者的多模态队列。评估了三种预测设置：仅EHR（使用梯度提升分类器）、仅CT（使用预训练ResNet50提取特征后接逻辑回归）以及多模态加权晚期融合（通过融合参数α控制EHR和CT贡献）。结果显示，仅CT模型优于仅EHR模型（F1-score: 0.42 vs. 0.30；ROC-AUC: 0.772 vs. 0.715）。加权晚期融合模型取得了最佳性能（F1-score: 0.47；ROC-AUC: 0.782），表明结合临床和影像信息可提升预测可靠性。该研究发表在《Bioengineering》期刊上，强调了多模态融合在临床决策支持中的潜力，为智能重症监护提供了实用且可解释的基础。
**主要关键技术方法**
本研究使用CDSL数据集（源自西班牙HM Hospitales），包含4479名患者的结构化EHR和1,444,764个DICOM影像记录。多模态队列构建后，选取784名同时具有急诊临床特征和代表性CT影像的患者。关键方法包括：1）EHR-only分支：使用梯度提升（Gradient Boosting）分类器，输入特征包括年龄、性别、血压、体温、心率、血氧饱和度（SpO
2）和血糖，并纳入首次和末次急诊测量值以捕捉疾病进展。2）CT-only分支：每位患者选择一张代表性CT切片，经预处理后使用预训练ResNet50提取2048维特征，再输入逻辑回归（Logistic Regression）分类器。3）多模态融合：采用加权晚期融合，将EHR和CT模型输出的概率进行加权组合（融合参数α在验证集上优化），最终决策阈值设定为0.5。所有数据划分均基于患者层面（训练:验证:测试=60%:20%:20%），以避免信息泄露。
**研究结果**
**EHR-only基线**：仅使用结构化临床特征，梯度提升模型在测试集上取得精确率0.46、召回率0.22、F1-score 0.30、ROC-AUC 0.715。结果显示特异性高但ICU阳性灵敏度低，表明单独EHR不足以可靠预测ICU入院。
**CT-only基线**：使用ResNet50提取特征后逻辑回归模型，取得精确率0.40、召回率0.44、F1-score 0.42、ROC-AUC 0.772。CT模型表现优于EHR模型，提示肺部严重程度相关的影像特征对ICU入院预测提供了更强信号。
**朴素特征融合**：直接将EHR特征与CT嵌入拼接后训练分类器，取得精确率0.88、召回率0.26、F1-score 0.40、ROC-AUC 0.772。尽管精确率提升，但召回率仍低，表明简单拼接未能有效改善多模态预测。
**加权晚期融合**：采用概率级加权融合，最优融合参数α=0.5（EHR和CT贡献相等），取得精确率0.82、召回率0.33、F1-score 0.47、ROC-AUC 0.782。与CT-only相比，F1-score提升0.05，ROC-AUC提升0.010；与EHR-only相比，ROC-AUC提升0.067。该模型在维持高特异性的同时改善了ICU阳性检测。
**总结与讨论**
研究结论部分翻译如下：本研究检验了临床记录和CT成像在单独考虑与联合考虑时，能否为COVID-19结局预测提供更有用的信息。为此，研究人员比较了基于结构化EHR数据、CT图像以及两者组合训练的模型。在这些实验中，多模态方法取得了最强的整体结果，其中加权晚期融合在评估策略中表现最佳。一个重要观察结果是，两种模态似乎为预测任务贡献了不同的信息。临床记录通过实验室测量等结构化信息描述了患者更广泛的生理状况，而CT图像提供了肺部受累的直接视图。这两种来源单独都无法提供患者完整描述。将它们结合使得框架能够利用原本分离的信息。加权晚期融合也提供了一种实用的整合方式：不是将EHR和影像信息强制合并到早期单一表示中，而是分别对每个模态进行建模，然后组合它们的预测。这保留了单个模态的贡献，同时受益于两者中的信息。本研究获得的结果支持了该数据集上的这种方法，但尚不应将其解释为在其他临床环境中也能取得相同性能的证据。讨论部分指出，该框架应被视为决策支持工具而非临床判断的替代品。未来需要外部验证、使用完整3D CT体积、纳入时间序列信息、开发患者特异性融合以及更详细的解释方法（如SHAP和Grad-CAM），并计划进行前瞻性评估和临床工作流整合。
