基于混合Transformer-CNN与表格Transformer的多模态肺栓塞智能诊断模型创新研究

为解决肺栓塞(PE)早期诊断难题，研究人员创新性地融合3D CT影像与电子健康记录(EHR)数据，提出结合Swin Transformers与3D CNN的多尺度特征融合(MSFF)网络，并引入极化自注意力(PSA)机制优化特征提取。通过设计表格Transformer处理EHR数据及三种多模态融合模块，最终模型在RadFusion数据集上实现AUROC 0.971的突破性性能，为PE智能诊断提供新范式。

　　

肺栓塞(Pulmonary Embolism, PE)作为威胁生命的急症，其早期精准诊断对降低死亡率至关重要。当前研究突破性地将三维计算机断层扫描(3D CT)影像与电子健康记录(Electronic Health Records, EHR)进行多模态融合，构建了革命性的智能诊断框架。

在影像处理维度，创新性地采用Swin Transformers与三维卷积神经网络(3D CNN)的混合架构，通过多尺度特征融合模块(Multi-Scale Feature Fusion, MSFF)解决异构编码器特征融合难题。更引入极化自注意力机制(Polarized Self-Attention, PSA)强化三维卷积过程中的关键特征聚焦能力。

针对结构化医疗数据，原创的表格Transformer(Tabular Transformer)有效挖掘EHR中的深层临床特征。研究团队特别设计三种注意力融合机制进行多模态特征整合，经系统评估筛选出最优融合策略。

在RadFusion标准数据集上的实验表明，该模型以97.1%的受试者工作特征曲线下面积(AUROC)、92.6%的F₁值和92.0%的准确率显著超越现有方法，标志着多模态人工智能在PE诊断领域的重大技术突破。