基于同步脑电-肌电与功能磁共振的多模态深度学习模型预测脑卒中后下肢运动功能障碍康复

本研究创新性地整合静息态功能磁共振成像（rs-fMRI）、同步脑电图（EEG）和肌电图（EMG）数据，构建了ShuffleNet-LSTM多模态融合预测模型。通过深度学习技术，该模型实现了对缺血性脑卒中患者3个月后下肢运动功能康复结局的精准预测（AUC达0.8665），为临床早期识别高风险患者和制定个体化康复方案提供了智能化决策工具。

　　

1 引言

脑卒中康复涉及神经功能重塑的复杂过程，包括损伤区域的功能代偿（功能性重塑）和神经元再生、突触可塑性等结构重组。随着神经电生理（EEG/EMG）与功能影像（fMRI）技术的发展，多模态监测为揭示运动功能障碍机制提供了新视角。深度学习在医疗领域的应用为预后预测带来突破，但现有研究多依赖单一模态数据，整合EEG-EMG-fMRI的多模态预测模型仍属空白。卷积神经网络（CNN）和长短期记忆网络（LSTM）分别擅长处理空间特征和时间序列，为多模态融合奠定技术基础。

2 材料与方法

2.1 数据采集

纳入102例缺血性脑卒中偏瘫患者，均接受rs-fMRI扫描，其中86例同步采集EEG-EMG数据。康复结局以3个月随访时下肢Fugl-Meyer评分（FMA）≤17为"不良"分界点。EEG采用10-20国际系统记录16通道信号，EMG覆盖股直肌等6处下肢肌群，fMRI扫描参数为TR 2000 ms、层厚4 mm。

2.2 模型构建

• •

  时序模型：3层LSTM网络（128-64-32单元）处理EEG-EMG信号，10秒非重叠窗分段输入

• •

  影像模型：对比ResNet50、FBNet等5种CNN架构，迁移学习微调

• •

  多模态融合：通过集成学习加权整合时序与影像模型预测概率

3 结果

3.1 单模态性能

FBNet在fMRI模型中表现最优（准确率0.7138），LSTM时序模型准确率0.68。

3.2 多模态突破

ShuffleNet-LSTM融合模型显著提升预测效能：

• •

  AUC 0.8665（较单模态提升21%）

• •

  准确率0.8031，F1值0.7829

• •

  精准度0.833，召回率0.774

3.3 可解释性分析

Grad-CAM热图显示模型重点关注初级运动皮层（M1）和辅助运动区（SMA），与临床已知的运动功能重组区域高度吻合。

4 讨论

多模态融合通过互补机制克服单模态局限：fMRI反映大尺度脑网络连接，EEG-EMG捕捉皮质-肌肉耦合动态。ShuffleNet的轻量化特性与LSTM的时序处理能力协同增效，其预测效能已超越传统临床量表评估。模型可视化证实决策依据符合神经解剖学基础，如额叶运动相关皮层的显著激活权重。

5 局限与展望

当前二分法预测虽满足临床快速评估需求，但连续FMA评分回归预测将是下一阶段重点。样本量限制（n=102）可通过多中心研究扩展，尤其需涵盖不同梗死部位亚组。动态追踪多时间点数据将有助于建立阶段特异性康复预测模型。

6 结论

该研究证实多模态深度学习模型能有效预测脑卒中下肢运动功能转归，其中ShuffleNet-LSTM架构展现出最佳性能，为康复医学的精准决策提供了可解释的人工智能工具。