基于脑电图的卷积神经网络与视觉 Transformer 融合的可解释精神分裂症检测

《Scientific Reports》：Explainable schizophrenia detection using fusion of convolutional neural network and vision transformer from electroencephalogram

　　

摘要

精神分裂症（SZ）与神经动力学中的微妙改变有关，这些改变难以使用传统的脑电图（EEG）特征来捕捉。本研究提出了一种统一的深度学习框架，将重演图（RP）与小波同步压缩变换（WSST）表示融合为单一图像模态，并利用注意力增强的混合卷积-Transformer架构进行个体级分类。具体而言，我们提出RP+WSST图像融合与卷积神经网络（CNN）-视觉Transformer（ViT）混合架构（ResNet-18–ViT和EfficientNet-B0–ViT），以联合建模局部空间模式和全局上下文依赖关系。研究采用逐被试10折交叉验证和严格隔离的留出协议（70/15/15划分）以防止被试泄露并提供无偏的性能估计。与单一骨干CNN和ViT模型相比，所提出的混合架构展现出具有竞争力的泛化能力。通过采用适当的可解释AI（XAI）方法增强了可解释性——对CNN分支使用梯度加权类激活映射（Grad-CAM），对ViT分支使用注意力传播（Attention Rollout）。所提出的框架应用于基于静息态头皮EEG的精神分裂症自动检测，并使用两个独立数据库（华沙数据库和Atieh精神分裂症EEG（ASEEG）数据库）。在华沙数据集上，ResNet-18–ViT混合架构使用Amor基WSST特征实现了82.14%的准确率（AUC 83.58%）。在ASEEG数据集上，性能达到95.04%的准确率，AUC值均超过95%。通道级分析识别出额叶、颞叶和中央电极作为最具判别力的区域，这与已知的精神分裂症相关电生理异常一致。这些发现证明了所提出的可解释AI（XAI）框架在精神科工程应用中部署于基于EEG的临床决策支持系统的实际可行性。