基于脉冲神经网络的 EEG-fMRI 多模态整合框架与脑状态解码可解释性研究

《Brain Informatics》：Brain-inspired spiking neural network frameworks for multimodal spatiotemporal brain data integration: a case study on EEG-fMRI data

　　

摘要

多模态数据整合通过捕捉神经活动的互补空间和时间特征，推动了脑信息学的发展，从而实现对脑功能更准确、更具生物学意义的表征。现有的脑测量技术，包括脑电图（EEG）和功能性磁共振成像（fMRI），在时间和空间特征的表现上存在根本性的异质性，这使得它们之间的整合变得极具挑战性。本研究提出了基于生物原理的脉冲神经网络（SNN）框架，用于多模态时空脑数据整合，采用了早期、中期和后期融合策略，并引入了一种基于集成的可解释X-Meta后期融合分类器。在方法论上，该框架扩展了SNN的存储架构，以支持EEG和fMRI之间的多模态学习，从而能够对跨模态交互进行建模。这些融合框架在静息状态下的EEG-fMRI数据集上进行了评估，用于解码闭眼（EC）和睁眼-闭眼（EOEC）脑状态，并与传统的机器学习方法（仅使用 alpha 波段和多个波段）以及深度学习方法进行了对比。我们研究了两种EEG表示方法：原始幅度和功率谱密度（PSD），并将它们分别与fMRI结合，以评估EEG特征表示对多模态融合性能的影响。结果表明，所有融合策略都显著优于单模态fMRI，准确率提高了6.6%至18%以上。这种提升与数据表示方式有关：对于PSD-EEG，后期融合策略使准确率提高了2.1%至4.21%；而对于原始EEG，提升幅度较小，中期融合和X-Meta方法分别仅提高了约1.3%，这反映了不同表示方式下各模态的相对区分能力差异。除了分类之外，X-Meta还提供了模型层面的特征归因，识别出与先前报告的功能脑区域相关的EEG和fMRI特征，并突出了潜在的探索性候选标志物。总体而言，这些提出的框架不仅改进了脑状态解码能力，还为理解影响模型决策的特征提供了可解释的见解，从而推动了脑启发的计算建模的发展。