EFS-NET：基于空间校准的脑电 - 功能近红外多尺度融合网络

《Cognitive Neurodynamics》：EFS-NET: EEG-fNIRS multi-scale fusion network based on spatial calibration

　　

摘要

混合脑机接口（hBCIs）整合多种神经影像模态，并利用其互补信息来解决单模态神经信号解码的固有局限性。对于脑电图（EEG）和功能性近红外光谱成像（fNIRS）混合脑机接口，先进的融合算法对于充分利用 fNIRS 优越的空间定位能力和 EEG 毫秒级的时间分辨率至关重要。本研究提出了一种名为 EFS-Net 的基于端到端空间校准的多尺度 EEG-fNIRS 融合网络，该网络通过多尺度时空融合架构有机整合 EEG 和 fNIRS 信号。该网络由三个互补的功能分支组成：用于捕捉 EEG 快速变化的皮层电生理特征的多尺度时间卷积分支；用于构建延迟补偿皮层图谱以适应 fNIRS 延迟血流动力学响应的 EEG 空间分支；以及用于动态融合空间特征图与 EEG 对应部分以生成时间对齐和空间增强的神经表示的空间校准 fNIRS 空间分支。这种三分支融合结构构建了丰富的时空特征嵌入，并提高了神经特征的判别性。在包含词语生成（WG）和心算（MA）的两个公共数据集上，采用严格的受试者特定留一次会话交叉验证协议进行评估，EFS-Net 在 WG 和 MA 数据集上的分类准确率分别达到 77.71?±?8.23% 和 81.69?±?9.49%，优于最先进的单模态算法和传统融合模型。可视化结果表明，所设计的对齐策略能够恢复真实的皮层空间分布特征，为混合脑机接口中的个性化神经信号解码提供了可行的解决方案。