基于深度学习和证据理论的EEG-fNIRS信号融合在运动想象分类中的创新研究

为解决脑机接口(BCI)中单模态信号（如EEG空间分辨率低、fNIRS时间延迟）的局限性，研究人员开发了一种结合EEG（脑电图）和fNIRS（功能性近红外光谱）的多模态融合框架。通过深度学习提取时空特征，并引入证据理论（Dempster-Shafer Theory）量化决策不确定性，最终在TU-Berlin-A数据集上实现83.26%的分类准确率，较现有方法提升3.78%。该研究为神经科学驱动的BCI系统提供了更可靠的解码方法。

　　

在脑机接口技术领域，如何精准解码大脑运动意图一直是核心挑战。传统单模态脑电信号（EEG）虽具有毫秒级时间分辨率，却受限于颅骨容积传导效应导致的低空间精度；而功能性近红外光谱（fNIRS）能捕捉血氧动力学变化，但存在5-8秒的 hemodynamic response（血流动力学响应）延迟。这种时空特性互补却异构的神经信号，亟需创新方法实现有效融合。

针对这一难题，来自某研究机构的团队在《Neuroscience Informatics》发表研究，提出名为"EEG–fNIRS Signal Integration for Motor Imagery Classification Using Deep Learning and Evidence Theory"的融合框架。该工作通过双模态深度特征提取与双层证据推理，在公开数据集TU-Berlin-A上实现83.26%的MI分类准确率，为临床神经康复设备开发提供了新思路。

关键技术方法
研究采用29名健康受试者的同步EEG（30通道/200Hz）和fNIRS（36通道/10Hz）数据。EEG端设计双尺度时序卷积（100点与30点核）结合混合注意力机制；fNIRS端采用全通道空间卷积（72×1核）与门控循环单元（GRU）并行提取特征。决策层通过两种基本置信分配（BBA）方法生成Dirichlet分布参数，再经Dempster-Shafer理论完成双层证据融合。

研究结果

3.2节 EEG分类网络
通过对比实验验证，采用双尺度时序卷积（大核捕获低频节律，小核提取高频特征）使分类准确率提升至76.94%，较单尺度模型提高1.38%。引入的混合注意力模块（通道注意力+采样注意力）通过权重重分配，使模型对运动皮层关键电极的敏感性提升11.2%。

3.3节 fNIRS分类网络
空间卷积层（72×1核）成功识别出初级运动区的HbO浓度差异（p<0.001），而深度可分离时序卷积与GRU的并联结构，将时间序列分类准确率提升至77.10%，较传统卷积网络提高3.65%。

3.4节 多模态融合方法
对比实验显示，基于ReLU和Sigmoid的双BBA策略较单BBA方法降低不确定性估计误差18.7%。双层证据融合（先模态内后模态间）使分类准确率达83.26%，显著优于简单串联融合（80.63%）和注意力加权融合（82.68%）。

5.2节 对比研究
在TU-Berlin-A数据集上，该模型超越6种基线方法：较传统CSP+LDA组合（74.2%）提升9.06%，较Y型网络早期融合（76.21%）提高7.05%。特别在左右手MI分类平衡性上，将单模态EEG的偏侧差异从15.3%降至4.8%。

结论与意义
该研究首次将Dirichlet分布参数估计与Dempster-Shafer理论结合应用于神经信号融合，通过α^⊕=w^⊕+1的数学建模，实现决策不确定性的量化表达。临床价值体现在：1）为中风患者康复训练提供更稳定的MI解码方案；2）双模态时间对齐策略（3秒窗长/3秒步长）可适配实时BCI系统。未来可扩展至四类MI任务，并探索动态时间规整（DTW）在跨模态信号同步中的应用。