基于卷积Transformer的多视角交互融合网络(CT-MIFNet)在脑电信号解码中的创新应用

本文推荐一篇突破性研究：作者团队提出CT-MIFNet模型，巧妙结合卷积神经网络（CNN）的局部特征提取能力与Transformer的全局注意力机制（Self-Attention），通过跨协方差注意力（CCA）降低计算复杂度，实现脑电信号（EEG）多视角（时空频）特征交互融合。该模型在BCI竞赛IV-2a/2b和激光诱发疼痛数据集上分别取得81.67%/86.75%/83.48%的准确率，为运动想象（MI）和疼痛感知（PP）范式提供通用解码方案。

　　

亮点

• 创新性采用并行双分支卷积Transformer架构，通过多尺度卷积映射提取脑电信号的时域、频域和空域特征，并利用基于Transformer的特征交互融合模块实现多视角特征深度整合。

• 引入跨协方差注意力（Cross-Covariance Attention, CCA）机制，显著降低长序列脑电信号处理时的计算复杂度，同时保持特征表达能力。

• 在三种不同范式的公开数据集（BCI Competition IV-2a/2b和激光诱发疼痛数据集）上验证模型普适性，准确率全面超越现有最优算法。

方法

如图1所示，CT-MIFNet包含四大核心模块：

1. 空间转换模块：采用多类共同空间模式（Multi-CSP）生成空间滤波器，对原始EEG信号降维去噪；

2. 多尺度卷积嵌入模块：通过快速傅里叶变换（FFT）分支处理，利用不同尺度的卷积核捕捉局部特征；

3. Transformer特征交互融合模块：使用CCA计算分支间特征相似度，实现跨视角特征强化；

4. 分类器模块：最终输出具有判别性的融合特征。

数据集验证

在BCI竞赛IV-2a（四分类MI任务）、IV-2b（二分类MI任务）和激光诱发疼痛数据集（EDLEP）上的对比实验表明：

• 在2a数据集上准确率较传统FBCSP提升12.3%

• 对疼痛刺激的识别灵敏度达到83.48%

• 模型参数量仅为标准Transformer的37%

关键模块影响

• Multi-CSP：采用"一对余"（OVR）策略生成空间滤波器，使μ节律（8-12Hz）信噪比提升2.1dB

• CCA机制：将注意力计算复杂度从O(n²)降至O(n)，内存占用减少64%

• 多视角融合：通过t-SNE可视化证实时空频特征的互补性

结论

该研究为脑机接口（BCI）系统提供了一种兼顾效率与精度的新型解码框架，其双分支架构设计可扩展至其他生理信号（如MEG/fNIRS）分析领域。未来将探索动态注意力机制在跨范式迁移学习中的应用。