MTSNet：基于卷积的Transformer网络，结合多尺度时频谱特征融合技术用于SSVEP信号解码

《IEEE Journal of Biomedical and Health Informatics》：MTSNet: Convolution-Based Transformer Network With Multi-Scale Temporal-Spectral Feature Fusion for SSVEP Signal Decoding

针对SSVEP信号解码难题，提出基于双分支Transformer的多尺度时频融合模型MTSNet，通过时域和频域特征并行提取及多尺度融合模块整合互补特征，显著提升SSVEP解码准确率和信息传输率，实验验证在Benchmark和BETA数据集上优于现有方法。

　　

摘要：

提高稳态视觉诱发电位（SSVEP）信号的解码性能对于基于SSVEP的脑机接口（BCI）系统的实际应用至关重要。尽管许多方法在解码SSVEP信号方面取得了令人印象深刻的结果，但大多数方法仅关注时间域或频谱域信息，或者直接将两者结合，这可能会忽略不同特征之间的互补关系。为了解决这个问题，我们提出了一种基于双分支卷积的Transformer网络，该网络采用多尺度时间-频谱特征融合技术，称为MTSNet，以提升SSVEP信号的解码性能。具体来说，时间分支利用基于多级卷积的Transformer（Convformer）从SSVEP信号中提取时间特征，该Transformer能够适应SSVEP信号的动态变化。同时，频谱分支以通过零填充快速傅里叶变换从时间信号转换得到的复频谱作为输入，并使用Convformer提取频谱特征。然后，这些提取的时间和频谱特征通过多尺度特征融合模块进行整合，以获得包含不同尺度信息的综合特征，从而增强特征之间的相互作用，提高解码效果和鲁棒性。在两个广泛使用的公共SSVEP数据集Benchmark和BETA上的大量实验结果表明，所提出的MTSNet在准确性和信息传输率（ITR）方面显著优于现有的无校准方法。其卓越的性能证明了我们在解码SSVEP信号方面的有效性，这可能有助于促进基于SSVEP的BCI系统的实际应用。

引言

脑机接口（BCI）通过将神经活动直接解码为计算机指令，实现了大脑与外部设备之间的通信[1]。由于脑电图（EEG）的非侵入性和实用便利性，它被广泛用于测量神经活动，通常是通过放置在头皮上的多电极帽来实现的[2]、[3]。在各种EEG信号中，最有前景的是稳态视觉诱发电位（SSVEP）信号，这种信号出现在枕叶区域，由特定频率闪烁的视觉刺激诱发[4]、[5]。因此，SSVEP信号与视觉刺激具有独特的对应关系，通常由视觉刺激的基本频率及其谐波组成[6]。高信息传输率（ITR）和大量的可编码目标使得SSVEP信号被广泛应用于各种实际场景，如拼写[7]、游戏[8]、[9]和设备控制[10]、[11]。然而，由于EEG信号固有的非平稳性和个体间差异，有效解码SSVEP信号以实现高性能的基于SSVEP的BCI系统仍然具有挑战性。