用于EEG疲劳分类的双分支多维注意力融合网络

《Frontiers in Physiology》：A dual-branch multidimensional attention fusion network for EEG-based fatigue classification

　　

引言：基于脑电图（EEG）的疲劳分类对于警觉监测具有重要意义。由于疲劳相关的神经变化涉及频谱-时间动态改变以及通道间交互的异常，可靠的疲劳识别仍面临挑战。方法：本研究开发了一种轻量级双分支多维注意力融合网络（DB-MDAFNet），该网络整合了频谱-时间特征和基于皮尔逊相关系数（PCC）的通道间依赖表征，用于基于EEG的疲劳分类。该框架以从五个典型EEG频带提取的差分熵（DE）特征作为输入，应用无参数多维增强（PF-ME）模块进行特征重校准；随后通过通道注意力-多尺度时间（CA-MT）分支和基于PCC的功能连接-拓扑编码（FC-TE）分支提取互补表征，并将融合表征用于将EEG样本分类为警觉、疲劳和困倦状态。实验在公开SEED-VIG数据集和自建的基于视频游戏的疲劳数据集（DVG）上进行。结果：在相同的受试者依赖设置下，DB-MDAFNet在SEED-VIG上达到85.58%的准确率，在DVG数据集上达到97.12%–98.56%的准确率。模型保持紧凑架构，在DVG输入配置下参数仅为0.185 M。消融结果表明两个分支具有互补贡献。模型可解释性分析提示，学习到的表征包含额叶、顶叶和枕叶电极区域的空间结构模式。讨论：所提出的框架将多尺度时间学习与连接性衍生的拓扑编码相结合，为基于EEG的疲劳监测提供了一种轻量级且可解释的架构。

**基于EEG疲劳分类的双分支多维注意力融合网络研究解读**

疲劳是影响交通运输、航空及工业作业环境中人员表现与安全的关键因素，持续认知负荷和单调任务可导致注意力下降、反应迟缓及决策能力受损。可靠的疲劳监测对于安全管理与人机交互具有重要意义。在多种生理测量手段中，头皮脑电图（EEG）能够以毫秒级时间分辨率非侵入性地记录神经电活动，已被广泛用于情感状态表征、神经康复及安全关键环境中的疲劳监测。神经生理学证据表明，疲劳与认知负荷伴随EEG活动的频率特异性变化：θ波和α波活性随疲劳发展而增强，β波活性则随警觉水平降低而减弱；此外，疲劳还与大尺度功能网络（如默认模式网络）的改变相关，提示有效的疲劳表征需同时保留频谱-时间动态信息和通道间关系。然而，EEG信号具有非平稳、噪声敏感及个体差异大等特点，使得基于EEG的疲劳分类仍具挑战。现有深度学习方法（如卷积神经网络、循环神经网络及图神经网络）虽已提升自动特征提取能力，但在时间动态、频带信息与通道间依赖的联合表征方面仍存在不足，同时频带信息的压缩可能掩盖生理特异模式，而专用疲劳EEG数据集的匮乏也制约了模型发展。

针对上述问题，研究人员构建了基于视频游戏的EEG疲劳数据集（DVG），并提出了一种轻量级双分支多维注意力融合网络（DB-MDAFNet）。DB-MDAFNet的核心设计在于整合多尺度频谱-时间学习与基于皮尔逊相关系数（PCC）的功能连接拓扑编码，同时保留差分熵（DE）特征的通道、频带与时间结构。该模型在公开SEED-VIG数据集及自建DVG数据集上采用受试者依赖协议进行验证，并开展了对比实验、消融分析、计算复杂度评估及模型可解释性可视化。研究结果表明，DB-MDAFNet在SEED-VIG上达到85.58%的平均准确率（F1为74.50%），在DVG数据集上达到97.12%–98.56%的准确率，且参数量仅0.185 M（DVG输入配置），展现了分类性能与模型紧凑性的优良平衡。消融实验证实CA-MT分支与FC-TE分支的互补贡献，可解释性分析显示模型学习到的表征呈现额叶、顶叶与枕叶区域的空间结构模式，与既有神经生理学证据一致。该研究为基于EEG的疲劳监测提供了一种轻量且可解释的架构，对认知状态识别领域具有方法论启示。

**主要技术方法**

研究招募了电子科技大学14名男性学生（平均年龄23岁），其中2人因个人原因退出，最终12人数据纳入分析；所有参与者为右利手、视力正常或矫正正常、无神经系统疾病史及物质滥用史。SEED-VIG公共数据集包含23名健康成年人（11男12女，年龄23.3±1.4岁）。EEG数据经0.5–50 Hz带通滤波、50 Hz陷波滤波、REST无限参考重参考及独立成分分析（ICA）去伪迹后，DVG数据降采样至1000 Hz、SEED-VIG降采样至200 Hz，分别采用3.5 s和8 s非重叠窗分段。多频带分解采用五阶巴特沃斯带通滤波器，提取δ（0.5–4 Hz）、θ（4–8 Hz）、α（8–12 Hz）、β（12–30 Hz）和γ（30–50 Hz）五个频带的DE特征作为输入。模型架构包含三个核心组件：基于SimAM的无参数多维增强（PF-ME）模块、通道注意力-多尺度时间（CA-MT）分支（采用卷积核大小为3、5、7的并行一维卷积）以及功能连接-拓扑编码（FC-TE）分支（基于PCC推导的注意力机制与二维卷积）。模型在PyTorch 2.1.0框架下使用Adam优化器（批大小32、初始学习率0.001）、批归一化及dropout（0.2）训练，采用受试者依赖协议，每位受试者数据按80%训练/20%测试划分。

**结果与分析**

**3.1 受试者内实验结果**：DB-MDAFNet在SEED-VIG数据集上平均分类准确率为85.58%、宏观F1为74.50%；在DVG1、DVG2、DVG3上准确率分别为98.24%、97.12%和98.56%，F1分别为98.22%、97.06%和98.54%，显示模型在两类数据集上均取得较高分类性能。

**3.2 对比实验**：在SEED-VIG上，DB-MDAFNet的准确率和F1分别比最强基线模型LGGNet高出1.40%和3.21%；在DVG2上准确率达97.12%，比表现最佳的基线模型M-ShallowConvNet高出2.41%。配对Wilcoxon符号秩检验表明差异均具有统计学意义（SEED-VIG各基线p<0.05，DVG2各基线p<0.05），验证了模型的性能优越性。

**3.3 消融研究**：完整模型在DVG1上准确率为98.24%、F1为98.22%；去除PF-ME模块后准确率降至97.71%、F1降至97.67%；去除CA-MT分支后准确率大幅降至77.17%；去除FC-TE分支后准确率降至81.09%。结果表明CA-MT与FC-TE分支均为核心组件，且PF-ME模块通过无参数特征重校准带来额外性能提升。

**3.4 计算复杂度**：在DVG输入配置下，DB-MDAFNet含0.185 M可训练参数，每样本需约0.044 G FLOPs，模型大小0.704 MiB，实现了轻量化设计目标，显著优于T-A-MFFNet和E-5-D-BCDRNet等基线模型。

**3.5 模型可视化与可解释性**：t-SNE可视化显示，原始DE特征分布高度混合，而经过DB-MDAFNet处理的融合特征呈现紧凑且分离良好的类簇。CA-MT通道注意力头皮分布图显示额叶、顶叶和枕叶电极具有较高权重；FC-TE通道注意力矩阵显示强权重通道主要位于额叶和枕叶区域，且与CA-MT高权重区域部分重叠，提示两个分支分别从区域特异性谱-时间活动和通道间连接模式两个互补视角捕获疲劳相关表征。

**讨论与结论**

讨论部分指出，DB-MDAFNet的性能优势可归因于对频带特异性时间特征与EEG通道间统计关系的联合利用。CA-MT分支通过多尺度一维卷积和通道注意力捕捉局部谱-时间动态（如节律波动和频带特异性变化），FC-TE分支则通过PCC推导的通道间连接表征描述跨脑区的网络级协调。PF-ME模块基于无参数SimAM机制对通道-频带-时间特征单元赋予自适应重要性权重，在不增加可训练参数的前提下增强了疲劳相关表征。可视化结果表明，模型学习到的空间注意力模式与前额叶-顶叶执行控制与持续注意功能、枕叶视觉信息处理功能的神经生理学证据相一致，且两个分支高权重区域的重叠提示它们从互补视角捕捉了疲劳相关模式。研究局限性包括：仅评估了受试者依赖协议，跨会话与跨数据集泛化性能未知；实时在线EEG采集与伪迹污染场景下的有效性仍需验证；更大规模、更异质样本及多模态生理信号的验证尚待开展。结论部分指出，DB-MDAFNet为受试者依赖的EEG疲劳分类提供了有效且可解释的框架，在受试者依赖评估下于SEED-VIG和DVG2上取得最高平均性能，消融结果表明PF-ME、CA-MT与FC-TE均对模型性能有所贡献，可视化分析表明学习到的表征具有类别区分性和空间结构化的通道加权模式；所提出的模型为EEG疲劳监测提供了一种轻量且可解释的架构，可为更广泛的认知状态识别任务提供方法学参考。