《PLOS One》：Hybrid deep learning for mental workload classification using EEG with enhanced preprocessing and interpretability
编辑推荐：
心理负荷分类在医疗与航空等安全敏感领域中至关重要。然而，基于脑电图（Electroencephalography, EEG）的方法仍面临泛化能力、抗噪稳健性与可解释性方面的挑战。该研究提出了一种集成式混合深度学习框架，以应对上述局限，并实现稳健且可解释的基于脑
心理负荷分类在医疗与航空等安全敏感领域中至关重要。然而，基于脑电图（Electroencephalography, EEG）的方法仍面临泛化能力、抗噪稳健性与可解释性方面的挑战。该研究提出了一种集成式混合深度学习框架，以应对上述局限，并实现稳健且可解释的基于脑电图（EEG）的心理负荷分类。所提出的方法采用变分自编码器（Variational Autoencoder, VAE）对分频段地形视频（band-wise topographical videos）进行增强降噪与特征提取，采用卷积块注意力模块（Convolutional Block Attention Module, CBAM）自适应聚焦于重要的空间—通道脑电图特征，并采用双向长短期记忆网络（Bidirectional Long Short-Term Memory, BLSTM）在留一被试交叉验证（leave-one-subject-out cross-validation, LOSO）条件下捕获复杂时间依赖关系。研究人员开展了消融实验，以识别各架构组成部分的贡献，并进行了敏感性分析，以确定最优参数。该模型在基线模型中取得了最高总体准确率，并在四种心理负荷水平分类任务中实现了跨被试平均83.9%的准确率。消融实验验证了三种架构组成部分对性能提升的附加价值。敏感性分析确定了最优参数，其中包括能够平衡时间上下文与特异性的10 s时间窗长度。为增强可解释性并获得神经生理学洞见，研究采用梯度加权类激活映射（Gradient-weighted Class Activation Mapping, Grad-CAM）对与负荷动态相关的关键额顶叶脑区及频段进行了可视化。未来研究可进一步探索自适应时间窗策略、多模态数据整合、跨数据集基准测试，以及在一致的被试独立评估设定下与基于Transformer和图神经网络（Graph Neural Network, GNN）架构的方法进行比较，以进一步提升模型泛化能力。
该论文发表于《PLOS One》，聚焦于基于脑电图（EEG）的心理负荷（Mental Workload, MWL）四分类问题，目标是在安全敏感场景中构建兼具稳健性、跨被试泛化能力与可解释性的智能识别框架。研究背景在于，心理负荷直接影响个体在医疗、航空、空中交通管制与自动驾驶等高风险环境中的认知表现与决策安全。过高的心理负荷可能引发操作失误、压力累积与绩效下降，过低的心理负荷则可能导致警觉性下降与无聊感增强。因此，对心理负荷状态进行准确评估，不仅关系到任务执行质量，也关系到人机交互优化、自适应自动化系统设计以及主动干预机制的建立。现有研究虽已广泛采用EEG作为高时间分辨率的神经生理信号来源，但传统机器学习方法高度依赖人工特征工程，往往难以充分建模EEG复杂的空间—时间模式；而已有深度学习模型虽然在准确率上有所提升，却仍普遍存在噪声敏感、跨被试泛化不足、解释能力有限，以及评估协议不够严格等问题。基于此，研究人员开展了该项研究，尝试将潜在表示学习、注意力机制、双向时序建模与可解释性分析统一整合于同一被试独立框架中，以提升EEG心理负荷分类的实用性与可信度。
在研究设计上，研究使用公开的STEW数据集，包含48名受试者在SIMKAP多任务测试中的EEG记录。数据由14导联Emotiv EPOC设备按国际10–20系统采集，采样率为128 Hz，并同时记录1–9分主观负荷评分。研究将心理负荷划分为4类：基线（BL）、低负荷（LW）、中负荷（MW）和高负荷（HW）。其中，静息记录用于BL类别，任务记录依据主观评分映射为LW、MW与HW。整个方法流程以严格留一被试交叉验证（LOSO）为评估基础，避免数据泄漏，强调跨被试泛化能力。论文的核心结论是：所提出的VAE-CBAM-BLSTM混合深度学习框架在四分类LOSO条件下达到83.9%的平均准确率，整体优于PSD-SVM、CNN和BLSTM-LSTM等可复现实验基线，并通过Grad-CAM显示出与额顶叶负荷调节机制一致的空间关注模式，说明该模型不仅具有竞争性性能，也具有一定神经生理学可解释性。其重要意义在于，为基于EEG的心理负荷监测提供了一个兼顾降噪、特征强化、时序建模与解释分析的统一范式，有助于推动其在医疗、航空等高风险场景中的实际部署研究。
就主要技术方法而言，研究首先对STEW队列EEG信号进行1–40 Hz带通滤波、工频噪声去除、重参考与独立成分分析（Independent Component Analysis, ICA）伪迹校正，并分段处理。随后，利用Morlet小波进行时频分解，将EEG分解为delta、theta、alpha、beta与gamma五个频带，并构建分频段脑地形视频作为输入表征。接着，使用三层二维卷积变分自编码器（VAE）进行潜在空间降噪与鲁棒特征提取，再由卷积块注意力模块（CBAM）完成空间与通道注意力加权，最后通过时间分布二维卷积与双向长短期记忆网络（BLSTM）进行时序建模和四分类预测。模型在严格LOSO框架下训练，并结合消融实验、敏感性分析、配对t检验与Grad-CAM进行系统评估。
在研究结果部分，论文首先在“Dataset preparation and experimental setup”中说明，经预处理与分段后，最终获得925,440个干净EEG时期（epoch），覆盖BL、LW、MW、HW四类。研究在保持各折类别比例的前提下，采用总体准确率、Macro-F1、混淆矩阵等指标评价模型性能，并在统一LOSO设定下进行消融与敏感性实验，为后续结果提供了规范的数据与评估基础。
在“Latent feature after VAE preprocessing”部分，研究显示VAE在所有折次中训练稳定，重构损失随训练轮次下降，说明其能够有效对输入的EEG地形视频进行降噪与压缩。潜在空间中的特征分布相较原始特征呈现更低方差与更高类别可分性，不同心理负荷水平形成较清晰的聚类结构。这一结果表明，VAE不仅承担预处理角色，还在学习紧凑且保持类别结构的鲁棒潜在表示方面发挥了关键作用。
在“Overall performance of the proposed model”部分，VAE-CBAM-BLSTM框架在四分类LOSO条件下实现83.9%（±3.1%）的平均准确率，Macro-F1为0.83（±0.04），平衡准确率（balanced accuracy）为0.84（±0.03），Cohen’s kappa为0.78（±0.05）。这些指标表明，该模型在跨被试场景下具有较稳定的分类能力，并且其表现超越随机一致性水平，反映出较好的泛化表现。
在“Per-class evaluation”部分，混淆矩阵显示模型对四类心理负荷具有较清晰的区分能力，其中BL与HW之间的可分性最高，而LW与MW、尤其MW与HW之间更易发生混淆。分类报告显示，各类别F1值介于0.78至0.86之间，BL与HW的F1值均为0.86，MW最低，为0.78。研究据此指出，中间负荷水平的神经模式区分难度更高，但整体类别间性能仍相对均衡，未出现极端偏斜。
在“Proposed model comparison with baseline models”部分，研究将PSD-SVM、CNN与BLSTM-LSTM作为具有代表性的传统与深度学习基线，并在相同四分类、相同预处理和相同LOSO设定下进行公平比较。结果显示，所提模型总体准确率最高。尤其相较强基线BLSTM-LSTM，尽管两者性能接近，但所提模型83.9%的准确率仍高于后者的83.1%，且基于48个LOSO折次被试准确率的配对t检验表明该提升具有统计学显著性（p = 0.021）。这一结果支持VAE潜在降噪、CBAM注意力增强与BLSTM双向时序建模三者联合设计的有效性。
在“Ablation studies”部分，研究通过移除关键模块评估各组件贡献。去除VAE后，准确率由83.9%降至71.1%，说明若缺乏潜在压缩与降噪，输入表征中噪声更多、类别判别性更弱；去除CBAM后，准确率降至77.1%，尤其在MW与HW区分上退化明显，表明空间—通道注意力对于捕获细微负荷差异具有重要作用；将BLSTM替换为单向LSTM后，准确率降至78.5%，替换为仅CNN结构后进一步降至75.0%，提示双向时序上下文对建模EEG序列动态至关重要。配对t检验进一步证明上述性能差异均具统计学显著性。整体来看，VAE与BLSTM贡献最大，CBAM则在特征精炼层面提供互补增益。
在“Sensitivity and robustness analyses”部分，研究系统考察了潜在维度、CBAM参数、输入时间窗以及BLSTM序列长度等超参数对跨被试性能的影响。结果表明，VAE潜在维度设置为128时分类效果最佳，说明该维度在信息保留与表示紧凑性之间取得了较优平衡；CBAM采用压缩比8及7×7空间卷积核时表现最佳；输入时间窗方面，10 s优于更短或更长窗口，表明其能更好平衡时间上下文与标签特异性；BLSTM序列长度为10步时表现最好，过短会削弱时序信息利用，过长则可能引入冗余依赖。进一步的合成噪声注入与模拟通道丢失分析显示，模型性能仅轻度下降，提示该框架在中等程度信号扰动条件下具有一定稳健性。
在“Interpretability analysis”部分，研究利用Grad-CAM对模型决策进行神经生理学层面的解释。结果显示，随心理负荷由BL升至LW、MW再至HW，额叶区（Fp1、Fp2、Fz）与顶叶区（Pz、P3、P4）的平均重要性均呈单调增加趋势，且各负荷水平下额叶重要性始终高于顶叶。高负荷状态下，额顶网络（frontoparietal network）激活更广泛、更强烈；低负荷状态下，激活更局限。这说明模型重点关注的脑区与既有心理负荷神经机制相一致：额叶更多涉及执行控制与注意需求，顶叶则与资源分配和认知整合相关。因而，该解释结果不仅是可视化辅助，也为模型学习到的空间模式提供了生理学合理性支撑。
讨论部分集中指出，该研究的优势在于将VAE、CBAM、BLSTM与Grad-CAM整合进一个以分频段脑地形视频为输入的统一管线，并在严格LOSO框架下评估，从而同时回应了噪声鲁棒性、跨被试泛化与可解释性三项核心挑战。与既往主要基于一维通道序列或较弱评估协议的方法相比，该框架在保留EEG空间拓扑、短时动态与被试独立评估严谨性方面具有明确方法学改进。同时，论文也明确指出其局限性：尚未直接比较脑地形视频输入与原始EEG序列、静态二维地形图等其他输入形式；固定10 s分段策略可能不足以完整反映动态负荷转变；仅在STEW单一数据集上验证，尚缺乏跨数据集外部效度检验。因此，未来应进一步开展跨数据集基准研究、领域泛化验证、自适应时间窗探索、多模态生理信号融合，以及与Transformer和图神经网络（GNN）模型在相同LOSO协议下的系统比较。
研究结论部分可译为：该研究构建了一种用于STEW数据集上稳健且可解释的EEG心理负荷分类混合深度学习框架VAE-CBAM-BLSTM，旨在解决抗噪性与跨被试泛化方面的关键挑战。所提模型整合了用于分频段脑地形视频潜在特征提取的变分自编码器（VAE）、用于空间—通道注意力建模的卷积块注意力模块（CBAM），以及用于时间建模的双向长短期记忆网络（BLSTM）。在严格的四分类LOSO协议下，该框架实现了83.9%的跨被试准确率，并在总体准确率上优于复现的PSD-SVM、CNN和BLSTM-LSTM基线。该研究的主要方法学贡献在于，将潜在表示学习、注意力引导特征精炼、时序建模与可解释性分析整合为统一的被试独立EEG心理负荷分类框架。通过结合可复现的强基线与严格的四分类LOSO评估，该框架为未来基于EEG的心理负荷研究提供了具有竞争力且互补性的参考基准。尽管如此，研究仍存在若干局限，包括采用固定分段时间窗以及仅依赖单一生理模态。未来工作可通过探索自适应时间窗策略、比较当前输入表征与原始EEG序列及静态二维地形图、整合多模态数据、开展跨数据集基准评估，并在相同LOSO设定下与Transformer及图神经网络架构比较，以及补充计算效率与实时部署分析，进一步拓展该框架。
