《Brain Sciences》：Participant-Specific Adaptive Label Smoothing Using Subjective Workload Responses for Cognitive Workload Classification from EEG
编辑推荐：
背景：基于脑电图（EEG）的认知负荷分类受到EEG信号个体间变异和主观负荷响应的影响。研究人员提出参与者特异性自适应标签平滑（participant-specific adaptive label smoothing），其中静息与任务条件之间感知负荷的变化控制
背景：基于脑电图（EEG）的认知负荷分类受到EEG信号个体间变异和主观负荷响应的影响。研究人员提出参与者特异性自适应标签平滑（participant-specific adaptive label smoothing），其中静息与任务条件之间感知负荷的变化控制目标置信度，而实验类别保持不变。方法：该方法在STEW数据集上进行评估，并与五种替代监督策略进行比较。使用两种分类模型：基于特征的卷积神经网络（convolutional neural network）以及在时频表征上运行的多尺度Swin Transformer网络（MST-Net）。采用参与者不相交的交叉验证（participant-disjoint cross-validation）评估全局归一化与参与者特异性分层归一化（participant-specific stratified normalization）。参与者特异性方法使用从每个未见参与者自身无标签EEG数据估计的归一化统计量。结果：在分层归一化下，自适应标签平滑在两种模型上均产生最高的宏观F1（macro F1），分别为0.768和0.796，ROC AUC分别为0.844和0.878。该方法还保持了两个类别的高召回率。结论：研究结果表明，参与者特异性主观负荷响应可用于调节目标置信度，最一致的益处出现在参与者特异性归一化下。由于各策略在目标定义上存在差异，且未评估硬性静息/任务对照或固定标签平滑对照，因此这些差异为描述性的。
研究背景：认知负荷（cognitive workload）反映满足任务需求所需的心理努力，是安全关键、工业、交通和人机交互领域中人类绩效的重要决定因素。脑电图（EEG）因具有无创、时间精度高且可在任务执行中连续评估的优点而适用于负荷评估。频谱EEG研究显示认知负荷与theta活动（尤其额区theta）变化最一致，alpha与beta功率变化亦有报道。相关EEG特征已通过机器学习、卷积神经网络、胶囊表征及Transformer架构等方法分析，但系统综述指出研究方法异质性大，模型难以迁移至训练以外的参与者和实验条件。参与者间泛化尤其困难，因为EEG分布存在显著个体差异，现有研究多集中于在输入或表征空间减少个体间差异，包括域适应（domain adaptation）、归一化方法、跨参与者与时间的对抗学习以及基于注意力的特征对齐；而作为实用性负荷估计器，理想上应对未见参与者和不同认知任务保持信息性。与此同时，监督信号本身的变异较少受到关注：任务施加的负荷不一定与参与者感知的负荷直接对应，更高任务需求并不总带来相应清晰的神经活动差异，且不同研究在负荷类别来源于实验任务负荷、主观评分或其他标准方面存在显著差异，标签策略选择影响性能解释与可比性。主观评估可提供无法仅从任务条件推断的个体负荷体验信息，STEW数据集即提供静息与多任务条件下的EEG记录及参与者报告的负荷评分。当负荷评分用于模型监督时，可定义类别归属或修改目标置信度，后者与标签平滑（label smoothing）密切相关；已有研究在多模态驾驶员负荷模型中使用固定标签平滑，但对所有观测使用同一平滑参数。自适应标签平滑已被用于提高对标签噪声的鲁棒性、改善模型校准及处理模糊或部分标签，EEG领域也通过不确定性感知学习和专门标签平滑处理标签不确定性，但这些方法均未利用参与者报告的工作负荷变化来确定平滑强度。为此，研究人员提出参与者特异性自适应标签平滑策略，主要贡献在于利用静息与任务条件间主观负荷的个体变化确定平滑强度，同时保留由实验条件定义的类别归属：变化越大，目标越接近对应硬类别标签；变化越小，目标越软化。该策略在STEW数据集上与五种纳入主观负荷信息的替代方法（包括硬重标记与样本加权）进行比较，并在全局归一化与参与者特异性归一化下，采用参与者不相交交叉验证考察两种互补EEG模型，评估观察到的性能模式在分析式特征与 时频表征间是否一致。
关键技术方法：研究使用公开的同步任务EEG工作负荷（STEW）数据集，原始招募50名参与者中因原数据集发布前排除2人及3人缺少主观负荷评分，最终队列为45人；每人完成3分钟睁眼静息与18分钟SIMKAP（Simultaneous Capacity）多任务测试，取SIMKAP最后3分钟代表负荷条件，两种条件均去除首尾各15秒后得每条件2.5分钟EEG，随后以1至9分制报告感知心理负荷。EEG由14电极无线Emotiv EPOC系统以128 Hz采样，采用CMS/DRL原生参考配置。信号经49–51 Hz带阻与0.5–45 Hz带通四阶Butterworth零相位滤波，未单独剔除眼电、肌电或运动伪迹；以4秒窗、50%重叠分割，共6660窗（每条件3330窗）。比较全局归一化与基于参与者特异性分层归一化（参与者特异性统计量由各参与者自身无标签数据估计）。分类模型为基于159个分析特征的一维卷积神经网络（1D CNN）与基于短时傅里叶变换（STFT）时频表征的多尺度Swin Transformer网络（MST-Net）。采用以参与者身份为分组变量的五折GroupKFold参与者不相交交叉验证，模型选择与阈值优化仅在验证集进行，评价指标包括准确率、宏观F1、宏观召回、ROC AUC及混淆矩阵。
研究结果：
分类性能：在基于特征的卷积模型中，自适应标签平滑在两种归一化下均取得最高均值，宏观F1由全局归一化的0.706升至分层归一化的0.768，ROC AUC由0.774升至0.844；分层归一化下样本加权与基线次之，Z-score与百分位重标记最低。对MST-Net，最优策略取决于归一化：全局归一化下基线最高（宏观F1 0.719，ROC AUC 0.787）；分层归一化下自适应标签平滑四项指标均最高，宏观F1 0.796，ROC AUC 0.878，样本加权以0.770居次，基线0.747。分层归一化使两种模型所有策略的宏观F1均升高，自适应标签平滑提升最大（特征模型0.706至0.768，MST-Net 0.699至0.796），且分层归一化下两模型排名一致：自适应标签平滑最高，样本加权与基线次之，Min-max重标记更低，Z-score与百分位重标记最低。各策略类别分布不同：Z-score与百分位重标记类别1仅占28.9%，Min-max重标记为40.0%，基线与样本加权为47.8%，自适应平滑目标在0.5二分后两类均等。分层归一化下类别特异性召回显示：特征模型自适应平滑两类召回相近（76.5%与77.2%），基线与样本加权保持较高类别1召回，Min-max重标记两类召回较低但更接近，Z-score与百分位重标记类别0召回高于76%而类别1低于45%；MST-Net自适应平滑召回为76.6%与82.6%，基线与样本加权两类召回亦较接近，Min-max重标记为77.9%与69.8%，Z-score与百分位重标记类别1召回最低（58.1%）。最大类别不平衡出现在Z-score与百分位重标记，其两类模型类别1召回亦最低；自适应标签平滑在分层归一化下保持两类高召回。
讨论：研究核心发现是参与者特异性自适应标签平滑与分层归一化结合时表现模式最佳，在该归一化下两种模型宏观F1均值最高；全局归一化下自适应平滑仍为特征模型最优策略，而MST-Net以基线最佳，表明自适应监督性能与EEG输入个体间变异的控制方式密切相关。Z-score与百分位重标记宏观F1最弱且类别不平衡最大、类别1召回最低；类不平衡可能部分贡献该结果，但正类加权已纳入训练损失，故难以解释全部差异；这些基于响应的重标记策略还改变了目标类别构成，主观响应较小的参与者任务观测可被重分配至类别0，使负类同时包含静息与任务观测，而自适应标签平滑通过保留实验条件并以目标置信度表达参与者特异性响应避免了这种重分配。类别归属与监督置信度的区分在认知负荷研究中很重要，因为实验施加的任务需求与感知负荷不一定直接对应；所提策略中预测类别对应实验条件（静息vs SIMKAP），参与者特异性主观响应仅修改目标置信度，因此分类应解释为两种负荷相关实验条件间的区分，而非对连续变化认知负荷构念的直接估计。由于STEW方案对比静息与会话后期呈现的主动多任务，条件间还存在视觉与听觉刺激、运动反应、警觉性、任务顺序及潜在疲劳差异；未做专门伪迹剔除，残余眼电、肌电和运动相关活动（尤其beta与gamma频段）亦可能贡献，且此类活动在静息与SIMKAP间不同，可能有利于目标与实验条件一致的策略；STEW未提供仅负荷水平不同的匹配主动条件，故这些因素贡献无法在本分析中分离，结合EMG等补充生理信号并明确考虑运动活动是分离神经负荷效应与肌肉及任务相关贡献的可能方向。该方法的新颖性在于适应来源：固定标签平滑此前用于处理认知负荷标签不确定性，近期EEG负荷研究在消融分析中显示去除标签平滑后性能下降；自适应方法已用于标签噪声、校准和模糊监督，专门标签平滑亦应用于EEG情绪识别；而所提方法平滑强度由参与者报告的静息与任务间负荷变化决定，将实验中采集的行为信息直接纳入EEG训练目标的置信度。样本加权提供互补结果，其保留基线硬目标，仅以参与者特异性负荷响应修改各观测对损失的贡献，在分层归一化下较强表现表明主观负荷信息也可作为训练权重使用；但因样本加权与自适应标签平滑目标定义不同，其结果不应解释为两种加权机制的孤立比较。参与者特异性分层归一化使两种模型所有监督策略宏观F1均升高；跨参与者变异是EEG分类公认挑战，并推动了参与者特异性归一化、域适应、分布对齐、对抗学习和注意力方法，临床人群中该变异还可能受年龄与疾病相关的神经元代谢、线粒体稳态和细胞易感性差异影响；本研究提示EEG输入变异与监督变异应联合考虑，一种可能解释是减少EEG表征中个体间差异可使参与者特异性监督更有效。分层归一化下监督策略的相同排序在两种显著不同的建模方法中获得，基于特征的卷积模型使用解析导出的EEG特征，MST-Net则作用于时频表征并结合多尺度卷积处理与Swin Transformer架构，这一一致性支持所观察模式在两种EEG表征间的稳健性；但在单一数据集上以两种模型评估不足以确立与架构无关的泛化性。局限方面：实验仅在含45名参与者、每个外层测试折9人的单一数据集上进行，五个交叉验证折并非独立实验重复，且未进行正式统计显著性检验；特征模型使用三个随机种子评估，MST-Net仅单一随机种子，故所报差异应视为描述性，需在更大独立队列与重复实验中确认。各监督策略在目标定义或使用方式上不同：基线由绝对主观评分导出硬标签，Min-max、Z-score与百分位重标记可依参与者特异性负荷响应改变任务观测类别，自适应标签平滑保留实验条件并使用软目标，样本加权保留基线硬标签并改变其对损失的贡献；因此六种策略间性能值代表不同完整监督方案间的比较，这些方案在类别归属、目标置信度或各观测对损失贡献上不同，不应解释为仅一个数值变换变化的受控比较。此外，Min-max阈值与平滑参数上下界为预定义，未评估采用相同实验类别定义的常规固定标签平滑；由于自适应标签平滑是唯一评估标签与实验条件一致的策略，其部分优势可能反映该目标定义而非参与者特异性适应，硬性静息/任务监督及以共同参考评估亦未实施，未来研究应纳入该对照并考察替代参数范围及负荷响应与平滑强度间的数据驱动映射；较大负荷响应支持较高目标置信度的假设未直接检验，概率校准（如Brier分数或期望校准误差）未评估。参与者特异性分层归一化还带来实际要求：未见参与者的归一化统计量由该参与者EEG观测计算，虽不需类别标签，但方法依赖分类前的参与者特异性数据，并非完全免校准的跨参与者推断；能否仅由静息态数据或短初始校准段估计归一化统计量获得可比结果未考察，后续工作应评估自适应监督与不需参与者特异性校准数据的归一化或适应方法结合。最后，当前方法对每位参与者仅使用静息与任务负荷评分间的单一差值，该值捕捉参与者间主观响应差异，但无法表示同一参与者随时间的变化，故监督信号为参与者特异性但非参与者内时间自适应；具有重复主观评估、多负荷水平或纵向测量的数据集可使目标置信度在参与者间与参与者内同时变化，此类评估结合外部验证与免校准跨参与者方法将更全面评估参与者特异性自适应监督用于EEG认知负荷分类。
结论翻译：本研究引入参与者特异性自适应标签平滑，利用主观负荷的个体变化控制目标置信度并保留实验条件。在两种互补EEG模型上，所提方法在参与者特异性分层归一化下产生最高平均宏观F1，并对两类保持高召回。结果提示，参与者特异性主观负荷响应作为监督置信度信息可能比作为硬重标记标准更有用，尽管参与者特异性适应相对于固定标签平滑的贡献仍有待确立。分层归一化下一致的表现模式也强调在评估监督策略时控制EEG输入个体间变异的重要性。由于分层归一化使用从每个未见参与者自身无标签EEG观测估计的统计量，该设置应解释为带无监督参与者特异性归一化的参与者不相交评估。进一步验证应包括更大独立数据集、作为直接对照的常规固定标签平滑、重复模型初始化以及主观响应与平滑强度间的替代映射。具有重复负荷评估的数据集还可使该方法在参与者内随时间自适应调整目标置信度。
