面向脑电情绪识别的鲁棒对抗域泛化学习框架

《Frontiers in Neurology》：A robust adversarial learning framework for EEG emotion recognition

　　

引言：脑电图（EEG）提供了一种客观捕捉与情绪相关神经模式的手段，但显著的受试者间变异性限制了现有模型对未见受试者的泛化能力。方法：研究人员提出了一种用于跨受试者EEG情绪识别的鲁棒对抗域泛化框架。在第一阶段，基于长短期记忆的编码器通过重建、情绪分类和对抗域目标联合训练，以学习域不变和域特定表示。该过程在抑制受试者特定分布偏移的同时保留情绪相关信息。在第二阶段，通过基于梯度引导特征增强的分布鲁棒优化（DRO）进一步细化不变编码器和情绪分类器。该框架在AMIGOS和DREAMER数据集上使用留一受试者交叉验证（LOSO）进行评估。结果：所提方法在AMIGOS和DREAMER上分别达到69.94%和68.97%的平均准确率，F1分数分别为0.59和0.65，在两个数据集上均优于对比方法。消融结果进一步表明，对抗学习提供了跨受试者泛化的主要改进，而分布鲁棒优化提供了互补的鲁棒性。讨论：这些发现表明，将跨域不变表示学习与分布鲁棒优化相结合，可有效减少跨受试者的分布偏移，并改善对未见受试者的EEG情绪识别。

情绪是心理和生理对内外刺激的反应，深刻影响人类认知、感知和日常决策。脑电图（Electroencephalography，EEG）能够客观反映皮层神经元活动，具有高时间分辨率且难以被主观伪装，因此被广泛用于情绪识别。然而，EEG信号存在显著的受试者间变异性，大脑结构差异、个体神经响应机制不同以及电极放置等采集条件差异共同导致跨受试者域偏移（domain shift），使现有模型难以泛化到未见受试者。多数现有方法基于严格的独立同分布假设，无法处理实际中常见的多源异质性；而域适应方法需要访问目标域数据，在目标数据不可用、因隐私受限或需在线处理时难以满足。域泛化（domain generalization）仅从多个源域学习稳定且可判别特征，不使用任何目标域信息，更符合实际应用需求。因此，研究人员提出一种两阶段鲁棒对抗域泛化框架，旨在从嘈杂EEG数据中去除域相关干扰，学习稳定的情感表示，且不依赖目标域数据。

研究人员设计了包含域特定编码器、域不变编码器、域分类器、情绪分类器和解码器的框架。第一阶段通过重建、情绪分类和对抗域目标联合训练，使不变表示保留情绪信息并抑制受试者特定分布偏移；第二阶段采用基于Wasserstein距离的分布鲁棒优化（distributionally robust optimization，DRO），在经验分布周围构造模糊集，通过梯度引导的特征增强进一步微调不变编码器和情绪分类器。在AMIGOS和DREAMER两个公开数据集上，采用留一受试者交叉验证（leave-one-subject-out cross-validation，LOSO）进行评估，结果显示所提方法在两个数据集上均取得最佳准确率和F₁分数，证明结合域不变表示学习与分布鲁棒优化能有效减小跨受试者分布偏移，提升对未见受试者的EEG情绪识别性能。

研究采用的关键技术方法包括：（1）基于长短期记忆（long short-term memory，LSTM）的编码器-解码器结构，利用重建损失提取EEG时序特征；（2）对抗域分类与梯度反转层，促使不变编码器去除受试者信息；（3）Wasserstein分布鲁棒优化，通过梯度上升生成扰动样本并训练模型对最坏分布鲁棒。数据来自AMIGOS（34名受试者，14通道Emotiv EPOC，128Hz）和DREAMER（23名受试者，Emotiv EPOC）两个公开数据集，统一预处理为4–40Hz带通滤波、独立成分分析去除伪迹、1秒时间窗，并按效价阈值（AMIGOS为5，DREAMER为3）构造二分类标签。评估采用LOSO，指标为准确率和F₁分数。

比较实验（Comparative experiments）：将所提方法与支持向量机（SVM）、EEGNet、DG-DANN、DResNet、KA-CRNN、SICR-BCI、BioDG、EEG-DG和NSAL-DGAT共九种代表性方法进行对比。在相同LOSO协议下，所提方法在AMIGOS上准确率为69.94%，F₁分数为0.59；在DREAMER上准确率为68.97%，F₁分数为0.65，均优于所有对比方法。跨受试者分布图显示所提方法的中位数和上四分位数最高，表明性能提升并非由少数有利测试折造成。

消融研究（Ablation study）：为分离两个训练阶段的贡献，评估了基线（仅LSTM编码器、解码器和情绪分类器）、仅对抗训练、仅DRO和完整方法。仅对抗训练相比基线在AMIGOS和DREAMER上准确率分别提升13.50和16.40个百分点，F₁分数提升0.18和0.12；仅DRO也带来较小但一致的提升，准确率提高4.22和5.44个百分点。完整方法相比仅对抗训练进一步将准确率提高4.29和2.79个百分点，F₁分数提高0.02和0.05。这表明对抗学习是跨受试者泛化的主要贡献者，DRO提供互补的鲁棒性。

特征可视化分析（Feature visualization analysis）：使用t分布随机邻域嵌入（t-SNE）对分类输出前的深层特征进行可视化。AMIGOS中表示形成若干以单一类别为主的局部簇，DREAMER中低效价样本集中在上部，高效价样本分布在中部、下部和右侧，表明学到的表示在减少受试者间变异的同时保留了判别性情绪信息。两数据集均呈现与类别相关的结构，说明对抗抑制域偏移信息和DRO细化有助于学习可迁移且可判别的表示。

总结讨论部分：研究发现两阶段框架在LOSO协议下取得最佳综合性能，跨受试者分布显示持续高位数。对抗表示学习是主要贡献：域特定编码器保留受试者变异，梯度反转机制阻止不变编码器保留可区分受试者的信息，从而为情绪分类器提供抑制分布偏移的表示。DRO的补充作用体现在，当不变表示已抑制大量受试者特有变异后，DRO通过在经验分布周围构造模糊集并优化损失增加样本，进一步增强对残余和未观测分布偏移的鲁棒性。相比需要目标域数据的域适应方法，所提框架在训练中完全不见目标受试者，更贴近实际应用。但性能比较需谨慎，因为不同研究的划分、预处理、标签阈值和是否使用目标域信息都会影响结果。局限性包括仅使用两个通道数有限的数据集、仅考察二分类效价、未进行跨数据集评估。未来工作可探索自适应模糊集、计算高效的鲁棒优化、更多情感维度以及独立临床队列验证。

研究结论部分翻译：本研究提出了一种EEG情绪识别框架，其中对抗训练学习可迁移的域不变表示，周期性DRO更新进一步提高了对不利分布偏移的鲁棒性。在AMIGOS和DREAMER上的结果表明，这两个阶段为跨受试者识别提供了互补的益处。这些发现支持对抗表示学习和鲁棒优化作为对未见受试者泛化的一个有前景的策略。