脑区约束注意力双分支网络用于脑电情感识别

《Frontiers in Neuroscience》：A dual-branch network with brain region-constrained attention for EEG emotion recognition

　　

摘要
引言：基于脑电图（EEG）的情感识别为情感计算提供了客观途径。然而，EEG信号在时域、频域和空间域的复杂性使得任何单一维度都不足以充分表征。
方法：为了克服这些限制，研究人员提出了脑区约束注意力双分支网络（BRAD-Net）。该网络采用并行的时空（Spatio-Temporal）和谱空间（Spectral-Spatial）双分支架构，以实现多域EEG特征的协同学习。在时空分支中，研究人员引入了一种新颖的脑区约束注意力（Brain Region-Constrained Attention）机制，该机制将自注意力计算严格限制在属于同一脑区的通道内。这一设计不仅抑制了无关的跨区域干扰，还融入了脑区划分的神经解剖学先验知识，从而实现有效且可解释的表征学习。
结果：在DEAP和DREAMER数据集上使用10折交叉验证的受试者依赖实验中，BRAD-Net在DEAP数据集上对效价（valence）、唤醒度（arousal）和优势度（dominance）分别达到了97.44%、97.70%和97.97%的高准确率，在DREAMER数据集上分别达到了99.66%、99.78%和99.80%。在DREAMER数据集上的留一受试者交叉验证中，对唤醒度和优势度分别达到了72.80%和75.66%的准确率。此外，BRAD-Net展现了强大的跨范式适应能力，在抑郁症分类数据集上达到了98.21%的准确率。
结论：这些发现证实，将神经解剖学先验知识整合到双分支多维学习框架中，可以有效提取鲁棒且可解释的神经表征。BRAD-Net不仅推动了高性能EEG情感识别的发展，还为开发更可解释的脑机接口模型提供了一种新颖的、受生物学约束的设计范式。通过证明将注意力限制在脑区内相互作用足以实现准确的情感识别，该研究为脑区划分知识在分类模型中的应用提供了新的理论视角。

论文解读文章

情感识别是神经科学、心理学和人机交互领域的重要目标。传统问卷量表存在主观性偏差，因此寻找客观的生理标记成为研究热点。脑电图（EEG，Electroencephalography）以其非侵入性和相对低成本成为理想工具。然而，EEG信号在时域、频域和空间域上具有高度复杂性，现有方法往往仅针对单一维度建模，或未能充分利用时-频-空多域的互补特性，导致特征整合不充分且模型泛化能力受限。此外，许多注意力机制忽视电极通道的功能性脑区划分先验，可能捕获神经生理上不合理的依赖关系，降低了可解释性和性能。为克服这些局限，研究人员提出了脑区约束注意力双分支网络（BRAD-Net），该工作发表在《Frontiers in Neuroscience》。BRAD-Net通过并行时空分支和谱空间分支实现多域特征协同学习，并在时空分支中创新性地引入脑区约束注意力机制，将自注意力严格限制于同一脑区内部，从而抑制无关跨区域干扰，融入神经解剖学脑区划分先验，增强了特征判别性和模型可解释性。该研究证明了将脑区知识嵌入深度学习架构的有效性，为开发更可解释的脑机接口模型提供了新范式。

在关键技术方法方面（不超过250字）：研究人员首先对原始EEG进行1秒非重叠分段，提取微分熵（DE，Differential Entropy）和功率谱密度（PSD，Power Spectral Density）特征，并映射为2D空间矩阵。基于神经解剖学原则，将DEAP数据集（32通道）划分为15个脑区，DREAMER数据集（14通道）划分为10个脑区。时空分支采用一维卷积（CNN）提取局部时间特征，后接脑区约束Transformer，通过掩码矩阵将注意力计算限制在同一脑区通道内。谱空间分支采用深度可分离卷积构成的多尺度残差块和瓶颈残差块提取谱空间特征。两分支特征经展平拼接后，通过全连接层分类。模型使用Adam优化器、交叉熵损失函数，并应用随机裁剪和时间混洗的数据增强策略。

研究结果部分包括以下小节：
3.1 情感EEG数据集：DEAP数据集包含32名受试者的40段1分钟视频刺激EEG，采用128Hz采样，对效价、唤醒度和优势度按5分阈值二分类；DREAMER数据集包含23名受试者的18段电影片段EEG，同样128Hz采样，按3分阈值二分类。两数据集均存在类别不平衡。
3.2 实验细节：模型基于PyTorch在NVIDIA A800 GPU上实现，采用固定随机种子确保可重复性，并去除基线信号。训练参数包括学习率0.001、权重衰减0.003等。
3.3 受试者依赖实验结果：通过10折交叉验证，BRAD-Net在DEAP数据集上对效价、唤醒度和优势度分别达到97.44%、97.70%和97.97%的准确率，在DREAMER数据集上分别达到99.66%、99.78%和99.80%。与多种现有方法（包括CNN、LSTM、Transformer、胶囊网络、图卷积网络等）相比，BRAD-Net在所有三个维度上均取得最优或接近最优性能，配对t检验表明差异高度显著。该结果验证了双分支结构融合时域动态与谱空间特征的有效性。
3.4 受试者独立实验结果：采用留一受试者交叉验证，BRAD-Net在DREAMER数据集上对唤醒度和优势度分别达到72.80%和75.66%的准确率，优于所有对比方法；在DEAP数据集上对效价达到63.36%，低于最优模型但依然超过大多数基线。该结果证明了模型在跨受试者场景下的泛化能力，且参数数量仅为0.231M（DEAP）和0.228M（DREAMER），远低于其他模型，适合资源受限应用。

讨论部分总结：混淆矩阵分析表明模型对正负两类均具有高分类准确率，误分类率低。注意力策略对比实验中，BRAD-Net采用的细粒度15脑区约束注意力（BRCA-15）在效价和唤醒度维度上准确率和F1-分数均显著优于全局注意力、随机分区注意力和“局部脑区+全局脑”注意力策略，且跨受试者标准差更小，验证了神经科学先验的引导优势。消融实验表明，双分支融合模型优于任何单个分支，且多尺度残差模块提升了谱空间分支性能。特征可视化显示融合后的特征具有更清晰的线性可分边界。参数效率分析显示BRAD-Net在保持高准确率的同时参数和计算开销最低。局限性方面，跨受试者泛化仍是挑战，尤其是在通道数较多的DEAP数据集上，未来将通过域适应、个性化微调及引入轻量级跨区域注意力泄漏模块来改进。

研究结论部分翻译如下：
本文提出了一种新颖的BRAD-Net，该网络整合了脑区约束注意力机制和轻量级多尺度残差网络架构。该模型有效解决了基于EEG的情感识别中多维特征利用不足的问题。与传统的全局注意力方法不同，BRAD-Net的时空分支在电极层面实现了脑区划分，并采用功能约束的注意力掩码来抑制跨区域干扰，显著增强了特征判别性。此外，双分支结构全面捕获了用于情感识别的时域动态信息和谱空间信息。实验结果表明，在受试者依赖（DEAP和DREAMER）和受试者独立（DREAMER）实验范式下，该模型均优于其他近期工作。此外，在抑郁症数据集上的补充实验进一步验证了该模型跨任务的强大泛化能力。除了经验性贡献外，该研究还强调了将领域知识深度整合到计算架构中的方法论转变。超越纯粹的数据驱动范式，所提出的脑区约束注意力机制体现了一种协作的、知识引导的方法，其中既定的神经科学原理作为结构化先验嵌入到学习算法本身。值得注意的是，将注意力计算限制在脑区内的设计为脑区划分知识在分类模型中的应用提供了新的理论视角。研究人员认为，这一方向对于开发可靠且富有洞察力的情感计算模型至关重要。