一种基于分层元学习的自适应脑区流融合方法,用于基于脑电图(EEG)的情绪识别
《International Journal of Cognitive Computing in Engineering》:A Hierarchical Meta-Learning Driven Adaptive Brain Region Flow Fusion Method for EEG-Based Emotion Recognition
【字体:
大
中
小
】
时间:2026年04月30日
来源:International Journal of Cognitive Computing in Engineering CS13.8
编辑推荐:
刘浩|董印东|唐一鸣|邓晶晶|叶勇|邢玉波|王秀乐
安徽农业大学人工智能学院,合肥,中国
**摘要**
基于脑电图(EEG)的情绪识别在情感计算领域受到了广泛关注。然而,现有的最先进方法仍面临两大挑战:1)在脑区功能划分时,难以在先验的生理一致性和数据驱动的灵活性之
刘浩|董印东|唐一鸣|邓晶晶|叶勇|邢玉波|王秀乐
安徽农业大学人工智能学院,合肥,中国
**摘要**
基于脑电图(EEG)的情绪识别在情感计算领域受到了广泛关注。然而,现有的最先进方法仍面临两大挑战:1)在脑区功能划分时,难以在先验的生理一致性和数据驱动的灵活性之间取得平衡;2)无法有效适应个体差异以及局部与全局特征之间的相关性。为了解决这些问题,我们提出了HMABRF,这是一种基于层次化元学习驱动的自适应脑区流融合方法,用于EEG情绪识别。在情感神经科学先验的指导下,我们设计了一种自适应脑区流划分机制。首先,我们使用自监督对比学习来增强通道特征的语义一致性,然后采用可微分的Gumbel-Softmax函数进行子流的动态聚类;此外,基于层次化元学习框架,我们开发了LTIM(局部调谐交互模块)和GTCM(全局时间校准模块)。LTIM通过内置的双边特征交互与增强(BIE)机制增强局部多尺度特征交互,特别适应个体差异;GTCM利用Mamba和上下文时间交互中继(CIR)捕捉长距离时间依赖性,并准确适应整个序列中的主体特定全局长期特征模式,同时使用自监督对齐损失来增强局部特征与全局特征之间的一致性。实验结果表明,HMABRF在SEED和SEED-IV数据集上的表现优于现有的最先进方法。
**1. 引言**
作为人类认知和行为的核心驱动力,情绪的准确识别在人机交互(Zhang, Li and Wang, 2023)、心理健康监测(Li, Zhang, Tiwari and Li, 2023)、智能教育(Alqahtani, Katsigiannis and Ramzan, 2021, Alarc?o and Fonseca, 2019)等领域具有重要的实际价值。与面部表情(Sukumar et al., 2024)和语音(Zhu, Dai, Hu and Li, 2020)等容易被主观因素掩盖的行为线索,以及心电图(ECG)(Nita, Bitam, Heidet and Mellouk, 2022)和皮肤电活动(EDA)(Ariel D'Amelio et al., 2025)等仅间接反映情绪状态的外周生理信号相比,脑电图(EEG)由于其非侵入性、高时间分辨率以及能够直接反映大脑神经活动的能力,已成为情绪识别的理想生理信号源(Apicella et al., 2022, Ding et al., 2023, Lim, Lew and Ang, 2024, Zhu et al., 2025, Yu, Li, Zang and Liu, 2023, Li et al., 2026)。近年来,研究人员在脑区划分、个体适应机制以及局部与全局特征整合等领域进行了广泛研究。例如,在脑区划分方面,吕宝良教授团队(Zheng, Zhu and Lu, 2019)基于SEED数据集(Zheng and Lu, 2015, Duan, Zhu and Lu, 2013)识别出与不同情绪相关的关键脑区——如双侧颞叶和前额叶皮层,为生理引导的脑区功能定位奠定了基础;Zhou等人(Zhou, Song, Gu and Ji, 2025)提出的AM-GCN模型利用自适应图学习通过GCN模块构建数据驱动的动态脑区连接,消除了对固定生理拓扑结构的依赖,实现了脑区交互模式的动态建模;在个体适应机制方面,Chen等人(Chen, Fang, Yang and Zhou, 2025)采用元学习框架进行少量样本的微调,从而有效适应个体差异;Zhou等人(Zhou et al., 2025)设计了EEMatch半监督迁移学习架构,通过多域分布对齐缓解了个体异质性问题;在特征融合方面,Cai等人(Cai et al., 2026)提出的EE-CSANet采用多分支并行架构,并结合集中式稀疏注意力实现局部细节与全局趋势之间的协同作用;Liu等人(Zhou, Huang, Peng and Yin, 2025)基于Mamba架构提出了miMamba模型,利用多尺度倒置结构同时捕捉EEG中的局部细节和全局时间依赖性,显著提高了长序列建模和识别性能,并验证了Mamba架构在EEG情绪识别任务中的适用性和优势;一项综述研究(BioArt Editorial Office 2025)证实BiLSTM-CNN混合模型能够有效捕捉EEG中的短期局部响应和长期全局趋势,在GAMEEMO数据集上的识别准确率达到90.54%。
目前,用于EEG情绪识别的主流深度学习框架已发展为多种技术方法,这些方法均作为本文描述的实验中的基准方法:作为经典卷积架构,DeepConvNet(Schirrmeister et al., 2017)和EEGNet(Lawhern et al., 2018)分别通过深度卷积和轻量级设计从EEG数据中提取时空特征;然而,它们缺乏自适应分割脑区和建模长期时间序列的能力;TSception(Ding et al., 2023)专注于建模EEG中的时间动态和空间不对称性,但没有考虑个体差异;尽管DGAT(Ding et al., 2025)使用动态图注意力网络构建脑区之间的自适应连接,但仍受固定生理先验的约束;AMDET(Xu et al., 2024)使用多维注意力Transformer增强全局特征表示,但未能实现局部特征与全局特征之间的协调适应。尽管上述方法在卷积神经网络、图神经网络、Transformer和迁移学习等领域提高了识别性能,但它们尚未解决两个主要挑战:首先,在划分功能脑区时,难以在生理先验一致性和数据驱动的适应性之间取得平衡;传统的先验划分缺乏灵活性,而纯数据驱动的方法往往偏离神经科学逻辑;其次,现有模型难以有效协调个体差异与局部-全局特征之间的适应。大多数当前模型将个体适应和特征融合视为独立模块,这割裂了局部短期特征与全局长期趋势之间的关系,从而限制了它们在跨主体上的泛化性能。为了解决这些问题,我们提出了一种名为层次化元学习驱动的自适应脑区流融合(HMABRF)的情绪识别方法,该方法利用脑电图(EEG)。这里的“层次化”特指本文设计的层次化元学习框架;详细架构将在方法部分进行描述。该方法结合了自适应动态脑区分割机制、局部调谐交互模块(LTIM)和全局时间校准模块(GTCM),在脑区分割中平衡了生理先验一致性和数据驱动的适应性,同时实现了个体变异的协调适应以及局部-全局特征的相关性。本文的主要贡献如下:(1)通过采用自适应脑区分割,解决了在功能脑区分割中过度依赖生理先验假设或数据驱动方法的问题;(2)我们创新性地设计了由LTIM和GTCM组成的双模块架构,通过层次化元学习驱动,实现了局部特征与全局特征的同时建模,同时适应个体差异,从而克服了现有模型的局限性;(3)我们提出了一种层次化自适应特征融合策略,包括流内和流间特征聚合,有效整合了全脑情绪特征,改进了EEG情绪识别的特征融合机制;(4)我们提出的HMABRF方法在两个数据集上的表现均优于现有的最先进方法。
**2. 数据集**
我们使用SEED(Zheng and Lu, 2015, Duan, Zhu and Lu, 2013)和SEED-IV(Zheng et al., 2019)数据集来评估模型的性能。SEED数据集包含15名中国参与者的EEG数据,分为三个实验阶段(每个阶段之间大约相隔一周),每个阶段有15次试验。每次试验的EEG对应于三种情绪标签之一:积极、中性或消极;SEED-IV数据集还包含15名参与者的EEG数据,每位参与者在不同日期完成了三个实验会话,每个会话有24次试验。每次试验的EEG被分配到四种情绪标签之一:快乐、中性、悲伤和恐惧。
**3. 方法**
HMABRF的架构如图1所示,本章详细阐述了每个模块的具体组成和功能实现细节。
**图1. HMABRF架构示意图**
图中使用的缩写包括:BIE(双边特征交互与增强)、CIR(上下文时间交互中继)和SSM(结构化状态空间模型)。关键模块说明如下:
- **自适应脑区流划分**表示自适应脑区流划分;
- **LTIM(局部调谐交互模块)**用于局部多尺度特征捕获;
- **GTCM(全局时间校准模块)**负责全局时间特征建模;
- **局部-全局对齐**表示局部-全局特征对齐;
- **多级特征融合**表示多级特征融合,包括流内和流间融合步骤。
**3.1. 输入预处理**
1) **信号结构转换和时频特征提取**:首先,使用重叠滑动窗口策略处理原始EEG数据。根据SEED和SEED-IV数据集中情绪信号的有效持续时间,选择2秒的窗口长度和50%的重叠率进行分割。分割后,每个样本表示为一个二维张量,保留了情绪神经响应的时间完整性,同时增加了样本大小。所有样本最终形成后续时频特征提取的输入数据集;计算和降维后,本实验中的时间序列子窗口数量设置为T′ = 30。然后使用短时傅里叶变换(STFT)将时域信号转换为二维时频矩阵;接下来,我们提取五个核心频带(delta(1–4 Hz)、theta(4–8 Hz)、alpha(8–13 Hz)、beta(13–30 Hz)和gamma(30–45 Hz)的DE特征,最终将每个样本转换为三维特征张量Xi∈RC×F×T′(Zhou, Tang and Yue, 2026)。
2) **自适应脑区流划分**:首先,根据情感神经科学理论,将62个EEG通道分为三个宏观脑区,从而为这种分类建立生物学基础。前额叶皮层(Etkin, Egner and Kalisch, 2011, Gil, Seo and Lee, 2008)包含18个通道,包括Fp1和Fp2,其主要功能包括情绪调节、决策和工作记忆,是情绪处理的主要脑区;颞叶(Jha, Suvvari and Kumar, 2024)包含16个通道,包括T7和T8,主要负责情绪记忆编码、听觉信息处理以及情绪和语义信息的整合;顶枕区(Li et al., 2022, Tseng et al., 2024)包含28个通道,包括P3和O1,专注于多模态感知整合、空间注意力分配和情绪体验;接下来,在每个宏观流内,我们构建了一个由1×1卷积和LayerNorm组成的通道特定嵌入器,将单通道时空特征转换为128维语义向量,从而保留不同通道的神经响应特异性;然后我们通过随机采样每个训练批次中的所有62个EEG通道来引入自监督对比学习。同一宏观区域流内的通道配对为正样本对,不同宏观区域流内的通道配对为负样本对。每个批次中正样本对与负样本对的比例控制在1:3,以确保训练平衡。对比学习分支的批量大小与主模型分支保持一致,SEED数据集为32,SEED-IV数据集为64。对比损失(InfoNCE)的温度系数τ通过网格搜索优化为0.5,通过对比损失有效增强了属于同一功能流通道的特征的语义一致性;最后,我们使用可微分的Gumbel-Softmax模型进行聚类,子流数量N的候选范围设置为(Du et al., 2023, Zhu, Dai, Hu and Li, 2020)。对于该范围内的每个候选值N,我们计算相应特征分布的信息熵,如公式(1)所示:
(1) H(N) = ?∑i=1N pilogpi
其中pi表示第i个子流中特征的分布概率。信息熵H(N)反映了子流内特征分布的不确定性;H(N)越小,子流内特征的语义一致性就越强,同时可以平衡计算冗余和特征欠拟合的问题。因此,选择H(N)最小值对应的N值作为最优子流数量。最终实验结果表明,前额叶皮层的最优子流数量为5,颞叶为4,顶枕叶也为5。基于这些发现,形成了一个自适应的大脑区域流集合,记为F。这个集合F既符合个体EEG数据的分布特征,又与神经生理功能逻辑保持一致。
3.2. 局部调谐交互模块
LTIM的核心目标是准确捕捉与情绪相关的局部特征,增强特征之间的交互和互补性,并动态适应局部细节的个体差异。它整合了专家混合(MoE)、双向特征交互与增强(BIE)以及一个局部元学习器。
1) 专家混合(MoE):为了解决EEG中局部情绪特征的多尺度区分问题,本文设计了一组专门的专家网络,每个网络都针对四个核心局部特征维度进行建模。Expert1使用1×1卷积来捕捉单个时间子窗口内的带间相关性;Expert2使用1×3卷积来捕捉连续时间子窗口之间的短期时间依赖性;Expert3利用3×3深度可分离卷积(Wanzeng, Min和Jianhai, 2024)来提取通道和时间上的局部交互特征;Expert4引入了通道注意力机制,以突出子流中关键通道内的情绪相关局部响应。因此,本文采用四个专家网络来全面覆盖上述四个核心局部特征维度。这种配置并非随意选择;后续的消融实验证实了它在特征提取能力和计算效率之间达到了最佳平衡。这与一个由两个全连接层和Softmax激活函数组成的门控网络相结合,该网络输出四个专家的权重,并使用公式(2)动态融合它们:
(2) Fmoe=∑i=14ωi·Experti(Xsub)
在此上下文中,Xsub代表子流输入特征;这种设计使得门控可以根据局部特征模式精确匹配合适的专家,从而提高特征提取的特异性。
2) 双向特征交互与增强(BIE):首先,Fmoe被线性投影到128维的查询向量Q、键向量K和值向量V上。然后向Q/K添加正弦时间位置编码PE(t),以保留时间信息,如公式(3)和(4)所示:
(3) PE(t,2k)=sin(t/100002k/d)
(4) PE(t,2k+1)=cos(t/100002k/d)
这里,d=128代表特征维度,k是维度索引。通过缩放点积注意力计算出交互特征后,通过残差连接和LayerNorm获得原始局部特征,以增强训练稳定性,如公式(5)所示:
(5) Flocal_raw=LayerNorm(Fmoe+softmax((Q+PE)(K+PE)Td)V
3) 局部元学习器:为了考虑个体实例间局部细节的差异,我们构建了一个参数化的元学习器,它由两个全连接层和ReLU层组成。这个元学习器根据MoE和BIE输出的原始局部特征调整两个模块的参数调整量Δθ=[Δθmoe,Δθbie],并根据以下公式更新模块参数:
(6) θupdate=θinit+α·Δθ
这里,θinit是群体训练的初始参数,适应系数α=0.15是通过网格搜索确定的。这个局部元学习器是分层元学习的核心组成部分。它的功能是根据不同受试者之间EEG特征分布的差异生成个性化的参数更新,从而防止在跨受试者测试中群体训练模型的性能下降。最终,它输出适应后的子流局部特征Flocal∈R128,有效解决了EEG情绪识别中的个体异质性问题。
3.3. 全局时间校准模块
GTCM的核心目标是捕捉情感演变的长期动态趋势。它整合了Mamba全局特征提取器、上下文时间交互中继(CIR)和全局元学习器,形成了与LTIM的闭环局部-全局协调机制。
1) Mamba全局特征提取器:关于EEG情绪识别的时间建模任务,当前的主流方法都有显著的局限性:BiLSTM容易遇到梯度消失问题,难以建模长距离依赖性,而Transformer由于其O(n2)的复杂性而计算成本高,并且容易受到噪声干扰。为此,本文采用Mamba作为全局特征提取的核心。这种高效的状态空间模型具有O(L)的线性复杂性,非常适合建模EEG时间序列特征的长序列。首先,自适应大脑区域流输出的子流特征被扁平化为T'×128的时间序列,然后输入到一个隐藏层维度为256、扩展因子为2的两层Mamba模块中。利用Mamba的输入相关选择性传播机制,该过程动态过滤掉时间冗余噪声,优先保留与情绪状态强相关的长期趋势特征,并输出初始全局特征Fmamba∈R128。尽管当前序列长度30被认为是中等规模,但Mamba仍然比标准自注意力机制具有显著优势;其线性计算复杂性可以大幅减少具有多分支和多子流架构的模型的累积计算开销。同时,其选择性状态空间机制有效过滤掉了EEG中的大量时间冗余和噪声,避免了标准自注意力机制中固有的全局信息稀释问题。此外,它独立于Softmax归一化,有效缓解了时间建模过程中的梯度消失问题。结合分层元学习框架,这种方法进一步增强了模型的训练稳定性和特征建模性能。
2) 上下文时间交互中继(CIR):为了减轻长期时间建模中的信息衰减问题,我们设计了一个上下文时间交互中继来辅助Mamba的连贯建模。这包括两个核心组件:一个循环记忆存储单元和一个自适应门控融合单元。循环记忆存储单元负责存储与前一个t?1 EEG子时间窗口相对应的关键全局信息,包括趋势变化标记和元学习适应参数,为当前子时间窗口的特征建模提供历史背景,并防止长期时间信息的丢失;存储的历史背景信息表示为CIRt?1,更新规则如公式(7)所示:
(7) CIRt?1={Fmamba(t?1),θmeta(t?1),M(t?1)}
这里,Fmamba(t?1)代表前一个子时间窗口的Mamba输出特征,θmeta(t?1)代表元学习适应参数,M(t?1)代表趋势变化标志;这三个元素共同构成了当前时间步长用于建模的历史背景。
自适应门控融合单元动态平衡当前Mamba输出和历史记忆信息的贡献;融合公式如公式(8)所示:
(8) Fglobal_raw=γ·Fmamba+(1?γ)·CIRt?1
特别是,γ=σ(W?[Fmamba,CIRt?1])代表自适应门控权重(其中σ表示Sigmoid函数)。自适应门控融合单元根据当前子时间窗口的情绪时间模式调整融合比例。当发生关键情绪响应时,会增加当前特征的γ权重;相反,它会增强历史记忆的权重,以确保长期情绪趋势建模的一致性和准确性。
3) 全局元学习器:为了适应不同受试者之间全局特征分布的异质性——例如EEG频带响应强度的个体差异——我们重用了局部元学习器的参数化结构。根据Mamba和CIR输出的初始全局特征,我们调整两个模型的参数,最终产生已单独适应的子流全局特征Fglobal∈R128。全局元学习器和局部元学习器共同构成了本文标题中提到的分层元学习框架;它们的协同操作实现了跨受试者适应,这是提高HMABRF泛化能力的关键。
4) 局部-全局协同对齐:为了增强Flocal和Fglobal之间的语义一致性,我们引入了一个自监督的局部-全局对齐损失。使用一个两层全连接网络和BN层中的投影头,将Flocal和Fglobal映射到相同的语义空间,以最大化它们的余弦相似性,如公式(9)所示:
(9) Lossalign=?1B∑b=1B〈Φ(Flocal(b)),Φ(Fglobal(b))〉∥Φ(Flocal(b))∥2·∥Φ(Fglobal(b))∥2
这个损失函数对LTIM和GTCM模型的参数进行反向传播,以确保短期局部响应和长期全局趋势之间的协调,为后续子流之间的融合奠定基础。
3.4. 跨子流自适应聚合和情绪分类
为了整合全脑特征以实现准确的情绪识别,我们设计了一个分层自适应融合架构,该架构遵循自适应大脑区域分割的逻辑。该架构遵循从子流到宏观大脑区域再到跨宏观大脑区域的渐进式融合逻辑,以确保特征信息从局部到全局的逐步聚合。首先,每个自适应大脑区域子流将局部特征Flocal(由LTIM输出)与全局特征Fglobal(由GTCM输出)通过逐元素相加进行融合,得到完整的子流特征Fsub∈?128。这确保了局部短期响应与子流内全局长期趋势之间的深度耦合。融合公式如下:
(10) Fsub=Flocal+Fglobal
然后我们采用“在宏观大脑区域内融合,然后是跨宏观大脑区域融合”的分层策略:首先,使用多头自注意力机制(Cao, Dong和Chen, 2025),为属于同一宏观大脑区域的所有子流的特征分配权重,并将它们聚合成宏观大脑区域级别的特征Fmacro∈?256。聚合过程可以表示为:
(11) Fmacro=∑i=1Nsαi·Fsub(i)
这里,Ns代表宏观大脑区域内的子流数量,αi表示第i个子流特征的自注意力权重,由多头自注意力机制自适应学习得到。然后,对三个宏观级别大脑区域特征重复自适应注意力融合过程,生成全脑复合特征Ftotal∈?512,使用以下融合公式:
(12) Ftotal=∑j=13βj·Fmacro(j)
这里,βj表示第j个宏观大脑区域特征的自适应注意力权重。最后,一个由两个全连接层和Dropout层组成的轻量级分类头将Ftotal映射到情绪类别空间,并应用Softmax函数生成概率分布。总模型损失是多类损失的加权和,如公式(13)所示:
(13) Losstotal=λ1Losscontrast+λ2Lossalign+λ3Lossce
具体来说,Losscontrast是用于自适应大脑区域分割的自监督对比损失,Lossalign是局部-全局对齐损失,Lossce是多类交叉熵损失。上述多目标损失函数的权重系数通过网格搜索优化,以确保每个分支的损失对整体模型训练的贡献相等,并确保训练稳定性。权重搜索范围设置为:λ1∈{0.1, 0.2, 0.3, 0.4, 0.5}, λ2∈{0.1, 0.2, 0.3, 0.4, 0.5, 0.6}, λ3∈{0.4, 0.5, 0.6, 0.7, 0.8, 0.9}。优化过程在SEED数据集上使用5折交叉验证,以每个模型的分类准确性和损失收敛的稳定性作为双重优化标准。在彻底探索所有权重组合后,选择产生最佳模型性能和最稳定训练的权重配置。最终确定的最佳权重为λ1=0.2, λ2=0.3, λ3=0.5。这种配置有效平衡了自监督对比学习、局部-全局特征对齐和监督分类任务的训练目标,从而增强了模型的泛化能力和特征一致性。
4. 实验
4.1. 实验设置
我们使用PyTorch框架在Intel Xeon Gold 6248 CPU和NVIDIA RTX 4090 GPU上训练和评估模型,使用SEED和SEED-IV数据集。默认优化器是Adam,学习率为0.001,训练周期为150个周期。SEED和SEED-IV数据集的批量大小分别设置为32和64。我们使用留一法交叉验证来评估模型,训练集和测试集来自不同的受试者,符合EEG情绪识别领域的标准评估范式。本研究使用准确率作为主要评估指标,同时使用精确度、召回率和F1分数作为补充评估指标,以全面评估模型在不同情绪类别上的分类性能和泛化能力。
4.2. 实验结果分析
4.2.1. 与最先进方法的准确性比较
为了验证HMABRF模型在跨受试者EEG情绪识别任务中的性能优势,本研究在SEED和SEED-IV数据集上使用了留一受试者出(LOSO)交叉验证范式,将模型与各种基线方法进行比较,包括传统的机器学习方法、经典深度卷积网络、图神经网络和EEG特定的Transformer。实验结果如表1所示。在整体性能方面,HMABRF在两个数据集上都取得了当前最好的识别准确率,充分证明了所提出模型架构的有效性和先进性。表1. 不同方法在SEED和SEED-IV数据集上的情绪识别准确性比较
方法 | 准确率(平均值±标准差,%)
--- | ---
SEED | 81.37±5.89 | 70.52±8.11 |
EEGNet[27] | | |
TSception[28] | | |
DGAT[29] | | |
EEGMatch[22] | | |
AMDET[30] | 82.54±6.12 | 83.85±5.72 |
84.01±5.88 | 84.21±6.05 | 84.86±6.21 |
72.18±7.35 | 73.56±6.98 | 74.09±7.01 |
74.89±7.12 | 75.63±7.19 | |
HMABRF(我们的方法)| 85.17±6.83 | 76.32±7.28 |
在SEED数据集上,HMABRF的平均准确率为85.17% ± 6.83%,显著高于EEGMatch的84.21% ± 6.05%和AMDET的84.86% ± 6.21%。它还优于近年来提出的前沿图神经网络和时空CNN模型,如DGAT和TSception。这些结果表明,与仅依赖于静态大脑区域拓扑建模的GNN方法、在单一尺度上提取时空特征的CNN模型(如TSception)以及为EEG设计的多维注意力Transformer架构(AMDET)相比,HMABRF通过结合生理先验知识和数据驱动的自适应大脑区域划分,并结合基于层次化元学习的局部-全局特征协同适应模块,更准确地捕捉了EEG中的情绪相关时空相关特征,有效缓解了受试者之间的个体差异。在SEED-IV数据集上,HMABRF的准确率为76.32% ± 7.28%,再次在所有比较方法中名列前茅。尽管SEED-IV是一个具有更细粒度情绪类别的数据集,导致特征区分度较低且跨受试者泛化难度较大,但HMABRF仍然保持了其性能优势,进一步证明了模型的鲁棒性和泛化能力。相比之下,早期的深度CNN基线方法(如DeepConvNet和EEGNet)在两个数据集上的表现明显不如近年来的先进GNN和基于Transformer的深度模型,这反映了仅依赖浅层时空特征提取的架构难以有效处理EEG的个体异质性和复杂的时空动态;而现有的先进方法虽然通过注意力机制、动态图建模或多尺度特征融合提高了性能,但通常无法在生理先验约束和数据驱动的灵活性之间取得足够的平衡。在像SEED-IV这样的细粒度情绪识别任务中,这些方法仍然存在情绪相关特征表示不足和跨受试者泛化能力不足的问题。
总体而言,通过采用自适应大脑区域分割和协同适应局部和全局特征的设计,HMABRF有效克服了现有EEG情绪识别方法的性能瓶颈。它不仅在SEED数据集上超越了主流的Transformer和GNN方法,而且在更具挑战性的SEED-IV数据集上也保持了性能优势,从而为跨受试者的EEG情绪识别提供了一种高效且稳健的新解决方案。
4.2.2. 基于多维评估指标的模型性能比较
前一节使用准确率比较了我们模型的整体性能与所有基线方法。为了更全面地评估模型在不同情绪类别上的分类性能,本节选择了三种代表性的主流方法——EEGNet、TSception和AMDET——进行多维指标比较。本研究引入了三个指标——精确度、召回率和F1分数——来进行分类准确性、识别完整性和整体性能的比较分析。结果在图2中以可视化形式呈现。
如图2所示,本文提出的HMABRF模型在情绪分类任务中表现出优越的整体性能和出色的泛化能力。在SEED数据集的三类情绪识别任务中,HMABRF在三个核心分类指标——精确度、召回率和F1分数——上始终优于所有基线模型,证明了模型准确捕捉和有效区分EEG中情绪特征的能力。在具有更细粒度类别和更大识别难度的SEED-IV数据集上,HMABRF在所有指标上继续保持领先地位,且性能波动较小。这表明,在多类别、细粒度的情绪识别场景中,模型在不同情绪类别之间表现出更平衡的分类性能,没有对特定类别的识别偏差,并具有更强的跨类别适应性。对多维评估结果的全面分析表明,HMABRF不仅表现出优越的整体识别准确率,还在分类精确度、召回率完整性和整体稳定性方面实现了协同优化。它有效地平衡了情绪分类任务中精确区分和全面覆盖之间的核心权衡,进一步验证了所提出方法的有效性、鲁棒性和实际应用潜力。
4.2.3. 情绪识别的特异性和EEG生理特征的可视化分析
为了研究HMABRF对不同情绪的识别特异性以及提取特征的生理有效性,我们分别为SEED和SEED-IV数据集绘制了情绪识别的混淆矩阵和模型的EEG激活图。
如图3中的混淆矩阵所示,SEED数据集中情绪混淆的比例在唤醒水平上极低,表明模型通过自适应大脑区域分割准确捕捉了高唤醒和低唤醒情绪的独特EEG模式;在SEED-IV数据集中,混淆集中在相同效价或相似唤醒水平的情绪之间,进一步证实了模型提取的特征与情绪的神经处理逻辑一致。这种持续的低混淆率不仅反映了模型对核心情绪特征的针对性捕捉,还展示了其在不同受试者之间泛化这些特征的能力。
图4显示,所有情绪都在前额叶皮层引发了显著的激活,该区域是情绪处理和调节的中心。悲伤情绪的特点是双侧颞叶的显著激活,这与颞叶在编码情绪记忆中的生理作用一致。中性情绪没有显示出任何特定的激活区域,全脑EEG特征表现出低幅度和均匀分布。这表明模型不仅仅是一个数据拟合练习,而是捕捉了与生理先验预期一致的情绪相关EEG特征。
4.2.4. 模型训练的收敛性和泛化能力的验证
为了验证HMABRF训练过程的稳定性和其跨受试者的泛化能力,我们记录了SEED和SEED-IV数据集上每个训练阶段的损失值和识别准确率,并绘制了训练收敛曲线。图5(a)显示了SEED数据集的结果,而图5(b)显示了SEED-IV数据集的结果。
如图5中的收敛曲线所示,随着训练次数的增加,HMABRF在两个数据集上的训练损失迅速下降,在大约80次迭代后趋于稳定,没有显著增加或波动。这表明模型的网络架构、损失函数设计和超参数配置确保了训练的稳定性,并有效防止了梯度消失或爆炸问题。同时,模型的训练准确率随着训练次数的增加而稳步提高,并最终稳定下来,没有明显的过拟合迹象。这为模型在测试集上的优异性能奠定了坚实的基础,最终模型在SEED和SEED-IV测试集上的跨受试者识别准确率分别为85.17%和76.32%。模型在训练期间实现稳定收敛并在测试期间表现出优异泛化性能的核心原因在于,自监督对比学习和局部-全局对齐损失增强了特征的语义一致性和鲁棒性;层次化元学习框架中的LTIM和GTCM模块动态适应了个体差异,减少了受试者之间特征分布的异质性;轻量级设计(如深度可分离卷积和残差连接)也有效抑制了过拟合,使模型学习的特征具有强大的跨受试者泛化能力。
4.3. 消融实验
为了验证HMABRF每个核心组件的有效性,我们在SEED和SEED-IV数据集上设计了消融实验;结果如表2所示。
表2. HMABRF每个核心组件的消融实验结果
模型变体 | SEED | 准确率(平均值±标准差,%) | SEED-IV | 准确率(平均值±标准差,%)
--- | --- | --- | ---
无自监督对比学习(仅监督训练) | 82.85±6.90 | 73.75±7.38 |
无ABRF(替换为固定解剖区域) | 81.25±6.97 | 72.11±7.56 |
无LTIM(替换为标准卷积) | 82.03±6.89 | 73.04±7.41 |
无GTCM(替换为BiLSTM) | 80.76±7.01 | 71.88±7.62 |
无元学习器 | 82.41±7.05 | 73.36±7.44 |
无Loss_align | 83.24±6.91 | 74.27±7.35 |
HMABRF | 85.17±6.83 | 76.32±7.28 |
表2中的结果显示,自监督对比学习、自适应大脑区域分割、LTIM、GTCM和局部-全局对齐都显著提高了模型性能。特别是,当移除自监督对比学习并仅使用监督学习进行训练时,模型性能显著下降。这证实了自监督对比学习增强了模型从未标记EEG数据中提取特征的能力,从而有效提高了模型的泛化和特征鲁棒性;移除ABRF并替换为固定解剖大脑区域分割后,模型性能进一步下降,直接验证了自适应动态聚类在大脑区域分割中的核心作用。与固定解剖大脑区域相比,自适应策略可以通过结合个体EEG数据特征来优化子流分割,更好地考虑情绪神经活动的个体差异,从而增强特征表示能力;移除LTIM并替换为标准卷积特征交互层后,模型性能显著下降,直观验证了LTIM(包括BIE)准确捕捉和协同增强局部多尺度EEG特征的能力;此外,用BiLSTM替换GTCM后模型性能的显著下降直观验证了GTCM中Mamba全局时间建模机制的核心价值;移除层次化元学习器后,模型性能显著下降,直接证实了元学习驱动的个体适应机制的核心价值。作为LTIM和GTCM的关键支柱,层次化元学习动态适应了不同受试者之间局部和全局特征分布的差异,使模型能够以个性化的方式更新参数。这有效缓解了群体训练模型在跨受试者测试中的性能下降,并是提高跨受试者泛化性能的关键组成部分。自监督对比学习使得未标记特征的有效提取成为可能;ABRF通过生理先验知识和数据驱动洞察之间的动态平衡为大脑区域特征提取奠定了基础;LTIM增强了个体局部多尺度特征的精确捕捉和适应;GTCM优化了全局长期情绪趋势的建模一致性;Loss_align确保了局部短期响应和全局长期特征之间的语义一致性;完整模型的最佳性能充分验证了该方法设计的合理性和每个模块的协同和互补价值。
为了进一步验证LTIM模块中专家数量的适当性,我们进行了比较不同专家数量的消融实验;结果如表3所示。
表3. 专家数量对模型性能的影响
专家数量 | SEED | 准确率(平均值±标准差,%) | SEED-IV | 准确率(平均值±标准差,%)
--- | --- | --- | ---
2 | 82.36±6.94 | 73.18±7.40 |
3 | 38 | 37.18±6.85 | 74.92±7.33 |
4 | 58 | 58 | 74.93±6.86 |
5 | 76 | 76.15±7.31 |
6 | 84 | 76.15±7.31 |
7 | 84 | 75.93±7.36 |
如表3所示,随着专家数量从2增加到4,模型的识别准确率持续提高;然而,一旦数量超过4,准确率不再增加甚至可能略有下降,同时模型参数和计算开销显著增加。这些结果证实了四个专家代表了平衡特征提取能力、模型效率和识别性能的最佳配置,并验证了之前关于EEG四个核心局部特征维度的设计逻辑。
5. 结论
本文解决了EEG情绪识别中的核心挑战——即平衡生理先验知识与数据驱动方法的难度,以及个体适应与局部和全局特征整合之间的协调问题——通过提出一种称为HMABRF的新颖EEG情绪识别方法。该方法通过自适应大脑区域分割平衡了生理逻辑与数据灵活性。它依赖于LTIM和GTCM双重模块的协作适应——由层次化元学习驱动——来考虑局部和全局特征的个体差异,同时结合自监督对齐损失来增强特征一致性。实验结果表明,HMABRF在SEED和SEED-IV数据集上都优于现有的先进方法,消融实验验证了每个核心组件的必要性和协同价值。该方法为EEG情绪识别提供了改进的特征提取和个体适应方案,并显示出巨大的实际应用潜力。未来的研究将集中在多模态和复杂情感识别任务上。
**CRediT作者贡献声明:**
- 刘浩:撰写初稿、审稿与编辑、可视化处理、数据验证、方法论设计、形式化分析、概念构建。
- 董银东:审稿与编辑、研究指导、方法论设计、形式化分析、概念构建。
- 唐一鸣:审稿与编辑、数据验证、可视化处理。
- 邓静静:审稿与编辑、方法论设计、形式化分析。
- 叶勇:审稿与编辑、概念构建、数据验证。
- 行宇波:审稿与编辑、可视化处理、方法论设计。
- 王秀乐:审稿与编辑、研究指导、概念构建。
**利益冲突声明:**
作者声明不存在任何利益冲突。
**CRediT作者贡献声明:**
- 刘浩:撰写初稿、审稿与编辑、可视化处理、数据验证、方法论设计、形式化分析、概念构建。
- 董银东:审稿与编辑、研究指导、方法论设计、形式化分析、概念构建。
- 唐一鸣:审稿与编辑、可视化处理、数据验证。
- 邓静静:审稿与编辑、方法论设计、形式化分析。
- 叶勇:审稿与编辑、数据验证、概念构建。
- 行宇波:审稿与编辑、可视化处理、方法论设计。
- 王秀乐:审稿与编辑、研究指导、概念构建。