Cerebro Wave Bee 变压器用于利用基于脑电图(EEG)的手部运动分类技术,并采用优化的生物启发式学习率进行训练

《Scientific Reports》:Cerebro Wave Bee transformer to leverage EEG based hand movement classification using optimized bio-inspired learning rates

【字体: 大 中 小 】 时间:2026年05月08日 来源:Scientific Reports 3.9

编辑推荐:

  摘要 基于脑电图(EEG)的手部动作分类在生物医学工程、神经科学和辅助技术等多个领域具有重要意义。EEG可以用来将脑电波转换为支持多种任务的有用指令。本文介绍了一种新颖的基于EEG的手部动作分类方法,该方法采用蜜蜂优化(HBO)作为离线超参数优化技术,在训练Transform

  摘要
基于脑电图(EEG)的手部动作分类在生物医学工程、神经科学和辅助技术等多个领域具有重要意义。EEG可以用来将脑电波转换为支持多种任务的有用指令。本文介绍了一种新颖的基于EEG的手部动作分类方法,该方法采用蜜蜂优化(HBO)作为离线超参数优化技术,在训练Transformer模型之前找到最佳的学习率。传统的学习率技术无法适应Transformer模型训练过程中的动态变化,从而限制了深度学习模型的潜力。所提出的架构通过应用HBO来优化学习率,使模型更加稳定,分类准确率达到了95.60%。这有助于实现更稳定的收敛和更准确的EEG手部动作分类。这种受生物启发的优化技术确保了机器学习模型性能和灵活性的提升。该研究可以应用于当前的医学信号分析以及神经技术的新突破,其中准确的手部动作识别至关重要。

引言
脑电图(EEG)是一种无需侵入性操作即可记录大脑活动的医学成像技术。它通过在头皮上放置电极来捕捉大脑神经元活动产生的微弱电荷。虽然EEG具有较高的时间分辨率,但其空间分辨率相对较低,不如磁共振成像(MRI)或计算机断层扫描(CT扫描)等其他成像技术。传统的EEG眨眼检测方法基于信号处理和标准机器学习技术来识别模式。EEG极大地增强了脑机接口(BCI)的功能,使BCI能够读取神经信号以实现大脑与外部设备之间的直接交互。利用EEG数据进行手部动作分类是BCI最重要的应用之一,对中风康复、假肢功能以及人机界面改进等领域产生了深远影响。尽管基于EEG的系统具有巨大潜力,但仍存在一些固有的挑战,限制了其广泛应用和效果。神经信号的复杂性是一个主要问题,表现为个体间存在显著差异,同时EEG数据对各种噪声和干扰非常敏感,这些因素使得高精度和可靠地分类EEG信号变得复杂。最近的学术研究也指出了需要填补的研究空白,以推动该领域的发展:

1. 可解释性和模型复杂性:Transformer是先进的深度学习模型,具有有效的序列数据分析能力,包括处理EEG数据。然而,Transformer模型的复杂性难以理解,这在临床应用中可能成为一个问题,因为临床结果对信任度和伦理要求很高。此外,深度学习模型高度复杂,整合了空间和时间维度,包括混合域方法,这限制了其在现实世界中的应用,因为它们需要强大的计算能力。
2. 泛化能力和抗噪声能力:当面对具有不同信号特征或混杂因素的新数据集时,基于EEG的分类工具的效率会下降。因此,需要开发能够在多种数据集上保持高性能的模型。此外,还需要增强模型对不同类型噪声的抵抗力,以确保其在实际应用中的有效性和可靠性。
3. 计算效率:大多数深度学习模型需要大量的计算资源进行训练和测试,这在需要快速处理时间(例如在动态BCI设置中)时是一个关键限制。
4. 个体差异:由于大脑结构和功能的差异,不同人的EEG信号存在很大差异。现有模型往往无法捕捉到这种差异,导致性能不稳定。需要增加能够适应个体特征的模型参数,以提高准确性和用户体验。

为了解决这些问题,本文建议在基于EEG的分类任务中,结合使用蜜蜂启发式优化(HBO)方法和Transformer模型来动态调整学习率。这种生物启发式方法有助于增强模型的学习能力和抗干扰能力,从而提高模型的可解释性、泛化能力、计算效率和适应性。将HBO方法与Transformer模型结合使用,可以改善分类效果,提高模型的抗变异性和抗噪声能力,使其更适合实时应用。

本文的主要价值在于将Transformer架构与蜜蜂优化(HBO)战略性地结合,以自适应地调整学习率,从而提高了基于EEG的手部动作分类模型的性能。所提出的Cerebro-Wave Bee Transformer(CWBT)方法相比传统的固定学习率方法有了显著改进,能够解决泛化能力、计算效率低下和个体信号差异等问题。通过这种新的生物启发式动态学习率优化框架,可以在EEG数据中学习空间-频谱关系,实现高准确率(95.6%)、降低过拟合,并实现实时应用。这些改进有助于开发出可靠、适应性强且高效的BCI系统,应用于假肢使用、神经康复和辅助技术等领域。本研究项目有望实现EEG手部动作分类中HBO的有效应用,利用生物启发式算法的自然能力提升Transformer模型的性能,开发出高度适应性强、高效且用户友好的现代BCI系统。

第2节将回顾与深度学习模型的生物启发式优化相关的现有方法和技术;第3节详细描述了提出的CWBT方法,包括数据收集与准备、Transformer模型架构、基于蜜蜂优化技术的学习率优化以及模型训练方法;第4节概述了研究的实验设置;第5节讨论了使用所提方法获得的结果,包括性能指标和其他机器学习模型的比较;第6节总结了论文的发现、贡献和建议。

文献综述
通过EEG进行手部动作分类是BCI应用的重要组成部分,但由于噪声敏感性、个体间差异以及计算效率低下,其广泛应用受到限制。Transformer模型在检测复杂EEG模式方面表现出良好潜力,但由于固定学习率和对计算资源的较高需求,其性能效果有所下降。使用HBO作为生物启发式的动态超参数调整技术,可以提高模型的适应性。本节评估了现有的EEG分类方法以及将Transformer模型与生物启发式算法相结合的方法,随后讨论了Cerebro-Wave Bee Transformer(CWBT)的创新,以应对这些挑战。

基于EEG的手部动作分类
在脑机接口(BCI)应用中,EEG信号已被广泛用于手部动作分类,支持假肢控制、神经康复和辅助技术。传统的机器学习模型(如支持向量机SVM和随机森林)依赖于手工特征提取方法(如傅里叶变换FFT和小波变换),但这些方法无法在不同受试者之间进行泛化。深度学习的最新发展促进了从EEG数据中自动提取特征,从而提高了分类准确性。卷积神经网络(CNN)和循环神经网络(RNN)在提取空间和时间特征方面的能力得到了应用,但CNN存在长距离依赖性问题,而RNN则存在梯度消失问题,限制了其在基于EEG的分类任务中的性能。表1按参考文献、年份、使用的模型、结果、优势及局限性总结了用于手部动作分类的EEG模型。该表强调了模型架构和优化技术的发展,以及如CWBT模型这样的灵活有效解决方案的必要性,该模型旨在克服固定学习率、泛化能力差和计算效率低等限制。

表1:用于EEG相关分类任务的各种模型总结

最初为自然语言处理(NLP)开发的Transformer模型具有自注意力机制,能够捕捉短期和长期依赖关系,无需循环连接,这在EEG信号处理中显示出潜力。基于Transformer的模型能够高效处理高维EEG数据,并分析EEG通道间的全局依赖关系,优于CNN和RNN。多项研究探讨了基于Transformer的EEG分类模型,其准确率优于CNN和LSTM模型。尽管如此,由于计算复杂性和超参数敏感性,仍需采用不同的优化方法。表2总结了应用于EEG手部动作分类的基于Transformer的模型,包括参考文献、年份、使用的模型、结果、优势及局限性。

表2:用于EEG分类的Transformer模型总结

生物启发式优化对深度学习模型的训练稳定性和性能至关重要。传统的调优技术(如随机搜索和网格搜索)在训练过程中不具备适应性且计算成本高。引入的生物启发式优化算法(如遗传算法GA和粒子群优化PSO)能够动态优化超参数,模仿群体智能和自然选择。蜜蜂优化(HBO)算法通过模仿蜜蜂觅食行为,在动态超参数调整方面取得了成功,使深度学习模型能够根据训练进度调整学习率,平衡探索与利用之间的平衡。过去的研究表明,将HBO与CNN和XGBoost模型结合使用,可以在基于EEG的应用中实现更高的分类准确率。

表3:用于深度学习模型的生物启发式优化方法总结

表3汇总了在基于EEG的手部动作分类中使用的生物启发式优化方法,包括参考文献、年份、使用的模型、结果和优势。生物启发式算法(如粒子群优化PSO、遗传算法GA和蜜蜂优化HBO)在收敛性和泛化能力方面表现出更好的模型性能。尽管存在计算成本和参数敏感性等问题,但这些方法仍具有持续的优势。通过动态调整学习率,HBO与Transformer架构的结合解决了这些问题。

研究空白与动机
尽管基于EEG的研究取得了诸多进展,但仍有许多挑战,例如:
1. Transformer模型在基于EEG的分类任务中的适应性有限;
2. 深度学习模型中生物启发式优化方法的运用不足;
3. 大多数用于EEG分类的模型缺乏泛化能力、个体差异适应性和抗噪声能力。

开发CWBT模型的动机包括:
1. 利用Transformer模型提高EEG手部动作分类的效果,因为它们具有改进特征提取过程的潜力;
2. 通过集成HBO实现动态学习率优化,以加快收敛速度并减少训练时间;
3. 确保EEG手部动作分类在临床和辅助应用中的适应性、可扩展性和实时性。CWBT模型通过整合变压器模型和受生物启发的学习率,克服了现有研究的局限性,从而提升了基于EEG系统的性能和适应性。

**方法论**
本文采用基于变压器的模型,利用EEG信号高效分类手部动作。所提出模型的概述如图1所示。

**图1**
该图像的替代文本可能是由AI生成的。
**全尺寸图像**
Cerebro-Wave Bee变压器(CWBT)模型的概述。

数据经过预处理后,被划分为训练集和验证集。所提出的方法称为Cerebro-Wave Bee Transformer(CWBT)模型,如图2所示,该模型包含一个变压器,通过多个层次处理输入特征。在CWBT模型中,学习率通过借鉴蜜蜂觅食行为的自适应学习率策略进行优化。这种策略根据模型的准确性选择最佳学习率。训练阶段使用AdamW优化器,并通过提前停止训练来避免性能无明显提升的情况。最终使用多种性能指标评估CWBT模型,以确保其稳健的性能。

**图2**
该图像的替代文本可能是由AI生成的。
**全尺寸图像**
所提出的Cerebro-Wave Bee变压器(CWBT)模型的整体工作流程。

**数据收集与准备**
所提出的CWBT模型使用了两个独立的EEG数据集进行评估:
i. 来自Kaggle的预处理手部动作数据集;
ii. 原始的BCI Competition IV 2a数据集。
这两个数据集都被转换为每次试验14×4的频谱表示形式,以确保架构的一致性。尽管采用了变压器编码器,但该模型并未获取时间依赖性。EEG试验由14×4的频谱矩阵表示,其中包含14个EEG通道作为标记,4个频段的功率构成了标记特征。因此,自注意力机制近似了EEG信号的空间-频谱通道间相互作用,但没有捕捉到时间动态。这一设计决策的目的是为了在不同采样率、试验长度和预处理流程的数据集之间提供架构上的规律性,以便公平评估。这使得模型能够系统地处理每个EEG通道作为序列标记。

这是研究中使用的基本数据集,于2024年8月25日从Kaggle获取。在该数据集中,每个试验被分为三类:左手动作、右手动作或无动作(休息)。Kaggle数据集的类别分布如下:类别0(无动作)有2421个样本,类别1(左手动作)有2346个样本,类别2(右手动作)有2389个样本,说明数据集是平衡的。对于BCI Competition IV 2a数据集,在预处理和分割后,每个类别各有576个试验,分别是休息基线、左手图像和右手图像,形成了理想的类别结构。这些数字是精确给出的,以便评估类别平衡性和可重复性。这些类别构成了本研究关注的多类分类任务的基础。该数据集使用EMOTIV EPOC + EEG头戴设备记录,包含14个通道,采样率为128 Hz,A/D转换精度为16位。原始EEG数据由数据集提供者使用快速傅里叶变换(FFT)预处理,并计算了delta、theta、alpha和beta频段四个主要EEG频率的平均频谱功率值。每个试验产生一个14×4的矩阵(每行对应一个EEG电极,列表示每个频段的平均功率)。该矩阵被视为14个标记的序列,每个标记是单个通道的频谱特性的四维特征,用于变压器架构。所有特征值在训练前都标准化为z分数,数据被划分为80%的训练集和20%的验证集。此外,还进行了十折分层交叉验证,以更准确地估计模型性能并防止数据偏差。数据集的概览见表4。

为了确定CWBT模型的泛化能力,使用了BCI Competition IV 2a数据集。该数据集与Kaggle数据集不同,因为它具有不同的采样频率、通道布局和记录设备。为了保持一致性,原始BCI IV 2a数据经过了完整的处理流程。信号在0.5–30 Hz范围内进行了带通滤波,以分离与运动相关的EEG信号。运动想象试验被划分为事件标记,然后重采样到250 Hz至128 Hz,以匹配Kaggle数据集的采样率。由于BCI IV 2a包含22个电极,因此选择了14个与EMOTIV EPOC+蒙太奇空间位置接近的电极。这些空间对齐的通道通过FFT转换为频域,然后以与Kaggle预处理相同的方式提取delta、theta、alpha和beta的平均功率。

经过这些转换后,所有BCI IV 2a数据的试验都被转换为14×4的频谱矩阵,可以直接输入到CWBT模型中。交叉验证的每个组成部分都使用在交叉验证过程中计算的z分数统计量进行了标准化。变压器编码器的最后输入是两个数据集的14个标记序列,每个标记对应一个EEG通道。在通过多头自注意力层之前,每个四维标记都线性投影到一个256维的嵌入向量上。这种表示方式允许模型在没有原始时间信息的情况下,仍然能够捕捉EEG通道间的空间-频谱依赖性。为了防止数据泄露,并确保报告的95.60%准确率不是由于训练集和验证集的重叠造成的,数据分割策略经过了精心设计。Kaggle数据集缺乏受试者的标识符;因此采用了按试验分割的方法,每个试验被视为独立样本。为了进一步确认泛化能力,进行了10折分层交叉验证,以确保性能不受80:20分割的影响。在BCI IV 2a数据集中,由于有受试者数据,每个折叠都进行了预处理和特征提取,并使用独立于受试者的交叉验证来分离训练集和验证集,确保这些组不包含受试者试验。这有助于避免数据泄露,并允许公平评估受试者级别的泛化能力。

尽管统一的14×4表示形式不具有动态性,也不包含原始的时间动态,但需要一种新的设计选择来使两个数据集兼容,并能够在这项研究中共同使用。Kaggle和BCI IV 2a数据集在采样率、试验长度和通道配置方面存在很大差异,因此无法直接对原始EEG时间序列进行基于序列的建模。将两个数据集转换为统一的频谱格式保留了最相关的运动相关频段,并消除了设备特有的时间差异。在这种形式下,变压器不学习时间序列的演变,而是每个通道-频段特征向量成为一个标记,自注意力可以学习空间-频谱通道间的关系。这些跨通道的相互作用对运动执行非常重要,而这些在MLP或浅层CNN等简单模型中无法有效表示。第4节包含了基线比较,证实了这些较简单的模型相比变压器编码器的效果较差,这证明了即使在聚合频谱特征的情况下,基于注意力的建模也是有效的。

图3显示了所有通道的脑电波平均值,展示了数据集中脑电波活动的高层次概览。

**表4** EEG手部动作数据集。
**全尺寸表格**
**图3**
该图像的替代文本可能是由AI生成的。
**全尺寸图像**
每个频段的EEG通道平均频谱功率值。

**算法1**
该图像的替代文本可能是由AI生成的。
**全尺寸图像**

**数据加载与预处理**

**变压器模型的架构**
深度学习模型的架构在决定分类任务的效率和效果方面起着关键作用。本研究介绍了如算法2中所述的变压器模型,利用渐进式自注意力机制处理数据中的复杂模式。图4所示的架构旨在增强所提出模型的表示能力和泛化能力。变压器模型的关键组成部分包括嵌入层、多个批量归一化层、用于正则化的dropout层、具有多个自注意力头的变压器编码器、输出层和最终的分类层。每个元素都经过精心设计,以增强学习的动态性并提升分类任务的性能。以下小节概述了架构组成部分及其对模型功能的贡献。

**算法2**
该图像的替代文本可能是由AI生成的。
**全尺寸图像**
变压器模型的架构。
**图4**
该图像的替代文本可能是由AI生成的。
**全尺寸图像**
在CWBT框架中实现的基于变压器的模型架构。

**嵌入层**
变压器模型包含一个初始的嵌入层。该层负责将输入特征转换为高维度的连续向量空间。这种转换至关重要,因为它在表示框架中重新塑造了输入特征。该层使用线性变换将输入数据的维度加速到256维空间,从而允许在变压器编码器内进行复杂的操作。

**批量归一化层**
变压器模型包含两个关键的批量归一化层,位于关键位置,以促进稳定性并提升模型性能。
- **第一个批量归一化层**:位于嵌入层之后,将输出值标准化为零均值和单位方差,支持数值稳定性和快速训练操作。
- **第二个批量归一化层**:战略性地位于输出层之后,将线性变换输出转换为标准形式,以便在遇到激活函数之前进行处理。该层通过解决特征大小变化引起的问题,确保系统的可靠性能。

**dropout层**
变压器模型中的dropout层位于第一个归一化层和变压器编码器之间,作为正则化工具,用于抑制过拟合。通过在训练期间随机禁用一部分特征,该层帮助网络发展出更通用的特定模式表示。使用10%的dropout率,在有效学习和降低过拟合风险之间取得平衡。在推理期间关闭dropout,以充分利用所有学习到的特征,最大化模型性能。通过引入dropout,模型对现实世界条件的适应性更强,增强了其鲁棒性和泛化能力。

**变压器编码器**
变压器模型的核心是变压器编码器,它依赖于自注意力机制动态处理输入数据。每个编码器层包含多个注意力头,使模型能够同时从不同角度分析数据。多头注意力机制结合了每个头的洞察力,构建输入特征的全面表示。每个编码器层内的位置式前馈网络应用线性变换,为模型增加了深度和非线性。这使得模型能够在自注意力方式下学习通道间频谱标记的全局关系,而无需学习EEG信号的时间演变。这种设计不仅提高了处理速度,还增强了可扩展性,使编码器更适合处理复杂数据集。为了进一步增强鲁棒性,在编码器层中引入了dropout,通过在训练期间随机省略特征来减少过拟合。

**输出层**
输出层在将变压器编码器的高维输出转换为有意义的类别预测方面起着关键作用。它应用线性变换,将256维编码特征减少到与目标类别数量相匹配,简化了分类过程。此变换之后,批量归一化有助于稳定输出,确保一致的尺度和方差,从而提高训练稳定性并加快模型收敛速度。最后,softmax激活函数将处理后的输出转换为可能类别的概率分布。这一步对于多类分类尤为重要,因为它提供了可解释的概率,这些概率表明了模型对每个预测的信心。

在Transformer模型中,分类层是将256维编码器输出转换为有意义的类别预测的关键。这一过程首先通过线性变换来调整特征向量,以匹配目标类别的数量,从而使复杂的数据更容易分类。接下来应用批量归一化,这标准化了这些输出,增强了一致性并优化了模型性能。最后,softmax激活函数将处理后的数据转换为可能类别的概率分布,提供了基于统计信度的清晰、可解释的预测。这种结构化的方法对于准确可靠的多类分类至关重要。

在使用Honey Bee Optimization技术优化学习率时,选择合适的学习率至关重要,因为它可以利用模型的收敛速度和性能。当涉及许多参数时,传统的超参数调整方法(如网格搜索或随机搜索)效率低下。为了解决这个问题,提出了一种利用生物启发式算法(即Honey Bee Optimization,HBO)来调整Transformer模型的学习率的新策略。

HBO技术受到图中所示蜜蜂觅食行为的启发,有效地模拟了自然觅食中的探索和利用阶段,以优化超参数。该算法初始化时有多个代理,称为“蜜蜂”,每个蜜蜂代表一个可能的解决方案。这些蜜蜂通过搜索参数空间并围绕迄今为止确定的最佳解决方案调整它们的位置来识别最佳解决方案。位置调整基于蜜蜂在当前位置的表现以及一定程度的随机性,这隐藏了真实觅食的波动性。蜜蜂的数量对应于优化过程将执行的次数。每个蜜蜂代表一次测试学习率的尝试。对于每个蜜蜂,通过将当前最佳学习率乘以0.5到1.5之间的随机因子来修改学习率。选择0.5到1.5这个范围是基于试错策略的。随机因子的引入是为了在测试的学习率中呈现多样性,就像蜜蜂在随机探索不同区域的行为一样。

该技术中引入的一个多样化特征是“温度”参数,类似于模拟退火中的冷却计划。这个参数对于控制蜜蜂探索动作的幅度至关重要。较高的温度值允许更广泛的探索,并避免在优化过程中陷入原始的局部最小值,而较低的温度值则促进在达到最佳解时的精确调整。在这个应用中,Honey Bee Optimization的起始温度为T0=1.0,它控制了初始探索阶段的学习率扰动。使用0.95的乘法衰减因子在每次迭代中逐渐降低温度,使搜索过程能够在广阔的探索和围绕有希望的学习率子集的局部细化之间切换。每个蜜蜂候选率的训练进行了5个周期,并记录了验证准确性,然后选择表现最佳的候选者用于下一次迭代。T0的值、温度衰减和每个蜜蜂的训练持续时间保证了HBO搜索过程的可重复性和可控性。

蜜蜂代理的候选学习率在训练集上使用固定的五个临时周期进行训练以测试准确性,然后进行验证。这是一个有限周期的评估,专门用于提供有效的初始估计,以测试学习率的能力,并确保可以有效解决HBO搜索的计算成本。根据经验,五个周期被认为足以识别稳定和不稳定的学习率候选者,而不会给初始训练动态增加过多的方差(随机初始化或噪声)。这种方法保证了离线超参数优化阶段的可重复性和效率。然后使用选定的最佳学习率对最终模型进行训练,以实现完全收敛。每个蜜蜂都会施加其新的位置,并通过暂时采用它作为学习率来训练模型预定义的周期数,并在验证集上确定其性能。如果蜜蜂发现了一个比之前的学习率更有效的学习率(通过更高的验证准确性证明),则使用这个更新后的学习率进行进一步的探索。

除了“温度”参数外,还使用了另一个称为“冷却率”的参数,以实现广泛的初始探索和随后的细化之间的平衡。冷却率用于在每次迭代后降低温度,逐渐减小动态调整的幅度。Honey Bee Optimization(HBO)算法的效率在于其发现搜索空间和在收敛过程中调节解决方案的双重能力。这种方法的多功能性取决于神经网络训练的动态和波动性环境,其中最佳学习率根据具体的架构和数据而变化。

通过利用HBO技术,Transformer模型利用生物启发式算法实现了高效的超参数调整过程。这种策略阐明了自然启发式算法的强大应用,从而为机器学习研究人员和实践者提供了更广泛的程序。

虽然HBO方法结合了蜜蜂代理显示的多个候选学习率的多次验证评估,但需要注意的是,这种优化框架仅在模型开发管道的离线训练阶段运行。集成HBO可以通过使用自适应探索-利用概念以生物启发的方式动态改变学习率,从而提高Transformer模型的泛化能力和收敛行为。

每个蜜蜂迭代使用扰动的学习率训练模型一段时间,然后在验证集上进行评估,以找到最优的超参数配置。正如CWBT模型在基于EEG的手部运动分类中获得了95.60%的准确性所示,这一过程大大提高了模型的鲁棒性和最终准确性,即使在训练期间产生了额外的计算开销。

在实时执行BCI应用时,CWBT模型作为标准的基于Transformer的分类器运行,不涉及任何与HBO相关的计算操作。这种架构分离确保了CWBT模型保持轻量级和实用性,符合辅助神经技术的低延迟要求。尽管HBO显著提高了训练效率和分类性能,但它并不影响模型的实时可用性。未来的研究可能会探索通过为每个蜜蜂引入提前停止策略或基于替代品的评估来降低优化成本的方法,特别是对于资源有限的硬件环境。

CWBT模型包含了一个结构化的训练流程,该流程能够有效地优化和泛化基于Transformer的网络,用于基于EEG的手部运动检测。AdamW优化器作为专门用于权重衰减正则化的优化器变体开始学习过程。使用基于蜜蜂启发式自适应学习率算法的学习率确定方法来搜索候选率,直到找到实现最大验证准确率的那个。在训练过程中,模型经过200个周期,从前向传播开始,然后是反向传播。前向传播方法将输入数据从嵌入层引导到Transformer编码器层,并在多类分类期间以负对数似然损失(NLLLoss)结束。模型使用反向传播和计算出的损失通过梯度下降优化来产生梯度。

训练过程使用提前停止来最大化效率,防止过拟合。只有在完成50个周期后才会激活提前停止,以防止过早终止。训练后,需要评估模型以确定其泛化能力。计算出的最终准确性表示与实际真实标签相比的正确预测数量。训练过程结合了自适应学习率调整和dropout正则化以及基于验证的评估,以实现高效的基于EEG的手部运动分类。

神经网络模型适应动态学习率的能力对于模型的有效训练和性能至关重要。HBO技术策略性地结合了来自环境的反馈和冷却机制,以大力调整学习率(λ)。主要地,基于经验证据的固定学习率(λ0)是首选。每个蜜蜂在当前温度参数(T)确定的范围内调查可能的调整。每次迭代i时每个蜜蜂b的学习率表示为公式1:
$$
{\lambda}_{b}^{(i+1)}={\lambda}_{best}^{(i)}+r.\:{T}^{(i)}({\lambda}_{b}^{(i)}-\:{\lambda}_{best}^{(i)}
$$
(1)
在公式1中,λbest^(i)指的是目前发现的最有效学习率,r是在[-1,1]范围内随机选择的数字,T对应于影响学习率变化范围的可变温度。为了防止更新规则中的歧义,λb(i)是迭代i时蜜蜂b在学习率方面的当前位置。最后一次迭代的价值表示为λb(i-1)。作用于HBO更新方程的扰动项是λb(i-1),以获得当前步骤的候选学习率。这个候选学习率根据验证准确性进行测试。这种表示法解释了搜索的动态,其中每个代理蜜蜂根据之前的位置λb(i-1)到λb(i)根据探索的扰动和温度控制的搜索区域来更新其位置。

温度参数通过使用冷却因子(α)来巧妙地最小化,其范围在0.85到0.99之间。冷却因子参数在优化的最后阶段保持了广泛探索和集中调整之间的平衡,如公式2所示:
$$
{T}^{(i+1)}=\:\alpha:\:{T}^{(i)}
$$
(2)
随着温度的降低,学习率调整的范围缩小,促进了向最佳率的精确调整。然后使用每个更新后的学习率进行训练和模型评估。根据模型的性能评估,选择最有效的学习率并用于后续迭代。这个过程持续进行,直到模型的性能显示出可忽略的改进或温度降至其最小值,表明已经达到了最佳学习率。

实验设置包括数据预处理、模型架构、超参数优化、训练策略和评估指标评估。从多个CSV文档中获得的EEG手部运动数据被合并成一个统一的数据集。数据集的第一列显示类别指标,其他列对应于各种电极的EEG数据。使用StandardScaler统一缩放数据特征,以获得更好的模型收敛。数据集按80:20的比例分为训练集和验证集,以评估模型性能。

基于Transformer的神经网络模型用于检测EEG信号中的序列依赖性。模型包括一个初始嵌入层,将输入特征转换为256维空间,然后应用批量归一化以确保稳定性。模型的核心部分使用由八个注意力头组成的三层Transformer编码器,以有效学习特征的交叉连接。最后一层运行log-SoftMax,用于将原始logits转换为log概率,可以与NLLLoss函数一起使用进行多类分类,并应用10%的dropout。这种dropout特性用于防止过拟合。全连接输出层接收转换后的结果进行分类。学习率优化过程使用基于蜜蜂群体的自适应学习率算法来达到最佳性能。该模型采用了初始学习率为0.001,并通过短暂的验证准确性评估期来选择候选学习率。最终,在CWBT算法的初始阶段设置的冷却过程参数为0.95,减少了探索量,以优化学习率选择过程。训练过程使用了AdamW优化器,并结合了权重衰减正则化(1e-2),以提高模型的泛化能力。NLLLoss作为多类分类的损失函数。训练循环包含了所有步骤18的执行,包括前向传播、反向传播和参数更新。Dropout和批量归一化的结合稳定了学习过程,同时防止了过拟合。当连续20个周期的验证没有性能提升时,早期停止机制会终止训练。模型经过评估以检验其泛化性能。实验配置结合了基于Transformer的深度学习和自适应学习率调整,以实现高效的基于EEG的手部运动分类。为了确保CWBT模型的性能提升是具有普遍意义的,而不是特定于数据集或优化器的,还进行了其他几项实验。首先在同一数据集上训练了三个基线版本的Transformer:固定学习率的Transformer、使用ReduceLROnPlateau调度器的Transformer以及不使用HBO的标准Adam。此外,还测试了经典的机器学习模型,如支持向量机(RBF核)、随机森林分类器和两层多层感知器(MLP),以了解这些简单模型是否也能取得优异的结果。Transformer架构还进行了消融研究,在相同设置下分别使用HBO和不使用HBO进行训练,从而分离出自适应学习率调整的贡献。此外,还进行了HBO、固定学习率调度、ReduceLROnPlateau和十个候选学习率网格搜索的收敛性比较。通过跟踪迭代次数来评估验证准确性,从而回答HBO是否比传统策略收敛得更快或更有效的问题。因此,整个实验设置是基于Transformer的深度学习,结合了生物启发式的超参数搜索、经典基线和消融分析,以全面评估基于EEG的手部运动分类。本工作中的实验使用了10折分层交叉验证技术进行评估。性能指标是针对每个折叠单独计算的,第5节报告的结果表示为各折叠的平均值和标准差(mean ± SD)。

结果与讨论
本节评估了所提出的CWBT方法在分类基于EEG的手部运动方面的性能。该模型的有效性基于准确性、F1分数、混淆矩阵、一致性指标和相似性指标进行评估,这些指标的结果在表5中列出。报告的性能指标值都是宏观平均的,以评估多类问题,并对三个类别(左手运动、右手运动和无运动)给予同等权重。所提出的CWBT模型的性能是使用10折分层交叉验证方法进行评估的。每个折叠的准确性、F1分数和一致性都是单独计算的。本节讨论的值是10个折叠的平均值±标准差。此外,还将CWBT方法的结果与其他研究进行了比较,以展示其改进的结果并验证其方法论的稳定性。

表5 提出方法的性能评估

准确率
由于Transformer编码器的自注意力机制能够表示复杂的特征,CWBT模型在基于EEG的手部运动分类中实现了95.60%的准确率。该模型通过使用HBO选择学习率来实现有效收敛和增强泛化能力,这是实现高性能的关键方面。CWBT模型中的早期停止机制结合批量归一化防止了过拟合并稳定了结果。这种基于Transformer的方法利用序列依赖性处理进行基于EEG的手部运动分类,从而比传统的深度学习系统提供了更好的性能。

F1分数和混淆矩阵
95.60%的F1分数证明了该模型在基于EEG的手部运动分类任务中保持了良好的精确度-召回率关系。该模型表现出色,因为其F1分数表明在分类任务中成功消除了假阳性和假阴性错误。在本文中,F1分数以宏观平均F1的形式呈现,其中三个类别的权重是相等的,不受样本数量的影响。为了完全透明,提供了Kaggle数据上各类别的F1分数:类别0(无运动)的F1分数=0.956,类别1(左手运动)的F1分数=0.953,类别2(右手运动)的F1分数=0.961。这些值用于计算宏观F1(0.956),由于类别分布均匀且三个类别的分类结果稳定,因此数值上与准确率相当。

图6显示了混淆矩阵,详细展示了模型在每个类别上的表现。正确的分类结果出现在对角线上,而误分类则出现在对角线外的矩阵值中。CWBT模型对所有类别进行了稳健的分类。模型展示了由于EEG信号特征的变化导致相似类别类别重叠时出现的轻微误识别模式。该模型性能的提升源于对超参数的精确处理以及融合了不同EEG预处理策略的混合架构。

图6
CWBT模型的混淆矩阵显示了准确且平衡的多类预测。

一致性指标
一致性指标提供了对预测可靠性的评估,以检查模型是否提供了高于随机机会预测的一致性能。CWBT模型在预测标签和真实标签之间表现出显著的一致性,Cohen’s Kappa值为0.6718,因为它有效地区分了EEG手部运动模式,同时减少了随机分类错误。Fowlkes-Mallows指数值为0.6347,表明模型预测与相应实例之间存在强相关性,因为它计算了精确度和召回率的几何平均值。这些一致性指标支持分类器为不同类别的基于EEG的手部运动提供稳定和可靠的性能,使其适用于实际应用。

相似性指标
通过评估相似性指标来评估数据集内的关系,这些指标计算了预测分类和实际分类之间的重叠程度。Jaccard指数(也称为Intersection over Union,IoU)通过比较实际标签和预测标签来计算相似性百分比,从而评估分类的准确性。CWBT模型获得的Jaccard指数值为0.6419,即64.19%,表明预测标签与实际标签有精确的重叠。

图6
该图像的替代文本可能是使用AI生成的。

混淆矩阵显示了CWBT模型准确且平衡的多类预测。

一致性指标
一致性指标提供了对预测可靠性的评估,以检查模型是否提供了高于随机机会预测的一致性能。CWBT模型在预测标签和真实标签之间表现出显著的一致性,Cohen’s Kappa值为0.6718,因为它有效地区分了EEG手部运动模式,同时减少了随机分类错误。Fowlkes-Mallows指数值为0.6347,表明模型预测与相应实例之间存在强相关性,因为它计算了精确度和召回率的几何平均值。这些一致性指标支持分类器为不同类别的基于EEG的手部运动提供稳定和可靠的性能,使其适合实际应用。

相似性指标
通过评估相似性指标来评估数据集内的关系,这些指标计算了预测分类和实际分类之间的重叠程度。Jaccard指数(也称为Intersection over Union,IoU)通过比较实际标签和预测标签来计算相似性百分比。CWBT模型获得的Jaccard指数值为0.6419,即64.19%,表明预测标签与实际标签有精确的重叠。

Dice系数(也称为Sorensen-Dice相似性)通过对误分类错误施加严厉的惩罚,显示出高级性能,因此它是模型稳定性的有力指标。Dice系数为0.7816,表明模型有效地捕捉了与实际值匹配的相似预测。此外,它还使得基于EEG的手部运动分类操作具有有效的泛化能力。

训练损失和整体准确率随时间的评估
所提出的模型通过训练损失和整体模型准确率的变化来展示其性能,如图7所示。有效的学习导致训练损失曲线稳步下降,最终实现收敛。模型经历了初始的权重波动,随后损失持续减少,直到达到最佳参数提取和错误减少。尽管主要学习趋势保持稳定,但训练过程中仍存在轻微变化。

图7
该图像的替代文本可能是使用AI生成的。

图7
随着时间的推移,训练损失和模型准确率的变化展示了基于HBO学习率的稳定收敛。准确率曲线显示了通过连续波动表现出的稳定高性能。训练过程中性能的变化反映了模型如何调整其学习率并执行批量更新操作。所提出的模型还实施了dropout正则化,以有效防止过拟合问题。准确率水平在不同范围内波动,表明模型成功地将学到的知识应用于不同的数据样本。当训练结束时,损失和准确率都稳定下来,模型实现了可靠的性能,成为基于EEG的手部运动分类的解决方案。模型还展示了低错误率和高的预测能力。

使用HBO的学习率评估
Honey Bee Optimization在通过系统化的探索和超参数的精细化来调节学习率方面发挥了重要作用,从而提高了模型性能。如图8所示,蓝色曲线表示验证准确率,红色曲线代表温度。使用自适应搜索策略选择的学习率通过这一趋势得到了有效展示。红色曲线的逐渐下降超越了模拟退火原理,限制了探索和利用之间的权衡。最初,温度设置得较高,以允许更广泛的探索。随着迭代的进行,温度值降低,以限制不必要的波动,并最佳地收敛到学习率。最后一次蜜蜂迭代获得了最高的准确率,促进了基于EEG的手部运动的稳定和高效训练。

为了更好地说明HBO的实用性,进行了HBO与最有效的固定学习率和简单学习率扫描之间的收敛性比较,结果如表6所示。图8中显示的验证准确率的使用表明,HBO迭代逐渐提高了验证准确率,从基线模型的0.776开始,随着温度的降低逐渐增加到0.952。然而,这个数字仅可视化了HBO的内部搜索动态,并没有将其与传统方法进行比较。因此,同一个Transformer模型分别使用(i)实验中找到的最佳固定学习率0.001和(ii)10点网格搜索结果,范围在1e-4到1e-2之间进行训练。最佳固定LR模型的准确率为0.933,而网格搜索的准确率为0.942。HBO能够在仅五次蜜蜂迭代中就达到0.956的准确率。这表明HBO收敛更快、性能更高且更稳定。

图8
该图像的替代文本可能是使用AI生成的。

图8
HBO在Kaggle数据集上调整的学习率显示了随着温度降低而提高的准确率。

为了将这些结果放在上下文中,还创建了一个收敛性图表,如图9所示。与固定学习率模型在0.933处趋于平稳不同,网格搜索策略需要十次迭代才能达到0.942,HBO则每次迭代都显示出连续且单调的进步。到第五代蜜蜂时,HBO远远领先于这两种方法,准确率为0.956。这证明了HBO不仅能够找到更有利的学习率,而且以更高效和稳定的方式实现。温度参数进一步优化了这一过程,在第一阶段控制了广泛的探索范围,在后续阶段进行了精细调整。这种行为使HBO能够发现静态或穷举方法无法实现的学习率曲线。

表6 学习率策略的比较

为了量化HBO引入的计算开销,我们测量了相对于使用最终最佳学习率的基线训练运行所需的总时间。每次HBO迭代涉及训练模型5个周期,搜索在5次迭代中收敛,总搜索成本为25个短周期,或在NVIDIA T4 GPU上大约8.4分钟。相比之下,完整的非HBO训练运行需要200个周期,耗时36.7分钟。因此,HBO相对于完整训练时间增加了22.9%的开销。然而,这种成本仅在搜索阶段发生一次;之后使用最终优化的学习率进行完整的200个周期训练。

图9
该图像的替代文本可能是使用AI生成的。

图9
收敛性比较图表展示了所提出策略的加速收敛和改善的准确率。

重要的是,当直接使用未优化的学习率进行训练时,模型表现出较低的准确率(93.3%),并且由于收敛不稳定而需要多次重新启动。在使用HBO时,该模型在首次完整运行中始终实现了95.60%的准确率,并且收敛稳定。因此,HBO带来的轻微开销通过优化学习率选择所获得的稳定性和性能提升得到了合理化。通过对CBIT模型进行交叉验证,利用公开可用的BCI IV 2a数据集,进行了10折交叉验证来评估CBIT模型的泛化能力和鲁棒性。为了保证一致性,这次验证使用了与之前相同的超参数值、训练方法和模型架构。比较结果显示,不同数据集之间的性能变化很小。CBIT模型的交叉验证结果如表7所示。特别是在BCI IV 2a数据集上,准确率和F1分数略有下降(准确率:-1.80%,F1分数:-2.10%)。这很可能反映了参与者变异性和EEG信号复杂性的微小变化。Cohen’s kappa和Jaccard指数也显示出最小的下降(Cohen’s kappa:-0.68%,Jaccard指数:-0.79%),表明尽管每个数据集都有独特的特征,但类别一致性仍然很强。Dice系数(-0.86%)和Fowlkes–Mallows指数(-0.77%)也显示出类似的下降值,但预测重叠度保持一致,仅有轻微波动。如图10所示,对优化过程的进一步研究表明,优化迭代次数(bee指数)与验证准确率之间存在反比关系。随着bee指数的增加,验证准确率从77%逐渐上升到93%;同时温度从0.767下降到0.715。这种行为表明,较低的温度有助于收敛到更好的解决方案,从而提高了验证性能。这强调了在bee优化策略中需要控制探索与利用之间的平衡。优化过程表明,模型准确率的持续提高是由于系统地减少了探索(如温度下降所反映的)。由于观察到的变化主要归因于数据集本身的差异和优化动态,而不是模型本身的限制,交叉验证分析确认了CBIT模型在不同EEG数据集上保持了可靠的泛化能力。为了进一步提高性能,未来的研究可以关注针对特定数据集的预处理、参数调整和先进的温度控制。

表7:CBIT模型在不同BCI数据集上的性能比较。

图10:该图像的替代文本可能是使用AI生成的。

图10:HBO在BCI IV 2a数据集上调整学习率后,准确率稳定提升。

代表性基线的性能比较
提出的基于注意力的架构的有效性与代表性基线分类器的性能进行了比较,例如使用相同14×4频谱EEG表示的SVM(带RBF核)、随机森林、两层多层感知器(MLP)和浅层CNN。尽管这些模型能够利用聚合的频谱信息,但它们的表现始终不如Transformer编码器。具体来说,SVM和随机森林在全局通道间依赖关系的建模方面存在局限性,而MLP和浅层CNN则仅限于特征之间的局部或全连接交互。相比之下,Transformer编码器通过显式学习全局空间-频谱关系而更加准确,这解释了它在给定的CBBT框架中的使用。

表8:代表性基线研究的性能总结。
表8总结了基线模型在固定频谱EEG特征14×4上的表现。传统方法如SVM和随机森林的准确率分别为86.8%和88.3%,而神经基线MLP和浅层CNN的准确率分别为89.6%和91.2%。Transformer编码器在没有自适应优化的情况下实现了93.3%的准确率,并利用自注意力来建模全局通道间依赖关系。提出的CBBT模型记录了最高的准确率95.6%,这明显表明基于注意力的建模优于传统基线,尽管缺乏时间动态性。

与现有研究的比较
CBBT算法实现了95.60%的准确率,超过了各种现有的基于EEG的研究方法。传统的卷积架构在理解EEG信号依赖性方面存在困难,导致性能不佳,例如文献4中提到的混合域深度学习方法的准确率为76.21%,以及文献5中提到的基于CNN的运动相关皮层电位(MRCPs)模型的准确率为70%。文献6中实现了一个基于Transformer的EEG分类模型,通过使用自注意力机制达到了83.31%的准确率。CBBT由于其内置的自适应学习率优化和调整,使其在性能上优于竞争对手。HYP-PSO-XGB模型通过结合混合粒子群优化和极端梯度提升,实现了93.7%的准确率,与其他研究相当。与图11中显示的现有方法相比,CBBT方法通过动态超参数优化实现了更高的准确率。CBBT方法由于基于蜜蜂优化的自适应学习率优化策略以及基于Transformer的建模和强大的正则化,达到了95.60%的卓越性能。为了进一步强化比较分析,CBBT模型还与两种流行的现代学习率调度器Cosine Annealing和Step Decay进行了对比,这两种调度器是生物启发式或生物元启发式学习率搜索方法的自然替代品。在Cosine Annealing中,学习率在整个200个周期内按照余弦调度从1e-3调整到1e-5。在Step Decay中,每50个周期学习率降低0.1。带有Cosine Annealing的Transformer准确率为94.28%,Step Decay的准确率为93.85%,虽然优于固定学习率的基线(95.60%),但不如HBO(95.60%)。这些发现表明,尽管现代调度器可以提供更平滑的收敛,但HBO通过在训练完成前主动搜索和优化最有效的学习率空间,提供了额外的性能优势。

图11:该图像的替代文本可能是使用AI生成的。

图11:CBBT模型与现有方法的性能比较,突出了所提出的CBBT模型改进的准确率。

结论
本文研究了基于Transformer的EEG手部运动分类器,并采用了离线的蜜蜂优化(HBO)策略来确定学习率策略。研究结果表明,HBO在定量上具有显著改进,因为它提高了训练稳定性,并使Transformer能够从固定学习率基线和网格搜索基线中获得更高的训练验证效果。结果表明,生物启发式优化算法在EEG解码中用于深度神经网络的超参数优化方面是有效的。尽管该模型在预处理的Kaggle数据上表现非常好,并且能够早期泛化到BCI IV 2a数据集,但当前研究受到使用静态14×4频谱表示的限制,而不是原始EEG时间序列。该方法依赖于EMOTIV预处理流程生成的特性,因此其性能可能会因设备、受试者和记录条件的不同而有所变化。此外,更强的结论是有条件的,因为跨数据集的泛化尚未完全标准化,因为预处理工作流程和受试者无关的折叠必须完全标准化。总体而言,本文的价值主要在于证明了基于HBO的学习率优化在EEG分类中的Transformer模型上能够成功工作。尽管建议的CBBT框架展示了良好的结果,但当前研究仅在离线环境中使用预处理的频谱EEG表示来评估模型。该模型既没有使用原始EEG时间序列数据,也没有特别考虑实时推理的延迟或现实世界BCI系统所需的在线适应限制。尽管BCI Competition IV-2a数据集的验证在跨数据集泛化方面看起来令人鼓舞,但跨异构采集协议的标准化受试者无关测试仍然是一个未解决的问题。未来的研究方向将是将CBBT框架引入原始多通道EEG数据,引入时间动态性,确定BCI硬件设备的实时延迟,并制定标准的跨数据集和跨受试者评估标准,以允许实际神经技术的应用。未来的工作将把该框架应用于原始多通道EEG数据,包括时间动态性,并评估系统的受试者级鲁棒性,以了解BCI的实际应用性。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号