《Sensors》：A Lightweight Hybrid-Attention Conformer for Affective State Recognition from Wearable EEG
编辑推荐：
从脑电图（EEG）中识别情感状态是情感计算的核心任务，在心理健康监测和公共安全领域具有应用价值。现有方法大多依赖手工特征或EEG的图像化变换，而Transformer模型虽能捕获全局上下文，但计算成本高昂。本研究提出KimiFormer，一种端到端混合注意力C
从脑电图（EEG）中识别情感状态是情感计算的核心任务，在心理健康监测和公共安全领域具有应用价值。现有方法大多依赖手工特征或EEG的图像化变换，而Transformer模型虽能捕获全局上下文，但计算成本高昂。本研究提出KimiFormer，一种端到端混合注意力Conformer，可直接对原始EEG进行分类。分层时空特征提取（STS）模块对多通道信号进行token化并学习电极间关系。堆叠的Conformer块以3:1的比例结合线性注意力与全注意力，在保持长程建模能力的同时降低计算成本。模型在公开EEG暴力数据集上评估，该数据集由14名受试者佩戴14通道可穿戴头戴设备观看暴力与中性视频时记录。在采用嵌套训练超参数选择的记录级留一记录交叉验证（LORO）下，KimiFormer达到95.5%准确率（10折交叉验证下为97.0%）。在外部DREAMER数据集上，其受试者独立性能接近随机水平（效价平衡准确率52.7%，唤醒度50.2%），两个已建立的原始EEG模型亦如此。消融实验表明STS模块不可或缺（去除后准确率降至65%）。KimiFormer具有3.2 M参数、1.51 GFLOPs及每样本15.64 ms的推理延迟，适用于低通道可穿戴EEG的实时片上处理。
**研究背景与问题**
脑机接口（BCI）技术的快速发展使人类大脑信号向数字环境的转化成为可能。EEG信号作为大脑活动的非侵入性电记录，能够捕获神经振荡与时间动态，为理解认知状态、情绪反应和运动意图提供有价值的信息。情感计算系统日益融合脑、生理与行为信号，其中EEG提供了产生情绪反应的神经过程的最直接测量，因此准确高效的EEG模型是多模态情绪识别的关键构件。消费级可穿戴EEG头戴设备使实验室外的连续情感监测成为可行，但其通道少、电极类型受限、采样率低且易受运动伪影影响，信号质量远低于临床系统。此类传感器模型必须直接从含噪原始信号中学习，同时保持足够轻量以支持片上推理。压力与攻击行为是关键的公共卫生与安全问题，早期检测系统的开发对预防慢性压力导致的健康问题及无控攻击对公共安全的威胁至关重要。然而，原始EEG信号分析面临数据复杂、信噪比低、个体差异大等挑战。传统机器学习方法依赖手工特征提取，耗时且可能任务依赖；深度学习模型中，CNN擅长局部模式但常遗漏长程时间依赖，RNN处理长序列效率低下，标准ViT应用于原始EEG计算成本高昂且难以有效捕获局部信号细节。文献中混合模型虽优于单一模型，但许多研究存在使用复杂特征工程或将EEG转换为图像的局限，开发能直接从原始EEG信号捕获时空特征的端到端混合模型仍属开放研究领域，优化此类模型的计算成本亦是重要方向。
**研究内容与结论**
研究人员提出KimiFormer，一种新型混合架构，专为原始EEG分类设计，结合卷积的效率与Transformer的能力。主要贡献包括：引入新型分层token化模块STS，将原始EEG数据处理并变换为丰富上下文嵌入，该模块使用卷积分层捕获局部时空相关性并直接从原始信号提取鲁棒特征；提出混合注意力Conformer块以平衡计算成本与特征提取能力，模型在全注意力与线性注意力之间切换，降低传统Transformer架构的二次复杂度；提出端到端框架，消除对原始EEG信号的手动预处理或手工特征工程需求，简化实时BCI应用的部署流程；消融研究表明STS模块对EEG分类贡献显著，去除后性能大幅下降，凸显局部特征提取在基于Transformer的EEG模型中的重要性；采用分段10折与记录级LORO交叉验证（后者含嵌套超参数选择）评估模型，并在外部DREAMER数据集上以留一受试者（LOSO）协议评估。研究意义在于为可穿戴EEG实时情感状态识别提供了一种轻量高效的端到端解决方案。
**关键技术方法**
研究采用分层时空特征提取（STS）模块对原始多通道EEG进行token化，通过时空卷积（STC）与空间坍缩（SC）两阶段卷积结构同时捕获局部时空特征与全局空间表示；构建KimiFormer模块，采用Macaron式结构，以3:1比例组合线性注意力与全多头注意力，并嵌入卷积模块捕获局部时频模式；分类模块采用全局平均池化（GAP）与线性层结合SoftMax输出类别概率。样本队列来源为公开EEG暴力数据集（14名受试者，Emotiv EPOC X，14通道，128 Hz）及外部DREAMER数据集（23名受试者）。
**研究结果**
实验设置与训练参数：模型在Python 3.13.16环境下以PyTorch 2.11.0和FLA 0.5.2实现，使用AdamW优化器，初始学习率1×10??，权重衰减0.01，批大小32，最大50轮，早停耐心10轮。在NVIDIA Tesla T4 GPU上平均推理延迟15.64 ms/样本（批大小1），p50/p90为15.23/15.96 ms（约60 FPS），模型含3.2 M参数、1.51 GFLOPs。
分类性能：分段10折交叉验证下总体准确率97.0%，记录级LORO嵌套超参数选择下95.5%。两类识别可靠性相近：10折下中性（对照）段97.7%、暴力段95.8%正确；LORO下分别为95.9%和94.8%。85条留出记录中67条（79%）零错误，73条（86%）准确率至少90%；每条记录平均准确率95.2%±13.0%（SD）。按多数投票合并记录段后，83/85条记录（97.6%）归入正确类别。训练曲线显示训练损失快速下降，内验证损失在少数轮后达最小值后低水平波动，所报告模型非取自过训练末期。
交叉验证结果：10折下每折准确率94.4%–100%（均值96.97%），每折平均精确率96.73%略高于召回率95.74%。LORO下准确率95.5%、平衡准确率95.3%，95%置信区间（基于记录的bootstrap，2000次重采样）准确率92.7–97.6%、平衡准确率92.4–97.6%、敏感度89.8–98.3%（94.8%）、特异度92.4–98.6%（95.9%）、MCC 0.847–0.951（0.905）。嵌套过程中所选候选配置随外层折变化，但嵌套准确率（95.5%）与固定配置（95.7%）几乎一致。与五种基于特征的基线分类器（逻辑回归、KNN、线性判别分析、RBF核SVM、随机森林）相比，KimiFormer在LORO下取得最高准确率、平衡准确率、F1与MCC（0.905），优于逻辑回归（90.1%）、LDA（87.9%）、KNN（87.9%）、SVM（93.1%）及最强基线RF（94.8%）。
DREAMER数据集受试者独立评估：采用23折LOSO协议，KimiFormer在两个任务中取得三种原始EEG模型中最高的汇总指标值。效价任务准确率54.53%、平衡准确率52.71%（EEG-Conformer为50.30%和47.99%，EEGNet为49.09%和49.12%）；唤醒度任务准确率52.48%、平衡准确率50.20%。然而所有平衡准确率均接近50%随机水平，KimiFormer的AUC效价0.529、唤醒度0.499，参与者水平平衡准确率与随机水平无显著差异（Wilcoxon符号秩检验，p=0.27和p=0.57），与EEGNet和EEG-Conformer的差异亦不显著（p≥0.14）。
眼电、肌电与运动伪影分析：伪影在暴力类中并未更大，反而在中性（对照）类中更大（如最大峰峰值908 vs. 482 μV，p(FDR)<0.001），相对眼电与肌电功率两类间无差异（p(FDR)≥0.22）。仅使用伪影指数构建的分类器亦可分离两类（93.7%），表明两类记录在多种信号属性上存在差异。
**讨论与结论**
讨论部分指出，KimiFormer在EEG暴力数据集上的高成功率主要归因于STS模块高效压缩原始数据，其分层卷积结构优化了时间分辨率并自动学习电极间空间相关性。模型采用3:1比例的线性注意力层以适度精度代价提升计算效率。参数效率方面，KimiFormer仅3.2 M参数、1.51 GFLOPs，优于传统Transformer编码器与ViT-B/16等架构，15.64 ms的推理延迟约占信号时长的0.1%，为连续监测留有充足余量。消融研究表明：混合注意力在单次随机划分上达到100%准确率并将延迟从17.97 ms降至15.64 ms，但在LORO下全注意力模型准确率更高（97.5% vs. 95.7%），混合结构应视为精度与计算效率的权衡；STS模块不可或缺，替换为标准线性投影或线性块嵌入后准确率仅约65%；去除卷积模块使准确率从100%降至95.83%。与已有工作比较，在可比条件下KimiFormer作为无特征工程的端到端模型达到99.3%（10折）和96.4%（LORO）。局限性包括：数据集受试者数量有限；实验均在GPU上完成，边缘设备部署性能待考察；数据集记录与受试者映射未公开，无法构建受试者级评估，记录级LORO下受试者与 session 特异性信号属性在两类间未平衡；类别标签源自刺激条件而非自我报告；DREAMER上受试者独立性能接近随机，高记录级准确率不应解释为模型能在未见个体中识别情感状态。未来工作将聚焦多类BCI任务适配与模型压缩技术。
研究结论翻译：本研究提出KimiFormer，一种新型基于Conformer的混合注意力网络，专为原始EEG信号分类设计。研究使用分层STS模块在无任何手工预处理的情况下生成EEG信号的丰富上下文表示。该模型的关键优势之一在于能有效应对原始EEG数据高维度和低信噪比的挑战，另一优势在于平衡性能与计算需求。EEG暴力数据集上的实验结果表明了所提模型的有效性。KimiFormer在10折交叉验证下达到97.0%准确率，在含嵌套超参数选择的记录级LORO交叉验证下达到95.5%。消融研究表明了模型中各组成部分的贡献。记录级评估降低了数据泄漏风险；然而，基于单一数据集和采集系统的14名受试者，并不能证明所学特征具有普遍泛化能力。此外，在外部DREAMER数据集上，KimiFormer的受试者独立性能与EEGNet和EEG-Conformer一样接近随机水平；因此受试者独立泛化尚未得到证明，需要进一步的方法学工作及在更大数据集上的验证。消融研究中，将STS模块替换为标准线性分块方法导致准确率降至约65.3%，表明所提STS模块成功处理了原始EEG数据的时空特征。此外，混合注意力机制相比全注意力降低了推理延迟（从17.97 ms降至15.64 ms）和计算复杂度；在记录级LORO评估下，这种效率以相比全注意力适度损失精度为代价（95.7% vs. 97.5%），而混合模型明显优于仅线性注意力（94.2%）。在相同划分与相同输入下，KimiFormer的准确率、平衡准确率和MCC均高于五种基于特征的分类器，且在原始输入上达到与同数据集特征工程流程DMPat接近的准确率而无需任何特征工程。这些发现表明所提架构适用于处理原始EEG数据，该模型为实时BCI系统提供了一种高效的端到端解决方案。未来研究旨在将KimiFormer架构扩展至多类BCI任务（如睡眠分期分类和情绪识别），并计划研究轻量量化技术以将模型部署于资源受限的边缘设备用于可穿戴EEG监测。
