基于多脑区注意力机制胶囊网络(At-CapNet)的EEG-tNIRS双模态下一代临床情绪识别研究

针对单模态情绪识别特征提取不足、准确率低的问题，研究人员开发了基于多脑区注意力机制的胶囊网络模型(At-CapNet)，通过整合EEG(脑电图)和tNIRS(近红外光谱)的双模态信号，构建TYUT3.0数据集，实现了96.67%的四类情绪识别准确率，较单模态提升1.53%-14.35%，为无创神经技术应用于精准情绪诊疗提供了新范式。

　　

情绪识别是神经科学和临床医学交叉领域的重要课题。传统基于面部表情或主观报告的情绪评估易受人为干扰，而脑电图(EEG)和功能性近红外光谱(tNIRS)等神经信号能客观反映情绪状态。然而现有技术面临三大挑战：单模态信号时空分辨率互补性不足、传统卷积神经网络(CNN)丢失空间信息、以及动态路由机制计算复杂度高。这些问题严重制约着情绪识别在抑郁症诊断、自闭症干预等临床场景的应用价值。

来自太原理工大学等机构的研究团队在《Neuroscience Informatics》发表创新成果，提出基于多脑区注意力机制的胶囊网络(At-CapNet)。该研究通过构建TYUT3.0多模态数据集(50名受试者的EEG-tNIRS信号)，开发了融合图卷积网络(GCN)与动态路由优化的新型算法，实现恐惧、平静、快乐、悲伤四类情绪的精准识别，平均准确率达98.6%，较传统CapsNet提升4.98%。这项突破为发展非侵入式情绪障碍诊疗技术提供了重要方法论支撑。

关键技术方法包括：1) 采用62通道EEG(1000Hz)和18通道tNIRS(11Hz)同步采集系统；2) 设计多脑区注意力机制，通过GraphSAGE融合额叶、颞叶等6个功能脑区的特征；3) 开发胶囊网络模块，将输入动态路由的胶囊数量缩减至1/8；4) 采用3秒窗长提取δ(0.5-4Hz)、θ(4-8Hz)等5个频段的微分熵(DE)特征；5) 通过5折交叉验证评估模型性能。

研究结果：

1. 多脑区注意力机制
   通过Pearson相关系数构建脑区电极邻接矩阵，采用GraphSAGE聚合前额叶(20通道)等区域特征，使不同情绪状态的脑区激活权重差异显著，快乐情绪识别率达99.26%。

2. 胶囊网络优化
   引入3×3与5×5双尺度卷积核提取特征，通过max pooling合并空间位置相同的胶囊，使模型参数量减少33%(222万)，运行时间缩短31%(1605秒)。

3. 双模态协同效应
   EEG-tNIRS组合识别准确率(98.60%)显著优于单模态(EEG 97.04%，tNIRS 83.96%)，其中恐惧情绪识别提升至99.72%，验证了时空特征互补优势。

4. 跨模型比较
   相较ST-CapsNet等模型，At-CapNet在DEAP数据集上情绪效价(valence)、唤醒度(arousal)识别准确率分别提升2.66%和3.34%，标准差降低0.8-1.2%。

这项研究创新性地将脑功能分区理论与胶囊网络相结合，突破传统情绪识别的三大技术瓶颈：通过多脑区注意力机制解决特征提取不充分问题；利用向量式胶囊运算保留空间信息；优化动态路由过程提升计算效率。临床意义在于：1) 为抑郁症等情绪障碍的客观诊断提供新工具；2) 推动EEG-tNIRS多模态脑机接口发展；3) 建立首个公开的EEG-tNIRS情绪数据集TYUT3.0。未来可进一步探索γ(30-45Hz)等高频段特征优化，以及该技术在神经退行性疾病认知评估中的应用。