基于EEG-tNIRS多模态图卷积注意力融合模型的高精度情绪识别研究

研究人员针对单模态情绪识别特征提取不足、准确率低的问题，开展了EEG（脑电图）与tNIRS（功能性近红外光谱）多模态融合研究。提出MAMP-GF（模态注意力多通道图卷积）模型，通过GraphSAGE图卷积层捕获通道间关系，结合注意力机制实现模态融合。实验表明该模型在受试者依赖实验中达到98.77%准确率，跨受试者验证达55.53%，为无创实时情绪监测提供了新方法，对个性化医疗和情感计算具有重要意义。

　　

情绪识别在人机交互和医疗健康领域具有重要价值，但现有技术面临两大瓶颈：一方面，单模态脑信号（如EEG或tNIRS）存在特征提取不充分、识别准确率低的局限；另一方面，传统多模态融合方法仅简单拼接特征，忽略了不同脑区通道间的复杂关联。这些限制使得现有情绪识别系统难以满足临床精准诊断和实时监测的需求。

针对这一挑战，国内研究机构的研究人员创新性地将EEG和tNIRS这两种互补的脑信号进行深度融合。EEG能捕捉神经元电活动的毫秒级变化，而tNIRS可反映血流动力学响应的空间信息，二者的同步采集为情绪识别提供了更全面的生物标记。研究人员在《Neuroscience Informatics》发表的研究中，提出了名为MAMP-GF（Modality-Attentive Multi-channel Graph Convolution Model）的新型融合框架，通过多层级特征提取和自适应权重分配，实现了两种模态的优势互补。

该研究主要采用三项关键技术：首先，基于国际10-20系统采集62导联EEG（采样率1000Hz）和18通道tNIRS（采样率11Hz）数据，构建包含30名受试者的情绪诱发数据库；其次，运用GraphSAGE图卷积网络处理脑电信号的空间拓扑关系，将每个电极/光极视为图节点，通过Pearson相关系数构建邻接矩阵；最后，设计双分支模态注意力机制（含模态权重和节点权重分支），采用2D-CNN分类器实现四类情绪（快乐、悲伤、恐惧、平静）的分类。

数据采集与特征提取
通过情绪视频诱发范式，同步记录EEG的δ（1-4Hz）、θ（4-8Hz）、α（8-14Hz）、β（14-30Hz）、γ（30-50Hz）频段特征，提取功率谱密度（PSD）和差分熵（DE）；tNIRS信号则计算氧合血红蛋白（HbO）和脱氧血红蛋白（HbR）的5种统计特征（均值、极值、方差等）。通过下采样使EEG与tNIRS采样率对齐，构建4845×98×5的特征矩阵。

图数据结构构建
创新性地将EEG电极和tNIRS光极映射为图节点，保留各子矩阵（EEG-EEG、tNIRS-tNIRS、EEG-tNIRS）中相关性前20%的连接边。实验证实该稀疏化策略能使网络拓扑效率最大化，避免局部过连接。

多路径融合策略验证
对比GF（基础图卷积）、MA-GF（加入注意力）、MP-GF（多路径融合）三种变体，发现完整MA-MP-GF模型表现最优。在EEG(DE)+HbO+HbR组合中，其识别率达98.77%，较传统SVM（92.17%）和张量融合（94.77%）有显著提升。注意力权重可视化显示，右前额叶通道贡献度最高，与情绪加工的神经机制相符。

跨受试者泛化能力
通过留一法交叉验证，MA-MP-GF在跨受试者实验中取得55.53%准确率，虽低于受试者依赖实验，但仍优于其他融合方法（如LMF的53.57%），证明模型具有一定普适性。

这项研究的重要意义在于：首次将图卷积网络与模态注意力机制结合应用于EEG-tNIRS融合，通过空间域图卷积（GraphSAGE）有效捕捉了跨模态通道的复杂交互关系。提出的MA-MP-GF框架不仅为多模态脑信号处理提供了新范式，其98.77%的识别精度更为抑郁症诊断、情绪障碍筛查等医疗应用奠定了技术基础。未来通过引入迁移学习，有望进一步提升模型在个体差异场景下的适应性，推动无创脑机接口向临床实用化迈进。