基于黎曼流形几何位置编码与动态权重融合的脑电-近红外光谱情绪识别网络

《Brain Sciences》：Geometric Positional Encoding and Dynamic Weight Fusion for EEG-fNIRS Emotion Recognition

　　

摘要 背景/目标：受神经血管耦合机制驱动，脑电（electroencephalogram，EEG）与功能性近红外光谱（functional near-infrared spectroscopy，fNIRS）分别从电生理和血流动力学视角捕获共享的潜在神经活动，因而相互补充。情绪加工依赖于经EEG和fNIRS通道记录的跨脑区功能协同。功能相似的通道被共同激活，并在功能空间中相邻。然而，现有EEG–fNIRS情绪识别方法利用物理距离或图结构刻画通道间协同关系，未能量化通道在功能空间中的相对位置，也无法捕获功能相似通道之间的协同效应。此外，这些方法在融合过程中忽视模态贡献的动态变化，导致预测易受低质量信号影响。方法：为应对上述局限，研究人员提出几何位置编码与动态权重融合网络（Geometric Positional Encoding and Dynamic Weight Fusion Network，GDWF-Net）。EEG分支采用功能空间几何距离作为位置线索，并通过旋转位置编码（rotary positional encoding）将其嵌入注意力机制，以建模通道间功能协同。fNIRS分支采用轻量模块提取时空特征。融合模块根据模态贡献计算动态权重，通过负学习（negative learning）抑制含噪低质量模态的干扰，并在混合曲率空间（mixed-curvature space）中建模跨模态交互。结论：在ENTER数据集上的评估表明，GDWF-Net在受试者依赖和跨受试者设定下分别达到81.63%和65.71%的准确率，超越现有最优基线。消融实验与可视化验证了各提出模块的有效性与可解释性。

一、研究背景与问题

情绪脑机接口通过解码神经活动识别人类情感状态，在心理健康监测、智能家居和驾驶安全保障等场景中具有广泛应用前景。脑电（EEG）具备毫秒级时间分辨率，能直接反映实时神经元放电，但空间分辨率有限；功能性近红外光谱（fNIRS）可捕获局部皮层区域的血流动力学响应，空间定位可靠，但时间分辨率较低。两种信号固有的时空互补性使EEG–fNIRS联合成为高级情绪识别任务的主流研究方向。

情绪加工依赖脑区通道间的协同交互，功能相似区域被共同激活并在功能空间中相邻。现有通道协同建模方法主要分为三类：基于物理距离的方法假设空间相邻通道功能更相似；基于图的方法通过功能连接矩阵或数据驱动方式刻画静态通道协同；基于注意力机制的方法通过通道特征相似性自适应分配交互权重。然而，这些方法主要在欧氏空间中度量通道间功能相似性。通道间协同关系表现为信号间的同步激活，其强度可由协方差矩阵表示，该矩阵属于黎曼流形上的对称正定（SPD）矩阵，欧氏空间中的线性度量可能破坏其内在几何结构。

在模态融合方面，现有EEG-fNIRS融合方法可分为联合表征、交互建模和模态引导三类，主要聚焦于建立和增强跨模态交互，缺乏对两种模态在不同样本中有效判别信息的显式度量。由于EEG和fNIRS的判别能力随样本变化，固定或隐式融合权重无法准确反映两种模态的实际贡献。此外，EEG和fNIRS特征携带不同的非欧氏结构，单一曲率空间难以同时描述其层级性和方向性特征。

跨受试者泛化方面，受试者在功能脑组织、神经响应强度和信号统计特性上存在显著个体差异，同一情绪状态的EEG和fNIRS表征在不同受试者间常呈现不同分布，产生明显的跨受试者域偏移。现有域适应和域泛化方法主要聚焦于削弱受试者特定信息，对域不变学习过程中可能丢失的情绪相关几何结构关注不足。

二、研究内容与结论

针对上述问题，研究人员提出几何位置编码与动态权重融合网络（GDWF-Net）。该网络首先在黎曼流形上构建EEG通道间的功能几何距离，将几何位置信息注入注意力模块；随后根据情绪状态变化计算动态模态权重，增强高贡献模态的特征学习，同时抑制低质量模态信号的干扰，实现稳定鲁棒的EEG–fNIRS融合。在ENTER数据集上的受试者依赖实验中，GDWF-Net达到81.63%的准确率和79.16%的F1分数，超越所有基线，较最优基线FGANet在准确率上提升5.11个百分点。跨受试者实验中，默认设定下（10%未标注目标受试者样本比例）达到65.71%的准确率和62.37%的F1分数，较最接近的基线STA-Net准确率提升1.88个百分点。

三、关键技术方法

研究人员采用以下主要技术方法：在EEG分支中，利用时间卷积网络（TCN）提取通道时间上下文表征，构建SPD协方差矩阵，通过对数映射将矩阵映射至切空间，以通道间切空间表征的欧氏范数定义功能几何距离；通过多尺度高斯基函数将距离扩展为高维几何特征向量，经两层MLP映射生成几何调制项，与标准RoPE位置基叠加构成旋转角，注入注意力机制。在fNIRS分支中，采用三种核尺寸的深度可分离卷积提取多尺度时间特征，经时间注意力池化和Transformer编码器建模通道空间依赖。融合模块采用κ-Stereographic模型将特征投影至双曲、欧氏和球面三种曲率空间，以测地距离构造几何偏置引导双向跨模态注意力；通过类中心欧氏距离的置信裕度经温度缩放Softmax计算模态贡献权重；引入负学习损失、通道级分类损失、域对抗损失和相对几何一致性损失构成综合训练目标。数据集来源于50名健康大学生（25名女性，平均年龄22.92±1.71岁；25名男性，平均年龄24.12±1.67岁），EEG采用64通道Neuroscan SynAmps放大器（采样率1 kHz），fNIRS采用18通道NirSmart近红外系统（采样率11 Hz），共采集4类情绪（悲伤、快乐、平静、恐惧）各15段视频诱发的同步信号。

四、研究结果

受试者依赖与跨受试者实验：GDWF-Net在受试者依赖设定下准确率81.63%、F1 79.16%，超越所有基线。单模态方法中EEG明显优于fNIRS，最优EEG方法MAtt（74.16%）较最优fNIRS方法fNIRSNet（66.04%）高8.12个百分点。跨受试者设定下，默认10%比例达到65.71%准确率。未标注目标受试者样本比例从0%增至10%时准确率从62.73%升至65.71%，增至15%时回落至64.82%，表明适量未标注数据有助于域对齐，过量则引入噪声。

几何表征消融研究：去除旋转位置编码使准确率下降4.36%；以欧氏距离替代SPD几何距离造成最大降幅，表明SPD流形上的几何距离比欧氏距离更能刻画通道间功能关系；去除几何调制项下降3.22%。

动态融合消融研究：去除贡献加权下降2.59%；去除可学习曲率下降4.53%；去除混合曲率空间下降4.91%；去除欧氏空间下降6.37%；去除负学习造成最大降幅；去除通道级交叉熵损失下降4.26%。

模态特征可视化：t-SNE可视化显示融合特征聚类更紧凑。融合特征Silhouette系数0.22±0.07，高于EEG的0.06±0.05和fNIRS的0.05±0.05；Davies–Bouldin指数1.32±0.36，低于EEG的3.37±1.15和fNIRS的3.59±1.56。

几何距离地形分布：快乐情绪的几何距离变化主要分布于额叶和中央区，恐惧主要出现在额叶和左侧颞叶，悲伤涉及双侧颞叶、中央区和枕叶，平静主要分布于右侧颞叶和枕叶。高唤醒情绪分布较集中，低唤醒情绪分布较分散。

模态贡献权重：EEG平均贡献权重0.70，fNIRS为0.31。快乐情绪EEG权重最高（0.81），悲伤最低（0.59），fNIRS权重升至0.41。Kruskal–Wallis检验显示四种情绪间贡献权重差异显著（p<0.001）。

五、讨论与结论

讨论部分指出，现有黎曼流形脑信号研究多将完整协方差矩阵视为样本级表征，而通道级功能关系未充分利用。本文从协方差结构挖掘通道间功能几何关系，去除SPD几何距离造成6.12个百分点准确率下降，表明通道级功能相对位置在几何分支中发挥重要作用。在融合方面，现有方法多假设模态贡献相对稳定或通过注意力隐式分配权重，本文引入样本级判别贡献驱动的动态权重，结合负学习抑制低贡献模态，以混合曲率空间为结构不同的模态表征提供更灵活的融合空间。研究局限在于仅在单一数据集和单一采集协议上评估，跨数据集和跨人群泛化能力有待验证。

结论部分总结：本文提出GDWF-Net，在通道表征层面将通道间功能关系建模为功能空间中的相对位置，以黎曼流形协方差结构导出的几何距离刻画这些关系，并通过旋转位置编码注入自注意力机制；在模态融合层面，根据样本级模态贡献动态调整融合权重，利用负学习抑制低贡献模态干扰，并在混合曲率空间中建模模态交互。ENTER数据集实验表明，GDWF-Net在受试者依赖和跨受试者设定下均优于现有基线，在无目标受试者数据的归纳设定下与最优基线基本相当。可视化结果验证了几何距离分布与情绪唤醒相关脑区组织特征的一致性，模态贡献随情绪状态动态变化，为模型决策提供一定可解释性。未来工作将在独立公共EEG-fNIRS数据集和不同人群上评估模型的外部泛化能力。