面向情感脑机接口的自适应跨视角外部头皮与内部神经表征脑电融合

《TRENDS IN FOOD SCIENCE & TECHNOLOGY》：Adaptive Cross-View EEG Fusion of External Scalp and Internal Neural Representations for Affective Brain-Computer Interfaces

　　

• •
  CVEF为情感脑机接口自适应融合外部头皮视图与内部神经脑电图视图。
• •
  CVEF通过多尺度双向建模捕获头皮视图模式。
• •
  CVEF在保留对称正定几何结构的同时提取神经视图拓扑。
• •
  门控注意力机制动态平衡外部与内部脑电图视图。
• •
  CVEF在SEED（95.23%）和MODMA（94.33%）数据集上实现了最先进准确率。

引言

情感脑机接口（aBCI）用于解码情绪状态，目前正在被研究用于精神疾病的计算机辅助分析，如重度抑郁症（MDD）[1]。与面部表情或文本语义等行为模态相比，脑电图（EEG）信号提供了高时间分辨率和神经生理活动的直接度量[2]。因此，情感脑机接口研究的核心问题是从非平稳的脑电图信号中学习具有判别力的表示。

目前，基于脑电图的情绪识别深度学习方法主要关注两种不同的表示视图。外部头皮视图捕获传感器空间中的时空依赖模式，直接反映表面电生理活动的宏观动态演化[3]。相反，内部神经视图表征源空间中感兴趣区域（ROI）之间的功能连接性[4]。源空间分析可以减轻容积传导的影响，并为情绪调节和抑郁相关的功能连接模式提供互补的描述[5]。这两种视图捕获了同源神经过程，但在情绪状态方面提供了高度互补的信息。

尽管取得了显著进展，现有模型仍难以充分利用这两种视图的互补性。大多数当前方法将传感器空间动态与源空间拓扑分离开来，将特征提取限制在单一视角，从而限制了对潜在病理过程的综合理解[6]。此外，即使尝试进行多视图融合，传统方法也往往依赖于简单的特征拼接或静态求和。这些固定的融合操作未考虑到空间动态和连接性在不同情绪状态和受试者间的相对贡献变化。此外，独立提取这些表示面临着不同的几何和时序挑战[7]。标准序列网络难以捕获传感器空间中非平稳的双向时序依赖[8]。此外，传统的欧几里得卷积会严重扭曲源空间中功能连接矩阵的对称正定（SPD）流形内禀结构，导致关键拓扑几何信息的丢失[9]。

为解决这些局限性，本文提出了自适应跨视图脑电图融合（CVEF）框架，显式地桥接外部头皮视图和内部神经视图以进行情绪解码。如图1所示，该框架引入多尺度时空网络（MSSTNet）来编码头皮视图。通过整合细粒度和粗粒度空间卷积以及双向状态空间建模，MSSTNet全面捕获局部电极微模式和全局长期时序依赖。同时，提出了多流黎曼几何网络（MRGNet）用于神经视图解码。MRGNet将三种功能连接度量映射到SPD流形上，并使用加权黎曼重心进行跨流和跨层融合。这些操作保留了后续流形计算所需的SPD结构。最后，设计了一个采用非线性门控注意力机制的跨视图自适应融合模块。该模块根据全局和局部上下文响应在两个视图之间动态分配贡献权重，实现高度判别性的信息融合。在SEED和MODMA数据集上的实验表明，所提出的框架在评估的情绪识别和抑郁检测任务上均取得了优异的分类性能。头皮级电生理变化与源级拓扑改变之间的动态交互提供了鲁棒的多视图脑电图表示。跨视图融合模块和黎曼几何特征显著推进了情感脑机接口在临床和现实场景中的实际部署。本工作的主要贡献总结如下：

• •
  我们提出了一个双视图脑电图框架，整合外部头皮视图的时空动态和神经视图的拓扑网络以进行情绪解码。
• •
  我们开发了MSSTNet以捕获传感器空间中的双向依赖，并开发了MRGNet以在SPD流形上提取几何一致的特征，完美保留脑网络拓扑。
• •
  我们引入了一个自适应融合模块，采用上下文门控机制动态平衡两种视图，提高了情绪识别和抑郁检测的鲁棒性。

本文其余部分组织如下：第2节简要回顾了相关工作。第3节介绍了所提出的方法。第4节和第5节描述了实验设置和结果。最后，第6节对全文进行了总结。

章节摘要

相关工作

情感脑机接口已逐渐成为解码人类内部认知状态的核心技术[1]。其主要应用涵盖情绪识别和精神障碍的客观评估，特别是重度抑郁症（MDD）[10]。与面部表情[11]、语音[12]或生理信号[13]、[14]等外部行为模态相比，脑电图信号提供了对中枢神经系统活动更直接、更高分辨率且不可欺骗的反映[15]。该

情感脑机接口的双视图脑电图编码

情感脑机接口在情绪识别和抑郁检测方面已展现出显著潜力。复杂的情绪状态和精神障碍（如MDD）不仅表现为表层的时空电生理变化，还表现为脑功能网络深层的拓扑改变。为了全面解码这些状态，本研究提出了一个双视图脑电图表示框架。

具体而言，我们从同一多通道脑电图构建两个互补视图：

数据集

我们在两个公共数据集上评估了所提出的框架，以考察其适用于不同情感脑机接口应用的能力。SEED数据集用于情绪分类，而MODMA数据集用于抑郁检测。这些数据集分别使用62通道和128通道脑电图系统采集。尽管这些数据集在采集配置、任务和参与人群方面存在差异，但评估提供了CVEF可应用于两个公共

实验结果

本节对提出的CVEF框架进行了全面评估。第5.1节首先将CVEF的整体性能与情绪识别和抑郁检测任务上的最先进方法进行比较。第5.2节随后进行了消融研究，以验证所提出框架的有效性和架构合理性。此外，第5.3节和第5.4节分析了关键模块和黎曼跳跃的贡献。

结论

本文提出了CVEF，一种用于情感脑机接口的自适应跨视图脑电图融合框架。CVEF通过MSSTNet、MRGNet和门控跨视图融合模块，联合建模头皮视图的时空动态和神经视图的源空间功能连接。在SEED和MODMA数据集上的实验表明，CVEF在情绪识别和抑郁检测中均取得了出色的性能，包括在两个数据集上达到所比较方法中的最高准确率。结果支持了结合

CRediT作者贡献声明

Tao Wang：审阅与编辑，撰写初稿，方法论，概念化。Peng Wang：审阅与编辑，可视化，方法论，概念化。Suiyu Liu：可视化，验证，形式化分析。Xiaoyan Wang：审阅与编辑，方法论。Li Shen：审阅与编辑，方法论，概念化。Shuang Liu：审阅与编辑，监督，调查研究，概念化。Dong Ming：审阅与编辑，监督，

利益冲突声明

作者声明不存在可能影响本文所述工作的已知竞争性财务利益或个人关系。

Tao Wang | Peng Wang | Suiyu Liu | Xiaoyan Wang | Li Shen | Shuang Liu | Dong Ming