摘要
背景/目标：混合 EEG-fNIRS 情绪识别旨在通过分析神经生理信号准确识别个体的情绪状态，构成了情感脑机接口和人机交互领域的重要研究方向。近年来，EEG-fNIRS 情绪识别已从人工特征提取和浅层融合发展到深度学习和基于图的建模。然而，大多数现有方法依赖于预定义的固定频段划分和仅支持成对连接的二阶图结构，这使得难以适应受试者间的频率变异性，并难以表征高阶脑网络关系，如频段内的多通道协同激活和跨频率耦合。方法：为解决这些问题，本文提出了一种基于空间 - 频率超图神经网络（SF-HGNN）的 EEG-fNIRS 情绪识别框架。首先，设计了一个动态频段分解模块，以实现 EEG 和 fNIRS 频段的自适应优化；其次，多尺度时间卷积模块在不同时间尺度上提取时间特征；第三，构建了一个空间 - 频率自适应超图卷积模块，用于建模频段内跨通道空间协同和通道级跨频率耦合；最后，跨模态注意力融合机制实现了两种模态互补信息之间的高阶交互。该方法在包含 50 名参与者和四种情绪类别（悲伤、快乐、恐惧和平静）的公开 ENTER 数据集上进行了验证。结果：实验结果表明，SF-HGNN 在受试者依赖和受试者独立实验中分别达到了 82.94% 和 68.85% 的准确率；消融实验和可视化分析进一步验证了每个模块的有效性以及模型的可解释性。结论：未来工作将侧重于大规模数据的验证以及提高跨受试者域泛化能力。
