基于多模态数据融合与图神经网络的情感识别增强研究

研究人员针对单模态情感识别系统在复杂情绪状态下表现不足的问题，开展了一项基于图神经网络（GNN）的多模态情感识别研究。通过融合脑电图（EEG）、面部表情和生理信号数据，提出了一种新型GNN架构，实现了91.25%的准确率和163ms的实时计算性能，显著优于传统模型（如SVM、CNN）。该研究为情感计算和心理健康监测提供了更精准的技术方案。

　　

情感识别技术在人机交互、心理健康监测等领域具有重要应用价值，但传统单模态方法（如仅依赖面部表情或脑电图）存在明显局限：面部表情易受个体表达差异影响，脑电图信号噪声干扰大，且单一数据源难以全面捕捉复杂情绪状态。尽管多模态融合能提升性能，但异构数据（如时空特征差异显著的EEG和生理信号）的整合仍是挑战。Kasthuri Devarajan等人在《Intelligence-Based Medicine》发表的研究，通过创新性应用图神经网络（GNN），成功实现了多模态情感识别系统的性能突破。

研究团队采用DEAP数据集，整合EEG（128Hz采样）、面部68个特征点坐标及生理信号（心率、皮肤电导）。关键技术包括：1）构建动态加权邻接矩阵表征模态间关系；2）设计双层图卷积网络（GCN）融合128维特征至64维；3）基于交叉熵损失和Adam优化器（学习率0.001）训练模型。

数据收集与特征提取

从EEG中提取熵值和不对称性特征，面部数据获取情感概率向量，生理信号计算时域指标。各模态原始数据通过小波变换等预处理后形成特征矩阵F_i∈R^T_i×F_i。

图结构建模

将EEG、面部和生理模态定义为图节点，通过余弦相似度计算边权重（如面部-生理信号相似度达0.80），构建动态邻接矩阵。

图卷积运算

采用ReLU激活的双层GCN迭代更新节点特征，公式h_i^(t+1)=σ(∑_j∈N(i)c_ijW^(t)h_j^(t))，最终融合特征经全连接层分类。

性能验证

在50轮训练中，验证准确率从70.50%提升至95.00%。与基线模型相比，GNN的准确率（91.25%）显著高于CNN（87.25%）和SVM（83.25%），且计算时间（163ms）优于RNN（185ms）。混淆矩阵显示其对"愤怒-悲伤"等易混淆情绪的区分能力最强。

该研究首次证明GNN在多模态情感识别中的双重优势：通过图结构显式建模模态间非线性关系，同时保持实时性。其91.25%的F1-score超越了2025年最新模型MemoCMT（90.13%），为抑郁症监测、智能虚拟助手等场景提供了更可靠的解决方案。作者指出，未来可扩展至语音和文本模态，进一步优化边缘计算部署效率。