摘要
------------------------------------------------------------------情感计算中的一个核心挑战是实现可靠的情绪识别，以促进自然且有效的人机交互。在这项研究中，我们介绍了KTU-MEDAFE（Karadeniz Technical University Multimodal Emotion Dataset），这是一个新开发的多模态数据集，包含了来自40名参与者的同步脑电图（EEG）信号、语音记录和面部视频，这些数据是在受控的情绪激发条件下收集的。该数据集包括土耳其语情感语音以及在不同日子进行的两次记录会话，提供了一个特定于语言的资源，既支持基于参与者的基线评估，也支持未来针对不同会话的分析。尽管KTU-MEDAFE包含了三种模态信息，但本研究主要关注EEG和语音的整合。符合信号质量标准的EEG和语音记录被使用Angle-Amplitude Graph（AAG）方法转换为图像表示形式，并通过ResNet-50和GoogLeNet架构进行迁移学习分类。为了利用跨模态的互补信息，评估了多种决策级融合策略。实验结果表明，在评估的二元情绪对中，多模态融合比单模态EEG和语音模型提供了更高的平均分类性能，性能会因受试者、融合策略和模型架构而有所不同。总体而言，研究结果支持将EEG和语音结合用于多模态情绪识别的潜在优势，同时也强调了分类性能中存在显著的主体依赖性变异。
------------------------------------------------------------------ 
