利用多模态技术和深度学习进行学生情绪识别

《ACM Transactions on Asian and Low-Resource Language Information Processing》：Student's Emotion Recognition using Multimodality and Deep Learning

本研究提出基于面部表情、文本和语音的多模态情绪识别系统，通过Tri-modal融合提升检测效果，在课堂学生中验证了方法对7种情绪的分类能力，准确性比单模态模型提高65%，可有效识别学习中的倦怠情绪。

　　

摘要

情感检测的目标是在文本、语音、手势、面部表情等中识别情感。本文提出了一种基于面部表情、句子级文本和声音的有效多模态情感识别系统。利用公开数据集，我们对面部表情图像分类和特征提取进行了研究。通过三模态融合技术整合了这些分析结果，从而得出最终的情感判断。该方法已在课堂学生中进行了验证，发现学生的情感状态与其学习表现存在关联。该方法将学生的情绪表达分为七类：快乐、惊讶、悲伤、恐惧、厌恶、愤怒和轻蔑。与单模态模型相比，所提出的多模态网络设计可实现高达65%的准确率。该方法能够检测到学习环境中的负面情绪，如无聊或失去兴趣。