利用扩散模型与预训练的CNN模型构建用于高级情感识别的面部表情数据库的人工智能方法

《Applied Sciences》：AI Creation of Facial Expression Database for Advanced Emotion Recognition Using Diffusion Model and Pre-Trained CNN Models Jia Jun Ho, Wee How Khoh, Ying Han Pang, Hui Yen Yap and Fang Chuen Lim Alvin

　　

摘要

面部表情识别技术因在心理学、安全领域以及人机交互中的应用，已成为非语言交流中不可或缺的工具。当前的研究通常将面部表情分为微观类型和宏观类型，但现有的数据集存在类别标注不一致、数据库多样性不足以及规模有限等问题。为解决这些问题，本研究提出了一种新的框架，将扩散模型与预训练的卷积神经网络相结合。我们利用现有数据集CASME II中的原始图像，生成合成面部表情以扩充训练数据，从而减少偏差和不一致性。该合成数据集通过ResNet 50、VGG16和Inception V3这三种架构进行了测试。其中，用所提出的AI生成数据集训练的Inception V3在CASME II数据集上测试；对VGG-16应用数据增强技术后在其原始数据集上训练，再在所提出的数据集上测试；还有采用30%层冻结方法的Inception V3在所提出的数据集上训练后，在CASME II数据集上测试。这几种方法均取得了最先进的性能表现。数据增强和层冻结技术显著提升了模型的性能。我们所提出的方法不仅达到了最先进的性能水平，还优于本研究中对比的大多数现有最优方法。