用于半监督深度面部表情识别的语义与实例信息交互式挖掘

《IEEE Transactions on Cognitive and Developmental Systems》：Semantic and Instance Information Interactive Mining for Semi-Supervised Deep Facial Expression Recognition

半监督深度面部表情识别方法SILIM通过语义级与实例级信息交互挖掘解决标签噪声和特征表示不足问题，生成多层级伪标签并构建记忆缓冲区优化实例空间分布，实验表明其性能显著优于现有方法。

　　

摘要：

半监督深度面部表情识别（SS-DFER）因其利用了大量未标注数据而受到了广泛关注。然而，SS-DFER面临两个主要问题：由于标签噪声导致的面部语义模糊以及模型特征表示能力不足。在本文中，我们提出了一种基于语义级和实例级信息交互挖掘（SILIM）的新方法，以同时解决这两个问题。具体而言，该模型通过语义信息和实例信息的交互为语义和实例生成伪标签，从而在两个层面上实现匹配，充分利用图像特征信息。此外，我们构建了一个内存缓冲区来存储所有标注数据的实例，使得语义伪标签和实例伪标签之间能够进行交互。为此，我们设计了一种基于邻居节点的实例空间优化策略。这可以防止同一图像类别的实例被排斥导致的模块特征表示能力下降，从而优化决策边界。在四个具有挑战性的面部表情数据集上的实验表明，我们的方法显著优于第二好的现有SS-DFER方法，并超越了完全监督的基线方法。