通过精细动态感知实现微表情识别

《ACM Transactions on Multimedia Computing, Communications, and Applications》：Micro-Expression Recognition via Fine-Grained Dynamic Perception

提出一种新型细粒度动态感知（FDP）框架，通过排序帧级特征和局部全局感知Transformer捕捉动态信息，缓解微表情数据稀缺问题，在多个数据集上显著提升识别性能。

　　

摘要

面部微表情识别（MER）是一项具有挑战性的任务，因为微表情（MEs）具有短暂性、微妙性和动态性。大多数现有方法依赖于手工制作的特征或深度网络，其中前者通常还需要关键帧，而后者则受到训练数据规模小和多样性低的影响。在本文中，我们开发了一个用于MER的新型细粒度动态感知（FDP）框架。我们提出按照时间顺序对一系列原始帧的帧级特征进行排序，该排序过程编码了微表情的出现和运动的动态信息。具体而言，我们提出了一种新型的局部-全局特征感知Transformer用于帧表示学习。此外，还采用了一个排名评分器来计算每个帧级特征的排名分数。之后，将排名评分器得到的特征在时间维度上进行汇总，以捕捉动态表示。最后，动态表示由MER模块和动态图像构建模块共同使用：前者预测微表情的类别，后者利用编码器-解码器结构构建动态图像。动态图像构建任务的设计有助于捕捉与微表情相关的面部细微动作，并缓解数据稀缺问题。广泛的实验表明，我们的方法（i）显著优于现有的MER方法；（ii）在动态图像构建方面表现良好。特别是在CASME II、SMM、CAS(ME)²和CAS(ME)³数据集上，我们的FDP方法在F1分数上分别比之前的最佳结果提高了4.05%、2.50%、7.71%和2.11%。代码可在https://github.com/CYF-cuber/FDP获取。