FPS：用于微表情识别的频率提示同步技术

《Pattern Recognition》：FPS: Frequency Prompt Synchronization for Micro-expression Recognition

本文提出新型频率提示同步（FPS）框架，通过FPG模块生成高低频提示信号，结合BS-Synch和BT-Synch模块弥合语言-视觉鸿沟，有效提升有限数据下微表情识别性能，实验表明FPS在CASME II、SAMM、SMIC数据集上均优于现有方法。

　　

Jiateng Liu | Hengcan Shi | Yaonan Wang | Wenming Zheng

中国江苏省南京市东南大学，教育部儿童发展与学习科学重点实验室

摘要

微表情识别（MER）在人工智能和情感计算领域具有重要意义，因为它在多个应用场景中都非常实用，包括人机交互、谎言检测和犯罪调查。然而，微表情数据量有限，通常不足以用于训练，因为其标注需要心理学专家的大量专业知识。最近，大型视觉语言模型（VLM）在提取共同特征方面取得了成功，这有助于缓解数据不足的问题。然而，一方面，VLM的特征主要关注宏观语义，难以捕捉到微妙的动作和细粒度的情感差异；另一方面，现有的VLM更多基于语言逻辑进行分析，而非视觉表示。为了解决这些问题，本文提出了一种新的频率提示同步（FPS）框架，该框架能够使VLM适应微表情识别领域，并弥合语言与视觉之间的差距。具体来说，FPS首先引入了一个频率提示生成（FPG）模块，为预训练的VLM提供频率信号以分析和捕捉微妙线索。随后，双向时间同步（BT-Synch）和空间同步（BS-Synch）模块将这些语言线索转化为视觉指导，用于微表情识别。在三个广泛使用的微表情数据集上进行的实验表明，所提出的FPS优于所有现有方法，验证了其在处理微表情识别任务中的有效性。

章节片段

引言

微表情（MEs）是一种通过细微的面部肌肉运动产生的面部表情，难以被察觉。心理学研究表明，微表情能够揭示人们试图隐藏的真实情感[1]、[2]，而微表情识别（MER）在许多日常场景中具有广泛的实际应用，包括谎言检测、人机交互和医疗诊断[1]、[2]。因此，关于MER的研究已成为相关领域的一个热门课题。

微表情识别

微表情识别（MER）是人工智能和情感计算领域的一个热门课题，已有许多研究致力于解决这一具有挑战性的任务。这些方法大致可以分为两类：一类是手工设计的方法，根据特定规则提取特征[2]、[15]、[16]、[17]；例如，在[2]中，使用局部二值模式（LBP）及其变体（LBP-TOP）来表示复杂的面部表情。

方法

如图2所示，所提出的FPS框架包含几个组成部分：（1）一个大型预训练且固定的VLM，包括文本和视觉嵌入层及编码器层；（2）频率提示生成（FPG）模块；（3）两个提示同步模块，即双向空间同步（BS-Synch）和双向时间同步（BT-Synch）模块；（4）用于微表情情感预测的分类器。

实验设置

我们的实验使用了三个广泛使用的微表情数据库：CASME II [36]、Samm [37] 和 SMIC [12]。

CASME II 数据库 [36] 包含27名受试者提供的247个微表情样本，采样率为200 FPS，分辨率为210×200像素。该数据库包含五种情感类别：快乐（32个样本）、惊讶（25个样本）、厌恶（64个样本）、压抑（27个样本）和其他（99个样本）。

Samm 数据库 [37] 由...

结论

本文提出了一种新的频率提示同步（FPS）框架，旨在解决将大型预训练VLM应用于数据有限的微表情识别领域的问题，同时减少VLM中语言逻辑与视觉表示之间的差异。具体而言，FPS通过频率提示生成（FPG）模块捕捉微表情的低频和高频特征，并将这些提示发送给预训练的VLM，从而使VLM能够有效处理有限的数据。

作者贡献声明

Jiateng Liu：撰写原始稿件、可视化处理、软件开发、资源管理、方法论设计、实验设计。

Hengcan Shi：审稿与编辑、资源协调、方法论设计、实验设计。

Yaonan Wang：项目监督、资源管理、方法论设计、实验设计、资金筹集。

利益冲突声明

作者声明没有已知的财务利益冲突或个人关系可能影响本文的研究结果。

致谢

本研究部分得到了国家自然科学基金（项目编号62401202）的支持，以及NSFC（项目编号U2003207）的资助，同时得到了中国移动湖南有限公司和中国移动通信集团有限责任公司的支持，研究工作是在“基于音频和视觉的大型模型的情感构建方法”项目框架下进行的。