AHAT-MER:一种用于微表情识别的非对称沙漏注意力变换网络
《Neurocomputing》:AHAT-MER: Asymmetric hourglass attention transformer network for micro-expression recognition
【字体:
大
中
小
】
时间:2026年05月07日
来源:Neurocomputing 6.5
编辑推荐:
徐伟|郑浩|李一昌|金忠南京理工大学计算机科学与工程学院,南京,210094,江苏,中国摘要微表情是短暂而微妙的面部动作,与被压抑的情绪有关。尽管现有的研究通常在受控的实验室条件下进行,但它们的瞬态性和低强度特性仍然对识别工作构成了重大挑战。基于Transformer的方法通过自
徐伟|郑浩|李一昌|金忠
南京理工大学计算机科学与工程学院,南京,210094,江苏,中国
摘要
微表情是短暂而微妙的面部动作,与被压抑的情绪有关。尽管现有的研究通常在受控的实验室条件下进行,但它们的瞬态性和低强度特性仍然对识别工作构成了重大挑战。基于Transformer的方法通过自注意力来建模标记之间的关系,但它们仍然缺乏明确的机制来捕捉面部解剖区域之间的内在关系,并有效利用分布在多个层次上的判别性表示。为了解决这些限制,我们提出了一种用于微表情识别的非对称沙漏注意力Transformer网络(AHAT-MER)。具体来说,AHAT-MER引入了一种生理学引导的分区策略,将面部划分为四个不重叠的象限,从而避免了依赖复杂的细粒度动作单元(Action Units)。我们设计的核心是一种分层注意力机制,包括补丁级、区域级和通道级的注意力,这些注意力以非对称沙漏的形式构建,逐步编码局部运动线索,聚合与解剖结构对齐的区域信息,并细化最终的语义表示。此外,我们结合了监督对比学习目标,以在补丁和区域级别强制保持一致的注意力模式。在SMIC、CASME II、SAMM和CAS(ME)3数据集上的广泛实验表明,AHAT-MER优于现有的方法。
引言
微表情是人们在试图抑制或隐藏真实情绪时产生的非自愿面部动作[1]、[2]。它们的特点是持续时间短、强度低且难以刻意控制[3]。作为一个人内心情绪状态的真实反映,微表情可以揭示真实感受,使它们成为心理学和情感分析领域中最可靠的生理指标之一[4]。近年来,使用计算机视觉技术对微表情进行了大量研究[5]。然而,与面部表情识别的高准确率相比,微表情识别的性能仍然有限[6]、[7]。尽管现有的微表情数据集是在受控的实验室条件下收集的,但目前的识别结果仍远未令人满意。
早期的微表情识别(MER)方法主要依赖于手工制作的特征,这些特征既经济又比手动检测更准确[8]、[9]、[10]、[11]、[12]、[13]、[14]、[15]、[16]、[17]。然而,它们捕捉微妙面部肌肉运动的能力有限。后来引入了深度学习技术,特别是卷积神经网络(CNN),来建模细粒度的面部变化[18]、[19]、[20]、[21]、[22],但这些技术忽略了面部解剖区域之间的内在关系。图卷积网络(GCNs)通过显式编码地标关系,在MER任务中取得了更好的性能[23]、[24]、[25]、[26]、[27]、[28]、[29]。最近,Transformer[30]在计算机视觉领域取得了显著的成功,其注意力机制使得特征提取更加有效,使其特别适合用于MER,相比基于CNN或GCN的方法更为优越。
在面部动作编码系统(FACS)[31]中,动作单元(Action Units,AUs)根据特定的肌肉运动来描述面部表情。每个AU对应一个不同的面部区域的运动,不同的表情类别由AU的组合表示。因此,AU中包含的信息对于面部表情识别非常有价值。微表情作为一种面部表情,也同样适用。在基于GCN的方法中,通常将AU与面部图像结合使用以提高性能[32]、[33]、[34]、[35]、[36]、[37]。最近的研究将心理先验和数据驱动的AU模式整合到GAT框架中,以实现隐私保护的MER[38]。在基于Transformer的方法中,面部图像通常根据解剖结构划分为对应于AU的区域,这些区域被用作网络的输入[39]、[40]、[41]。
当前AU驱动分区的局限性。 尽管AU驱动的分区方法很有用[32]、[33]、[34]、[35]、[36]、[37]、[39]、[40]、[41],但它存在几个影响微表情识别的局限性:
- L1.
全局结构的丧失:手动定义的AU区域将面部分割成孤立的补丁,削弱了模拟协调面部运动的能力。
- L2.
AU区域外的信息丢失:基于AU的选择完全忽略了非AU区域,这对于那些微妙运动线索可能出现在标准AU位置之外的微表情来说是一个问题。
- L3.
启发式和不一致的AU分区:当前的重叠或非重叠AU分区严重依赖于手工制定的规则,导致不同设计之间的性能不稳定。
这些局限性引发了一个自然的问题:如何在微表情识别中保留精细的局部运动、捕捉协调的区域激活,并在不依赖手工制作的AU分区的情况下保持稳定性?
贡献。为了回答这个问题,我们提出了AHAT-MER,一种用于微表情识别的非对称沙漏注意力Transformer网络。该架构基于这样一个生理事实:微表情源于在连贯的解剖区域内组织的局部肌肉激活,而不是在孤立的AU补丁中。AHAT-MER使用三级注意力层次结构和对比正则化方案来编码这一过程,从而保留全局结构,避免手动设计的AU分区的不稳定性,并保留AU定义区域外的信息性运动。
具体来说,我们的主要贡献如下:
- (1)
用于多尺度运动建模的分层注意力:提出了一种分层的三级注意力机制,采用非对称沙漏状结构。补丁级注意力捕获广泛的上下文信息,以减轻固定AU分区导致的全局结构损失;区域级注意力强调协调的区域激活,而不依赖于手工制作的AU布局;通道级注意力在分类前重新校准判别性语义响应。
- (2)
用于稳定区域注意力的对比正则化:提出了一种对比学习策略,以确保对相似微表情样本的注意力在面部区域之间保持一致。这直接稳定了区域级表示的学习,解决了由启发式AU划分引入的不稳定性。
- (3)
全面的基准测试:通过在四个公开可用的数据集上进行广泛实验,所提出的方法一致性地超越了现有方法。这些改进表明,建模全帧运动而不丢弃非AU区域有效地缓解了AU选择性方法中固有的特征丢失问题。
章节片段
相关工作
现有的微表情识别方法主要基于深度学习。涉及Transformer架构和对比学习的方法与本研究特别相关。
概述:基于生理学的微运动信号的层次建模
微表情源于面部肌肉群的短暂而局部的收缩。这些收缩产生的运动信号在空间支持上稀疏,幅度低,并且高度局限于解剖学上有意义的区域。在光流空间中,这些信号表现为细小、低幅度的梯度,容易被噪声或聚合伪影掩盖。因此,一个可靠的识别模型必须对微弱的局部扰动保持高敏感性,同时
实验
本节通过一系列实验评估AHAT-MER,以回答以下关键问题:
- •
RQ1(基准性能):AHAT-MER与现有方法相比是否提高了微表情识别的性能? 通过在SMIC [69]、CASME II [70]、SAMM [71]和CAS(ME)3[72]数据集上进行基准比较来评估。
- •
RQ2(类别平衡):AHAT-MER在不同情绪类别上的识别性能是否保持平衡? 这一点将进行检验
结论
在这项工作中,我们提出了非对称沙漏注意力Transformer(AHAT-MER),这是一个旨在捕捉微表情的微妙和瞬态动态的新框架。与依赖复杂预处理或通用自注意力的传统方法不同,我们的方法有效地将生理学先验与深度层次学习相结合。通过将注意力机制组织成非对称沙漏架构,该模型成功平衡了
CRediT作者贡献声明
徐伟:撰写——原始草稿、可视化、验证、软件、方法论、调查、形式分析、数据整理、概念化。郑浩:监督、资源。李一昌:监督、资源。金忠:撰写——审稿与编辑、监督、资源、项目管理、资金获取。
利益冲突声明
作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。
致谢
本工作得到了中国国家自然科学基金的支持(资助编号62562065、61802184、62372238)。
徐伟目前在中国南京理工大学计算机科学与工程学院攻读计算机科学与技术博士学位。他于2021年获得广西师范大学的硕士学位,2018年获得南京晓庄大学的学士学位。他的研究兴趣包括微表情识别、模式识别和计算机视觉。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号