具有弱局部-全局对齐约束分支的动态面部自动检测网络
《Pattern Recognition》:Dynamic facial AU detection network with weak local-global alignment constraint branch
【字体:
大
中
小
】
时间:2026年04月24日
来源:Pattern Recognition 7.6
编辑推荐:
面部动作单元(AU)检测面临区域定位模糊和时空干扰问题,本文提出协作检测框架:1)设计区域因果干预块动态解耦局部特征,结合对抗训练抑制背景噪声;2)构建时空自适应融合架构,通过帧间差异建模时间演变,利用图神经网络(GNN)捕捉空间相关性;3)采用对比学习实现全局-局部特征语义对齐。实验表明该方法在BP4D和DISFA数据集上实现最优检测精度与鲁棒性,计算效率提升显著。
黄海林|邹伟|胡丹峰|张静雅|王家俊
电子与信息工程学院,苏州大学,中华人民共和国苏州
摘要
面部动作单元(AU)检测通常面临挑战,包括区域定位不明确的问题,以及在动态场景中混合时空问题解决策略中固有的时空干扰。为了解决这些问题,提出了一种基于区域化弱约束学习和时空自适应融合的协作检测框架。首先,设计了一个区域因果干预模块,通过可学习的上/中/下面部原型实现动态特征解耦。然后结合对抗性训练进行区域掩蔽,以抑制背景噪声并增强局部AU特异性表示。其次,构建了一个时空自适应融合架构,利用帧间差异机制对AU的时间演化进行建模。接着结合图神经网络(GNN)捕捉AU的空间相关性,实现自适应的时空特征融合。最后,提出了一种基于对比学习引导的特征语义对齐方法,通过梯度路径实现全局-局部特征的语义对齐,突破了传统特征融合的架构限制。在BP4D和DISFA数据集上的实验表明,我们的方法在AU检测准确性和鲁棒性方面均达到了先进水平,同时计算和内存需求大大降低。
引言
面部动作单元(AU)指的是面部肌肉在情绪表达过程中展现的独特活动模式[1]。20世纪70年代,为了更客观、更准确地描述人类面部表情,Ekman等人提出了面部动作编码系统(FACS)[2],该系统根据面部肌肉解剖结构定义了44种类型的面部动作单元及其五个强度级别。然而,手动标注AU是一项繁琐且耗时的任务。成为专业的AU识别者需要100小时的训练时间,而标注一分钟的视频至少需要2小时[3]。因此,通过机器学习自动检测AU已成为研究热点,特别是基于深度学习技术的方法被大量开发[4]。
面部AU可以从静态图像或视频中检测出来。从静态面部图像检测AU时,通常采用两种方法:基于兴趣区域(ROI)的精确定位[5]、[6]、[7],以及AU间关系建模[8]、[9]、[10]。基于ROI的方法主要采用两种策略。一种方法是首先使用面部标志点确定每个AU的中心坐标,然后根据先验知识估计其径向范围。例如,MMA-Net[11]通过使用以中心点为依据的多尺度锚框提取多尺度信息。但这种方法产生的ROI不够灵活和刚性。另一种方法是根据面部标志点将面部分割成多个区域。例如,Wang[12]使用监督式AU软掩码来指导模型学习AU区域,这比MMA-Net提供了更细的粒度。对于第二种方法,通过AU相关性提取潜在信息以捕捉微妙且难以检测的AU运动。例如,MDHR[13]假设位于相同或相邻面部区域的AU之间的关系比位于不同或非相邻区域的AU更强。此外,其他研究人员提出了自学习模块,无需辅助信息即可准确定位与肌肉运动相关的面部区域。例如,Song[14]引入了位置注意力模块来捕捉面部特征的空间位置信息。然而,这种方法可能会引入冗余的特征表示。为了减少冗余,AC2D[15]使用因果干预模块消除训练样本中的偏差和无关AU干扰,而FAN-Trans模型[16]在Transformer块中引入了可学习的注意力dropout机制,以抑制不显著的AU相关性,从而减少冗余信息。
由于静态AU检测方法无法完全捕捉面部肌肉运动的动态信息,许多研究团队致力于开发从动态面部图像中检测AU的方法[17]、[18]。这些方法依赖于AU运动的时间连续性,其中广泛使用了光流技术。例如,JAO[19]使用光流捕捉与AU相关的运动动态。尽管光流能有效表示运动变化,但其计算资源需求很高,特别是在实时处理高分辨率视频序列时。为了解决这一限制,一些时间建模技术被提出,利用神经网络自动学习时空特征表示。例如,[20]中提出的KS模型利用知识传播在空间和时间域之间传递信息,而[21]中提出的AUNet利用输入视频连续帧变化派生的时间约束优化模型。通过整合空间和时间信息,该模型可以更全面地捕捉动态面部动作单元之间的复杂相互关系。这些方法不仅提高了AU识别准确性,还增强了模型区分相似但时间不同的面部表情(如自发微笑与摆姿势微笑)的能力。
特征提取在AU检测方法中起着关键作用。在从静态或动态图像中提取特征的框架下,特征裁剪机制或信息补偿策略可以有效提高AU检测模型对细粒度局部特征的敏感性,这对于观察不同AU的独特几何位置、纹理变化和动态变形特征非常重要。例如,[22]中提出的WSRTL框架通过恢复随机裁剪的AU块,增强了模型识别未观察到的局部特征的能力。然而,这种基于恢复的学习需要额外的解码器,增加了训练复杂性。在AUGAIN框架[23]中,通过对裁剪区域施加最小化目标AU预测分数的约束,网络通过梯度驱动的空间注意力细化获得更具区分性的局部特征。另一种提高AU检测模型对细粒度局部特征敏感性的方法是使用强相关模态补偿缺失信息。例如,CLEF[25]最大化图像与相应文本标签名称之间的相似性,用于AU识别训练,而VL-FAN模型[26]利用语言模型生成细粒度的局部肌肉描述和可区分的全局面部表示。
尽管从静态或动态图像中进行AU检测的技术取得了显著进展,现有方法仍存在一些局限性:(1)基于面部标志点得出的固定ROI划分的通用性有限;(2)AU相关性提取依赖于固定的先验知识,导致泛化能力差和准确性不稳定;(3)时间处理方法中来自冗余图像信息的干扰。本研究致力于解决这些问题。针对第一个问题,提出了一种基于因果干预机制的自适应区域划分策略,通过原型注意力权重动态解耦局部AU特征,无需进行ROI检测,实现了最优区域位置的自主学习。针对第二和第三个问题,提出了一种时空GNN,其中空间GNN模块用于学习AU间的动态相关性,时间GNN模块采用差分机制过滤非动态冗余,共同构建了一个端到端的时空特征学习框架。此外,我们还提出了一种在全局和局部表示之间进行特征对齐的方法,然后基于对比学习机制进行全局-局部特征协同优化。这种方法作为一种弱约束,提供了基于相似性的软性引导,而不是强制进行刚性特征融合,从而通过梯度反向传播实现多粒度表示的语义对齐。
总结来说,本文的主要贡献如下:
- 1.
提出了一种区域双路径弱约束学习和特征分解策略,以提高局部语义区分度,同时最小化跨区域特征干扰。
- 2.
提出了一种时空自适应融合策略,其中时间GNN通过帧间差异操作分解AU运动,而空间GNN传播AU间语义。
- 3.
提出了一种基于对比学习引导的特征语义对齐框架,通过对比学习在全局和局部表示之间建立隐式交互空间,促进跨层次知识蒸馏和分层语义融合。
部分摘录
预处理
面部图像预处理可以有效减少无关信息对面部AU检测的干扰。如图1所示,预处理流程包括三个关键步骤:面部图像裁剪、标志点检测和图像对齐。
(1) 面部图像裁剪:首先使用dlib工具包[27]检测视频帧中的面部,得到包含面部的正方形框。然后,将面部裁剪为256 × 256像素的图片。
(2) 标志点检测:
数据集和评估指标
为了评估所提出模型的性能,我们在两个公开可用的面部AU检测数据集BP4D和DISFA上进行了训练和测试。这两个数据集的详细信息如下:
BP4D [32]数据集包含41名年龄在18至29岁之间的年轻个体的2D和3D视频,他们在与实验者的八次不同互动会话中表现出各种情绪反应。参与者包括23名女性和18名男性,具有种族多样性
消融实验
为了分析我们模型不同模块对AU检测性能的影响,我们在BP4D数据集上进行了不同场景下的实验。
结论和未来工作
本文提出了一种结合ResNet18的双分支结构用于面部AU检测,其中分类分支通过捕捉时空依赖性提高AU识别准确性,而弱局部-全局对齐约束分支通过对比学习确保局部和全局特征之间的语义一致性。在弱局部-全局对齐约束分支中,LRM采用因果干预机制和区域原型进行细化
CRediT作者贡献声明
黄海林:撰写——原始草稿。邹伟:撰写——审阅与编辑,概念化。胡丹峰:撰写——审阅与编辑。张静雅:资源提供。王家俊:撰写——审阅与编辑。
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号