一种采用局部自适应稀疏注意力的全局-局部双分支微表情识别网络

《Pattern Recognition》：A global-local dual-branch network with Local Adaptive Sparse Attention for micro-expression recognition

　　

• •
  DS-TCN 估计顶点帧概率以构建关键帧序列。
• •
  GL-LASA 学习互补的全局和局部微表情特征。
• •
  LASA 在局部令牌上执行 AU 引导的查询自适应稀疏注意力。
• •
  区域对齐支持全局和局部特征的令牌级融合。
• •
  实验验证了有效的顶点帧估计和有竞争力的微表情识别性能。

引言

面部表情是人类情感状态的重要非语言线索。在面部表情分析中，表情通常根据其强度和持续时间分为宏观表情和微表情。宏观表情通常涉及可见的面部运动，持续时间约为 0.5 到 4 秒，而微表情是不自主的、短暂的面部运动，通常持续约 0.065 到 0.5 秒 [1]。由于微表情可能在个体试图隐藏或抑制真实情绪时揭示其真实情感 [2]，因此它们在情感计算领域受到了越来越多的关注。相关的细微行为分析，如微手势识别，也反映了对识别短暂和自发非语言线索的日益增长的兴趣 [3]。然而，微表情的持续时间短、强度低、肌肉激活局部化以及训练样本有限，使得微表情识别（MER）对于人类观察者和计算模型都具有挑战性。

自动化微表情分析通常通过两个相关子任务进行研究：微表情检测和微表情识别（MER）[1]。一般的检测旨在定位视频序列中的微表情区间，而许多微表情识别流水线依赖于顶点帧，该帧对应于面部运动强度峰值的时刻，并为识别提供信息性线索 [4]。在本工作中，我们专注于预分割起始-结束片段内的微表情顶点帧检测，而不是一般长视频中的微表情检测。给定具有已知起始和结束帧的片段，目标是检测顶点帧并用于构建用于识别的紧凑关键帧序列。这种设置是实际可行的，因为顶点标注成本高昂、主观性强，并且并非在所有数据集中都均匀可用。例如，CASME II 和 SAMM 提供顶点标注，而 SMIC 不提供官方顶点标签。

现有的微表情识别方法研究了手工制作的描述子和基于学习的表示。早期方法主要使用时空纹理描述子 [5] 和光流统计 [6] 来捕获细微的面部变化，但这种手工设计的功能可能在跨主体和录制条件下泛化能力较差。随着深度学习的发展，基于 CNN 和基于 3D CNN 的模型被引入以从微表情片段中学习时空表示 [7], [8]。较新的方法研究外观-运动融合和双流建模以提高微表情识别的运动感知表示学习 [9]。基于注意力的方法进一步使用局部注意力或基于 Transformer 的建模来捕获与表情相关的区域和令牌交互 [10], [11]。然而，微表情的运动通常在空间上是稀疏的，在时间上是短暂的。全局模型可能会忽略微弱的局部运动，纯粹的局部模型可能缺乏整体面部上下文，而密集自注意力可能会传播来自无关区域的噪声响应。这些问题激励了一种识别模型，该模型在抑制不必要的令牌交互的同时捕获全局面部动态和局部 AU 相关运动。

基于这些观察，我们提出了一个从预分割片段进行微表情顶点帧检测和识别的集成框架。该框架首先使用 DS-TCN（双流时间卷积网络），通过结合光流线索和自动估计的 AU 强度变化线索，在起始-结束区间内执行顶点帧检测。然后，检测到的顶点帧或参考顶点信息被用于构建固定长度的关键帧序列。基于该序列，GL-LASA 执行全局-局部特征学习：全局分支捕获整体面部动态，而局部分支使用局部自适应稀疏注意力（LASA）以查询自适应稀疏注意力建模微妙的 AU 相关区域运动。最后，区域对齐融合和轻量级分类头聚合全局-局部令牌以进行情感预测。在实验中，我们将参考顶点设置与检测顶点设置区分开来，以避免混合不同的顶点来源，并量化自动顶点帧检测对识别的影响。

本工作的主要贡献总结如下：

• •
  我们提出了一个将微表情顶点帧检测和识别耦合在预分割起始-结束片段内的集成框架。DS-TCN 从光流和自动估计的 AU 变化线索中检测顶点帧，使得在减少对人工提供顶点信息依赖的情况下能够构建固定长度的关键帧序列。
• •
  我们开发了 GL-LASA，一个全局-局部双分支识别模型。全局分支编码整体面部动态，局部分支引入 AU 引导的局部自适应稀疏注意力以分配查询自适应的上下文预算，区域对齐融合整合两个分支以进行微表情分类。
• •
  我们在统一基准协议下进行了全面的实验，表明所提出的框架在 CDE 中实现了具有竞争力的识别性能，评估涵盖顶点帧检测、与代表性微表情识别方法的比较、消融研究、实际效率分析以及明确的参考顶点与检测顶点设置。

章节摘要

相关工作

微表情分析既涉及时间定位，也涉及情感识别。一般的微表情检测定位长视频中的微表情区间，而微表情顶点帧检测识别预分割起始-结束片段内的峰值强度帧。然后，微表情识别从片段、顶点帧或顶点引导的关键帧序列中预测情感类别。由于本工作专注于预分割片段内的顶点帧检测及随后的微表情识别，

框架概述

如图 1 所示，所提出的框架有三个阶段：微表情顶点帧检测和关键帧序列构建、全局-局部特征学习，以及用于情感分类的区域对齐融合。该框架包含两个可学习组件：DS-TCN 用于在预分割起始-结束片段内进行顶点帧检测，GL-LASA 用于微表情识别。在阶段 1 中，每个预分割片段被对齐和裁剪，并进行 ROI 级别的光流和 AU 强度变化

实验

本节评估了所提出的用于顶点帧检测和微表情识别的方法，详细说明了数据集、实现设置和实验结果。

结论

为了从有限数据中学习判别性时空特征，我们提出了一个统一的微表情分析框架，包括用于顶点帧检测的 DS-TCN 和用于识别的 GL-LASA。DS-TCN 结合了 ROI 级别的光流线索和自动估计的帧间 AU 变化，在预分割起始-结束片段中检测顶点帧，减少了对人工提供顶点信息在关键帧序列构建中的依赖。GL-LASA 随后采用全局-局部双分支

作者贡献声明

李佳维：撰写 – 初稿，方法论，概念化。谢元伦：撰写 – 审阅与编辑，方法论。于子桐：撰写 – 审阅与编辑。姚嘉怡：数据整理。田龙：资源。冉茂江：资源。张蓉芬：撰写 – 审阅与编辑，监督，项目管理。

利益冲突声明

作者声明他们没有已知的 competing 经济利益或个人关系，这些利益或关系可能被认为会影响本文报告的工作。

致谢

本工作得到了贵州省自然科学基金的资助[项目编号 黔科合基础-ZK[2021] 重点 001]；以及贵州省科技计划项目的资助[项目编号 黔科合支撑[2026] 一般 354]。

李佳维|谢元伦|于子桐|姚嘉怡|田龙|冉茂江|张蓉芬