基于光流特征与多注意力机制的微表情识别方法研究

针对微表情识别(MER)中样本量小、类别不平衡导致的过拟合问题，本研究提出融合高分辨率光流特征与多注意力机制(HCSARNet)的新方法，通过空间连续注意力(SCAM)、通道注意力及首创新型高度驱动注意力模块(HAM)，结合ISDA加权损失函数，在CASME II和MEGC 2019数据集上实现性能突破，为心理评估和刑侦应用提供更精准的技术支持。

　　

论文解读
面部肌肉瞬间的颤抖可能泄露心底的秘密——这种持续仅0.04至0.2秒的微表情（Micro-expression, ME），在测谎、心理诊断等领域具有重要价值。然而现有技术面临三重困境：传统方法依赖人工特征（如LBP-TOP）难以捕捉细微运动；深度学习易受小样本（CASME II仅247个样本）和类不平衡影响；低分辨率光流图丢失关键细节。更棘手的是，不同情绪对应的面部活动区域高度特异（如愤怒常表现在眉间），但现有模型缺乏对垂直方向特征的关注。

河北大学团队在《Displays》发表的研究中，创新性地将高分辨率光流分析与多维度注意力机制结合。通过改进的ResNet18框架，串联空间连续注意力(SCAM)与多尺度通道注意力，首次引入高度驱动注意力模块(HAM)定位眉、唇等关键区域。采用ISDA加权损失对抗数据偏差，在复合数据集上达到89.26%的准确率，较传统方法提升12.7%。

关键技术

1. 预处理：从起始帧(onset)和峰值帧(apex)提取高分辨率光流特征
2. HCSARNet架构：融合残差块的多层特征，避免浅层信息丢失
3. 注意力机制：SCAM强化空间连续性，HAM通过1D卷积捕捉高度特异性特征
4. 损失函数：ISDA加权解决样本不平衡（SMIC-HS中"positive"类占比达61%）

研究结果

1. 微表情识别现状：对比LBP-TOP等传统方法，证实光流特征（STSTNet）对肌肉运动的表征优势，但指出低分辨率输入导致12.3%的细节丢失。
2. 方法论：HCSARNet通过SCAM模块将空间注意力权重跨层传递，使关键区域响应强度提升2.1倍；HAM模块首次实现垂直特征定位，对"disgust"类别的眉间区域识别准确率提高19.4%。
3. 数据集验证：在CASME II五分类任务中达到76.83% UAR（未加权平均召回率），显著超过RCN等模型；但在多族裔SAMM数据集上性能下降9.2%，揭示种族因素对ME特征的影响。

结论与意义
该研究通过光学流与注意力机制的协同创新，突破微表情分析的"毫米级"精度瓶颈。高度驱动注意力(HAM)的提出，开创性地解决面部垂直特征被忽视的问题，为情绪相关区域（如额肌与口轮匝肌）的精准定位提供新思路。ISDA加权策略使少数类（如"fear"）识别率提升34.5%，为临床罕见情绪样本分析建立范式。尽管跨种族泛化能力有待加强，但该方法已成功应用于河北省精神卫生中心的抑郁症评估试点，实现微表情标记物（如嘴角不对称颤动）的自动化检测，为精神疾病早期筛查提供客观指标。