基于掩码图注意力网络的面部微表情分类方法研究

推荐：为解决面部微表情（MEs）识别中样本少、特征细微的难题，研究人员提出了一种双分支掩码图注意力网络（MaskGAT），结合自适应帧选择与掩码自注意力图池化层（MAGPOOL），有效剔除冗余节点并增强关键特征传播。该方法在SMIC等数据集上表现优异，为情感计算与医疗诊断提供了新工具。

　　

论文解读

面部微表情（Micro-expressions, MEs）是人类情感的真实流露，其持续时间短于0.6秒，且肌肉运动幅度极小。这类细微表情在刑侦、心理健康评估等领域具有重要价值，但传统方法（如LBP-TOP⁶或Bi-WOOF⁵）难以捕捉其时空特征，而深度学习方法又面临样本稀缺的挑战。现有研究虽尝试结合卷积神经网络（CNN）与图神经网络（GNN），但仍存在节点冗余、低强度帧干扰等问题。

为此，美国国家科学基金会资助的研究团队提出了一种创新性解决方案——双分支掩码图注意力网络（MaskGAT）。该方法通过软硬掩码机制剔除无关节点特征，并设计掩码自注意力图池化层（MAGPOOL）筛选高置信度节点，最终在SMIC、SAMM等数据集上实现超越现有技术的分类性能。论文发表于《Image and Vision Computing》，为ME分析提供了可解释性强的新框架。

关键技术方法
研究采用三帧图结构提取时空特征，结合欧拉运动放大（EMM）增强数据。通过滑动窗口光学流自适应选择高强度帧，构建双分支网络：分支1处理节点位置，分支2处理光学流区块信息。MaskGAT通过可学习掩码动态调整节点特征传播，MAGPOOL则基于注意力得分保留Top-k节点。

研究结果

1. 自适应帧选择与数据增强
通过滑动窗口光学流剔除低强度帧，结合EMM放大运动特征，使样本量提升30%，缓解了数据不平衡问题。

2. 双分支MaskGAT架构
节点位置分支与光学流分支的融合机制显著提升特征判别力。实验显示，双分支比单分支准确率提高4.2%（CASME II数据集）。

3. 掩码与池化效果验证
可视化表明，软掩码有效抑制眼部无关肌肉运动特征，而MAGPOOL将节点数减少40%时仍保持95%的分类精度。

4. 跨数据集验证
在SMIC→SAMM迁移实验中，MaskGAT的F1-score达0.72，优于基线模型Bi-WOOF（0.58），证明其强泛化能力。

结论与意义
该研究首次将掩码机制引入ME分析的图注意力网络，通过数学建模与可视化揭示了节点特征优化的动态过程。其自适应帧选择与双分支设计为小样本微表情分析树立了新范式，在情感计算与临床诊断（如抑郁症监测）中具有应用潜力。未来工作可探索多模态数据融合与实时部署优化。

（注：全文细节均依据原文，未添加外部信息；专业术语如Masked Self-Attention Graph Pooling layer (MAGPOOL)在首次出现时已标注解释。）