《Results in Engineering》：Improving Facial Expression Recognition with Generative Adversarial Networks and Hybrid Deep Learning Architectures
编辑推荐：
研究人员开发了用于面部表情识别（Facial Expression Recognition, FER）的强模型，采用深度学习方法对情绪进行准确分类。研究人员实施了由辅助分类生成对抗网络（Auxiliary Classifier Generative Adver
研究人员开发了用于面部表情识别（Facial Expression Recognition, FER）的强模型，采用深度学习方法对情绪进行准确分类。研究人员实施了由辅助分类生成对抗网络（Auxiliary Classifier Generative Adversarial Network, ACGAN）驱动的过采样技术，以缓解类别不平衡并增强对代表性不足情绪类别的识别。EfficientNet-B0作为基线网络，用于以最优计算性能提取具有判别性的局部面部特征。残差连接促进模型判定视觉上相似情绪之间细微差异的能力，包括厌恶（disgust）、恐惧（fear）与悲伤（sad）。研究人员提出一种集成挤压-激励（Squeeze-and-Excitation, SE）与卷积块注意力模块（Convolutional Block Attention Module, CBAM）的双注意力方法，以改善通道维和空间维特征表征。采用基于Transformer的上下文编码捕获长期依赖与补充性全局面部信息。
研究背景与问题：面部表情识别（Facial Expression Recognition, FER）在人工智能与模式识别中受到持续关注，面部表情是人类沟通的重要部分，情绪对社会情境中的行为、决策和互动具有显著影响。FER已用于医疗诊断、安全、娱乐、教育、机器人、隐私、农业、体育等场景。原文指出，尽管深度学习（Deep Learning, DL）尤其是卷积神经网络（Convolutional Neural Network, CNN）推动了FER发展，但仍存在多重问题：面部表情本身具有模糊性和变异性，同一面部构型可能对应不同情绪；光照、头部朝向、遮挡和面部属性变化增加识别难度；类间边界附近的模糊表情难以区分；CNN依赖大量训练数据并需整合大量特征，易在模糊输入或潜在错误标签上过拟合，且作为像素基方法对光照、角度和遮挡不够鲁棒；卷积核主要考虑局部区域元素关系，难以分析整个表情中所有成分的关系；基于CNN的模型在FER2013上易对主导情绪过拟合，在RAF-DB中遮挡和姿态变化下的真实子群检测准确率明显下降。现有FER方法仍面临类别不平衡、局部与全局面部特征捕获、相似情绪判别和识别效率等问题。为此，研究人员旨在开发基于深度学习的FER系统，在表情变异性和类别不平衡条件下提升情绪分类效果；具体目标包括考察类别不平衡对FER的影响并改善少数情绪类别的表示，设计有效且计算高效的特征提取方法学习判别性局部面部特征，通过学习细面部特征改善视觉相似情绪之间的区分，并研究通道与空间注意力识别关键面部特征。
研究开展、结论与意义：研究人员提出Efficient Attention-Residual Sequential Network（EARS-Net）混合深度学习架构，使用EfficientNet-B0作为特征提取骨干，集成SE+CBAM双注意力、Transformer编码器、BiLSTM（Bidirectional Long Short-Term Memory）与Bahdanau注意力、CLS token以及测试时增强（Test-Time Augmentation, TTA），并使用ACGAN解决类别不平衡。研究在FER2013和RAF-DB两个标准FER数据集上评估，采用严格评价协议，早停完全取决于验证损失，标准测试分区完全排除于训练之外，并进行超参数优化。实验表明，EARS-Net在FER2013和RAF-DB上分别达到81.77%和90.63%的平均测试准确率；原文结论部分表述为FER2013上81.77±0.23%、RAF-DB上90.63±0.22%。该研究的意义在于将特征学习与类别不平衡问题解决整合于单一架构，通过ACGAN改善少数类表示，通过残差增强块、SE和CBAM提取判别性面部特征，通过Transformer编码器获取全局空间依赖，通过BiLSTM+Bahdanau注意力或CLS token聚合特征，并通过TTA提升预测稳健性；消融研究支持各组件的作用。原文同时指出，多模块使用增加了架构复杂度和计算需求，ACGAN过采样训练也带来额外训练要求，并需严格控制生成样本以避免人工面部特征。
关键技术方法（≤250字）：研究采用两个公开基准数据集：FER2013（28,709张训练、3,589张验证、3,589张测试，48×48×1灰度，7类）与RAF-DB基础情绪集（12,271张训练、3,068张测试，100×100×3 RGB，7类）。以EfficientNet-B0为骨干提取局部特征，后接残差增强块；采用SE+CBAM双注意力；以Transformer编码器建模全局上下文；FER2013分支用BiLSTM+Bahdanau注意力聚合空间令牌，RAF-DB分支用CLS token聚合全局特征；训练集用ACGAN对少数类过采样；推理采用TTA；以FID和IS评估生成图像，以accuracy、precision、recall、F1-score评估分类。
研究结果：5.1 FER2013 Dataset（FER2013数据集）：通过ACGAN生成图像质量评估与五次独立运行、训练/验证曲线及分类指标分析，原文报告厌恶的FID为22.4、恐惧为26.1，IS分别为2.94和2.86，精确率分别为0.63和0.59，召回率分别为0.57和0.52，说明ACGAN可为少数类生成高质量合成图像；五次运行平均测试准确率为81.77%±0.27%，最高82.10%、最低81.48%；训练准确率约95%、验证准确率约82%，训练损失降至约0.02、验证损失稳定在约0.32，早停于第57轮；Happy类精确率、召回率和F1-score均为0.91，总体准确率为81.77%，宏平均精确率0.83、召回率0.82、F1-score 0.82，加权平均均为0.82。5.2 RAFDB Dataset（RAF-DB数据集）：通过ACGAN质量评估与五次运行、训练/验证曲线及分类指标分析，原文报告厌恶、恐惧、悲伤的FID分别为61、73、48，IS分别为2.3、2.1、3.0，精确率分别为0.58、0.53、0.66，召回率分别为0.34、0.29、0.48；五次运行平均测试准确率为90.63%±0.22%，最高90.86%、最低90.35%；训练准确率约97%、验证准确率约92%，训练损失降至约0.02、验证损失稳定在约0.25，早停于第73轮；Happy类精确率0.97、召回率0.98、F1-score 0.97，总体准确率90.63%，宏平均精确率0.88、召回率0.90、F1-score 0.89，加权平均均为0.91。5.3 Relative Performance of Proposed Methods（所提方法相对性能）：通过四个常规指标比较，EARS-Net在FER2013上准确率81.77%、精确率82.32%、召回率82.24%、F1-score 82.56%，在RAF-DB上分别为90.63%、91.45%、91.72%、91.61%；原文认为RAF-DB图像质量和表情描述更优，故所有指标表现更好。6 Ablation Study（消融研究）：通过逐步加入模块评估各自影响，FER2013上EfficientNet-B0基线为71.46%，加ACGAN过采样为74.28%，加残差块为76.20%，加SE为77.32%，加CBAM为78.13%，加ViT为79.32%，加BiLSTM为80.14%，加Bahdanau注意力为80.86%，加TTA为81.77%；RAF-DB上基线为84.31%，加ACGAN为86.74%，加残差块为87.85%，加SE为88.64%，加CBAM为89.23%，加Transformer编码为89.78%，加TTA为90.63%；ACGAN在RAF-DB上带来最大单项提升（+2.43%）。原文还比较不平衡处理，无平衡为74.63%/85.26%，随机过采样为76.34%/86.82%，类加权交叉熵为77.92%/88.46%，ACGAN为81.77%/90.63%，说明ACGAN优于其他方法。6.1 Comparison with Contemporary Method（与当代方法比较）：通过与其他先进FER方法比较，EARS-Net在FER2013上81.77%高于ResEmoteNet的79.79%（+1.98%）、CNN的76.75%（+5.02%）、CBAM+ResNet的75.77%（+6%）、AE-CNN的74.82%（+6.95%）、FER-CHC的74.68%（+7.09%）、CAFM+SE的73.15%（+8.62%）；在RAF-DB上90.63%高于QOT的89.97%（+0.66%）、CBAM+ResNet的89.55%（+1.08%）、DSCNN-ECA的88.26%（+2.37%）、WEPD的83.25%（+7.38%），说明EARS-Net更有效。
讨论部分总结：原文讨论认为，所提框架表现良好源于将特征学习与类别不平衡问题解决整合于单一架构：ACGAN过采样通过生成多样合成数据改善少数类表示，残差增强块、SE和CBAM有助于提取判别性面部特征，Transformer编码器提取面部特征令牌之间的全局空间依赖，FER2013上的BiLSTM+Bahdanau注意力改善空间令牌表示聚合，RAF-DB上的CLS token有效聚合全局特征，TTA通过平均多输入预测提升稳健性，消融研究证实这些作用。原文同时指出，多模块增加架构复杂度和计算需求，相较轻量CNN方法更重；ACGAN过采样训练带来额外训练要求，并需严格控制生成样本以避免产生人工面部特征。
研究结论翻译：本研究提出用于面部表情识别与监测的Efficient Attention-Residual Sequential Network（EARS-Net）模型。这些混合深度学习模型包括作为特征提取骨干的EfficientNet-B0、用于增强相似情绪区分的SE+CBAM、用于获取长程相关性的Transformer编码器、用于序列建模的BiLSTM+Bahdanau注意力、用于全局上下文的CLS token，以及用于提升测试阶段能力的TTA。研究使用两个基准FER数据集FER2013和RAF-DB，并采用ACGAN方法处理少数类问题。以FID和IS评估的ACGAN为厌恶、恐惧和悲伤生成更高保真合成图像。实验使用准确率、精确率、召回率和F1分数作为评价指标。实验表明，所提EARS-Net模型在FER2013数据集上达到81.77±0.23%的准确率，在RAF-DB数据集上达到90.63±0.22%的准确率。两个数据集均进行五次重复运行以分析所提模型的准确率。所提EARS-Net模型在RAF-DB数据集上相较FER2013数据集在所有评价指标上表现更优。消融研究确定每个组件对所提面部表情识别系统的单独影响。未来研究将包括在其他不同数据集（如CK+、AffectNet）上评估所提技术以进一步检验其泛化能力，并将在边缘设备上开展所提方法与其他模型的延迟比较。
