模拟眼镜噪声对深度学习模型面部情绪识别能力的影响

《Scientific Reports》：Impact of simulated glasses noise on facial emotion recognition with deep learning models

　　

摘要

面部情绪识别（FER）是图像处理和人工智能领域的主要研究方向之一，其在人机交互、行为分析和智能视觉方面有着广泛的应用。RAF DB数据集是一个广泛用于情绪识别的基准数据集，常用于深度学习模型的训练和测试。在实际应用环境中，面部图像可能会受到视觉噪声的影响。例如，大尺寸的眼镜会遮挡面部的眼睛区域，这种环境或人为噪声会扭曲视觉信息。如果面部表情关键区域（如眼睛）的图像帧被情绪识别网络识别为噪声，可能会导致识别性能显著下降。本研究在RAF DB数据集的面部图像中人为添加了类似大眼镜的遮挡噪声，以分析这种结构性噪声对基于深度学习的面部情绪识别模型性能的影响。测试了三种先进的架构（ResNet-50、Vision Transformer (ViT-Base/16) 和 Swin Transformer Tiny (Swin T)），以评估它们在含噪声环境下的鲁棒性。研究的目的是确定并提出可能的解决方法，以应对遮挡噪声导致的识别性能下降问题。实验结果表明，在我们的评估设置中，基于Transformer的架构（尤其是Swin-T）对模拟的视觉噪声具有更强的鲁棒性，这对于设计适用于更复杂环境的面部情绪识别模型具有重要意义。