用于遮挡感知情感识别的自适应面部关键点图学习：基于优化的 YOLO v11 和图变换器网络

《Biomedical Signal Processing and Control》：Adaptive facial landmark graph learning for occlusion-aware emotion recognition using optimized YOLO v11 and graph-transformer networks

　　

**摘要**

面部表情识别（FER）是智能人机交互和情感计算的重要组成部分，因为它使机器能够学习并响应人类的情感状态。目前所有的情绪识别（ER）方法都存在一些缺陷，包括遮挡、光照差异以及缺乏对面部之间复杂空间关系的建模。为了克服这些局限性，本研究提出了一种基于图Transformer（GT）的情绪分类方法，该方法能够有效地捕捉关系信息。收集的视频数据经过帧提取和预处理，以提高视觉质量和一致性。使用优化后的YOLO v11（You Only Look Once v11）模型检测面部，并结合对立学习—冠豪猪优化算法（OL-CPOA）进行增强，以提高定位精度和收敛性。采用深度卷积神经网络（DCNN）结合不确定性感知自注意力机制（UASA）提取深度面部特征，以处理特征图中的噪声和不确定性表示。此外，采用矩形窗口交叉注意力机制（RWCA）捕捉面部区域之间的多尺度上下文依赖关系，然后将精炼后的特征输入GT进行最终的情绪分类。实验评估表明，所提模型的准确率为96%，正预测值（PPV）为96.14%，灵敏度为96.05%，F1分数为96%，表明其具有强大的分类能力。

**引言**

人类情绪主要通过人体，尤其是面部表情来表达[1]。面部肌肉的运动对应着内在的心理状态，在人际沟通中起着至关重要的作用。由于情绪对判断和决策有重大影响，其分析长期以来一直是心理学和社会科学研究的一个重要领域[2]。随着人工智能（AI）和计算机视觉的发展，现在可以自动识别人类情绪[3]。情绪识别，特别是面部表情识别，有助于计算机系统识别情感状态[4]。这些表情源自面部肌肉的同步活动，用以展示情感和心理状态[5]。基于AI的系统发生了重大变革，导致对自动面部表情识别在医疗、人机交互、机器人、电子学习和智能监控系统等多个领域的需求日益增加[6]。情绪识别有助于构建能够解读和响应人类情感线索的智能决策系统[7]。通过面部分析对压力和抑郁等心理障碍进行早期诊断，进一步强调了其适用性[8]。此外，自适应交互系统从情感感知机制中受益，提升了用户体验和沟通效率[9]。当前的ER系统使用多种模态，包括文本、语音、视频和面部图像[10]。文本、语音和视觉媒体的整合已被证明对提高识别性能特别有效，尤其是在恐惧和惊讶等细微情绪方面[11]。FER系统的模型通常基于深度学习模型，如长短期记忆网络（LSTM）、脉冲神经网络（SNNs）和循环神经网络（RNNs）。也有使用传统机器学习（ML）技术，如随机森林（RF）、决策树（DT）和支持向量机（SVMs）。然而，深度学习（DL）模型必须展现出更高的准确性，尤其是在要求高且不受约束的环境中[12]。

面部情绪的识别面临多种挑战，如幻象变化、头部姿势和实际场景中的背景复杂性。某些情绪之间的细微差异以及中性情绪的模糊性容易导致误分类率升高。年龄、性别和面部结构变化等个体间差异也可能影响模型的泛化能力。序列中零星的时序变化以及面部关键点的定位也期望成为特征表示方面的一个方面。为应对这些威胁，本研究提出了一个新的工作流程，改进了特征提取、分类精度和面部关键点检测。该模型能够很好地整合空间、时间和结构数据，以确保强大且可靠的情绪识别性能。本研究的主要贡献如下：

- 本研究的目标是开发一种可实时应用的、高精度的FER系统，采用新颖的深度神经网络流程。
- 使用YOLO v11进行面部检测和跟踪，并通过一种名为OL-CPOA的新型优化器进行性能增强，提高其在复杂条件下的鲁棒性。
- 使用UASA从噪声和模糊的面部数据中提取深度特征，并结合动态面部关键点图和RWCA进行高级时空建模。
- 使用GT进行情绪分类，有效整合基于CNN的视觉特征和图表示，以增强分类性能。该系统旨在不受约束的环境中准确识别六种基本情绪，同时确保在多语言和多口音数据集上的强泛化能力。

本文的组织结构如下：第2节为相关工作，第3节介绍所提的情绪分类方法，第4节讨论实验结果，第5节总结工作并提出未来研究方向。

**相关工作**

面部特征的提取和面部表情的识别涉及对多种先进深度学习架构的评估，包括VGG16、VGG19、ResNet50、ResNet101、DenseNet、GoogLeNet V1、MobileNet V1、EfficientNet V2、ShuffleNet V2和RepVGG[13]。EfficientNet V2和ResNet50模型通过利用复合缩放和残差学习来捕捉复杂的情绪特征，并最大程度地减少过拟合，展现出卓越的分类性能。

**所提方法**

FER过程通过分步骤程序完成，从数据收集到分类。该过程在几个阶段下进行分析，每个阶段的流程如图1所示。

i) **面部对齐**

基于关键点（如眼睛、鼻子和嘴巴）对面部进行调整，使其位于一致且预定义的方向。该过程涉及检测面部关键点、计算所需的几何变换，并应用仿射变换矩阵B将原始面部映射到对齐的参考位置，其定义见公式(2)。为了提高对小变化的鲁棒性，在训练期间向仿射矩阵中添加轻微的高斯噪声。

ii) **Min-Max归一化**

将输入像素强度值重新映射到0到1的范围内。这种缩放确保特征被平等地表示，避免高强度值对学习过程产生不成比例的影响，从而增强模型稳定性和性能，过程概述见公式(3)。

$$M_{norm} = \frac{m - \min(m)}{\max(m) - \min(m)}$$

其中，m表示原始像素值，min(m)和max(m)分别表示最小和最大像素值。

iii) **自适应对比度增强**

通过根据局部强度变化调整像素强度来增强视频的可见性，而不是进行全局对比度校正。确定每个像素与平均强度的差异，并通过基于熵的权重进行自适应缩放变换，以增强面部特征并保留细节区域。定义见公式(4)。

$$I_{ACE}(a,b) = J_H(e^{a,b} - T_{a,b}) \times \beta \cdot \Delta J(a,b)$$

其中，T(a,b)表示基于熵的缩放因子，β为自适应对比度增强系数。

**实验结果与讨论**

模型结果使用多种评估指标进行分析，并据此将数据集划分为训练集、测试集和验证集。累计样本包含500个样本，其中70%即350个样本用于训练，15%即75个样本用于测试，15%即75个样本用于验证。这种划分有助于模型的高效训练以及性能评估的可靠性。此外，所提模型还与其他方法进行对比。

**结论与未来工作**

所提的FER模型整合了优化检测、深度特征提取和基于图的分类技术，以实现改进的识别性能。DCNN-UASA模块捕捉深度面部表示，减少特征图中的噪声和不确定性。RWCA系统也改善了上下文理解，因为它捕捉了面部各部分之间的空间关系。最终，GT模型可以理解为对面部区域之间关系的一种分析。

**CRediT作者贡献声明**

Jyoti Suresh Bedre：概念构思。P. Lakshmi Prasanna：监督指导。

**资助**

本研究未获得公共、商业或非营利机构资助机构的任何特定拨款。

**利益冲突声明**

作者声明他们没有已知的竞争性经济利益或个人关系可能会影响本文报告的工作。

**致谢**

无。

Jyoti Suresh Bedre | P. Lakshmi Prasanna