GCA-ODN：一种用于遮挡条件下联合面部关键点检测与情绪识别的全局上下文感知随机失活网络

《Neural Networks》：GCA-ODN: A global context-aware dropout network for joint facial landmark detection and emotion recognition under occlusion

　　

摘要
我们提出了全局上下文感知丢弃网络（GCA-ODN），这是一种基于卷积神经网络（CNN）、计算可行的神经架构，用于在部分面部遮挡条件下进行联合面部关键点检测（FLD）和面部表情识别（FER）。GCA-ODN学习一种共享嵌入，编码面部几何结构和情感线索，从而在口罩、大姿态变化和非均匀光照下提高可靠性。

该模型集成了三个互补组件：(i) 一个全局上下文模块，捕获长程空间依赖并将整体结构线索注入局部特征；(ii) 一个注意力丢弃模块，生成注意力引导的掩码以抑制不可靠或过度主导的激活，减少对有限可见线索的依赖；以及(iii) 一个低秩特征精化模块，促进紧凑、抑制噪声的表示。

在多个FLD和FER基准测试上的实验表明，在所述评估协议下，该模型表现出具有竞争力的性能，相比受控的ResNet-18基线和几种遮挡感知CNN方法有明显提升。在300W上，GCA-ODN在Common子集上达到2.60×10?2的归一化平均误差（NRMSE），在Full子集上达到3.20×10?2，在Challenging子集上达到5.61×10?2。在基于AffectNet训练并在目标数据集上直接评估、不进行目标域微调的跨数据集FER任务中，该模型在CK+上达到84.6%，在JAFFE上达到62.1%，在ISED上达到68.3%。在224×224的输入分辨率下，该模型在NVIDIA RTX A6000上以batch size为1处理超过80帧每秒，展现了在所述硬件配置下的实时吞吐量。

引言
遮挡条件下的面部分析仍然是部署于非约束环境中的神经感知系统面临的核心挑战。在诸如远程医疗、情感感知人机交互、社交机器人和移动感知等应用中，由于口罩、手、头发、配饰、大姿态变化和非均匀光照，人脸经常在部分观察下被捕获。这些因素会移除或破坏信息性证据，并可能导致预测不稳定，尤其是当模型过度依赖一小部分显著的可见线索时。两个任务尤为敏感：面部关键点检测（FLD），用于定位面部关键点；以及面部表情识别（FER），用于根据面部外观和几何特征对情感状态进行分类。

面部关键点提供紧凑的几何表示，是面部对齐、动作单元分析和3D面部建模等下游任务的基础。传统的FLD方法包括基于回归的方法、带有统计先验的模板方法以及深度学习方法。尽管卷积神经网络大幅提高了FLD的准确率，但在遮挡条件下仍难以保证鲁棒性，因为损坏区域可能主导局部特征学习，且长程几何依赖未被显式保留。类似地，许多FER系统强烈依赖于对部分可见性和分布漂移敏感的外观线索，使其在遮挡和姿态变化下难以进行跨数据集泛化。

近期基于Transformer的FLD和FER方法通过原型感知、肌肉运动感知或纹理亲和性感知表示来建模长程面部关系。这些进展展示了全局依赖建模的价值，但并未消除对精确局部空间表示和部署友好计算的需求。对于本联合任务，我们保留了紧凑的CNN骨干网络，因为其局部性和平移相关的归纳偏置非常适合密集关键点定位。所提出的全局上下文模块通过显式聚合长程面部信息来补充这种局部表示。因此，该设计寻求精度与吞吐量之间的受控平衡，而非假定CNN普遍优于Transformer架构。

两项近期研究尤为相关。CAD-Net结合了循环纵横几何建模、注意力丢弃和分解低秩回归头，以实现遮挡鲁棒的面部分析。另一项遮挡感知FER框架集成了显式遮挡检测器、图像掩码、低秩语义特征恢复和无遮挡图像引导。这些方法共享抑制遮挡损坏证据同时保留面部结构的更广泛动机，但其架构、优化过程、数据集和实验测量与GCA-ODN不同。GCA-ODN被构建为一个共享的FLD–FER表示学习框架，并未采用FER专用框架中的外部遮挡检测和成对干净—遮挡引导流水线。详细的方法差异见第2节。

文献中一个常见局限是，FLD和FER往往作为独立流水线优化，即使表情线索源于协调的几何变化和外观变化。因此，联合建模可能有益：几何监督可规范FER的表示学习，而表情相关结构可为关键点定位提供互补线索。关键挑战在于设计一种计算可行的神经架构，能够(i)保留全局面部结构，(ii)在训练中抑制损坏证据，(iii)在部分观察下产生稳定的紧凑表示。

为此，我们提出了全局上下文感知丢弃网络（GCA-ODN），这是一种用于遮挡条件下联合FLD和FER的端到端架构。GCA-ODN在一个工作流中耦合三种机制：(1)全局上下文聚合以捕获长程依赖并保留整体几何一致性；(2)注意力引导丢弃以抑制不可靠激活并防止过度依赖主导可见线索；(3)低秩特征精化以减少冗余和噪声，为关键点定位和表情分类产生紧凑的共享嵌入。三个组件联合优化，使上下文聚合基于可靠性感知特征，低秩精化约束所得共享表示。这种协调构建旨在应对遮挡引起的结构不稳定，而非仅通过骨干网络扩展获取性能提升。为确保公平评估，我们报告了在300W上训练的GCA-ODN结果，以及一个纳入额外Menpo训练数据的变体GCA-ODN(M)（第5节）。

本工作的主要贡献是：

1. 一种端到端联合FLD–FER框架，在遮挡下学习共享表示，实现面部几何与情感线索之间的信息传递。

2. 一种紧密耦合的三模块设计，集成全局上下文建模、注意力引导丢弃掩码和低秩特征精化，以提升对缺失或损坏面部证据的鲁棒性，同时在所述输入分辨率和RTX A6000评估设置下处理超过80帧每秒。

3. 在多个FLD和FER基准上评估，涵盖相对受控图像、严重遮挡、大姿态变化、视频序列和跨数据集FER迁移，并包含留一模块消融分析和综合基准汇总（表8、9、10、11，以及表7、13）。评估区分基础模型与Menpo辅助变体，并将可直接比较的结果与使用不同训练数据或协议的文献数值分开。在300W上，GCA-ODN达到2.60×10?2（Common）、3.20×10?2（Full）和5.61×10?2（Challenging）的NRMSE（表8和9）；并在224×224输入、RTX A6000上达到>80 FPS（表6）。

本文其余部分组织如下。第2节回顾相关背景。第3节介绍所提出的GCA-ODN架构，第4节描述端到端优化。第5节报告FLD实验，第6节报告FER实验。第7节提供消融分析，第8节讨论应用，第9节总结全文。

各节片段

遮挡条件下的面部关键点检测
遮挡鲁棒的面部分析已从显式几何约束和局部外观建模发展到基于注意力和关系感知的神经营销表示。对于面部关键点检测（FLD），目标是定位一组预定义的面部关键点，但当面部区域被口罩、手、头发、配饰或医疗器械覆盖时，性能会显著下降（图1）。由于遮挡在形状和尺度上通常不规则，

全局上下文感知丢弃网络（GCA-ODN）
为在部分观察下提高鲁棒性同时保持实际效率，我们提出了全局上下文感知丢弃网络（GCA-ODN）。如图3所示，GCA-ODN集成三种互补机制：(i) 全局上下文建模以保留长程几何依赖；(ii) 注意力引导丢弃以在训练中抑制不可靠证据；(iii) 低秩精化以获得紧凑且抑制噪声的共享嵌入。该设计针对一个常见失败模式

所提方法优化
本节描述GCA-ODN在遮挡条件下联合面部关键点检测（FLD）和面部表情识别（FER）的端到端优化。给定训练集??={(In, ?n, ?n)}Mn=1，In表示输入人脸图像，?n∈?L×2表示地面真实关键点坐标，?n∈{1,?,Ce}表示地面真实情绪标签。对于特定样本，任一种标注可能不可用。由Θ参数化的网络通过两个头预测关键点?n和情绪logits p?n。

面部关键点检测实验细节
本节在正常条件、严重遮挡、大姿态变化和视频监控场景下评估GCA-ODN在广泛使用的面部关键点检测（FLD）基准上的表现。我们首先描述数据集和评估协议（5.1节），然后报告指标和实现细节以支持可复现性（5.2节）。最后，我们呈现正常条件、遮挡、姿态变化和视频监控下的结果（5.3节–5.3.4节）。除非另有说明，所有人脸都……

情绪识别性能
面部表情识别（FER）是社交机器人、辅助人机交互和远程交互设置中情感感知神经感知系统的核心能力。在非约束环境中，FER仍然具有挑战性，因为表情线索因人而异，并常被遮挡（如口罩和手）、头部姿态变化和光照变化所破坏。由于面部关键点编码与面部动作……

消融分析
本节评估GCA-ODN中各组件的贡献：全局上下文模块（GCM）、注意力丢弃模块（ADM）和低秩特征精化模块（LM）。目标是评估观察到的性能提升是否与互补机制相关——全局结构保留、注意力引导的主导或潜在不可靠响应抑制和紧凑精化——而非单一架构改变。分析……

应用
以下应用代表潜在的研究和部署方向，而非在本研究中经过临床、法律或操作验证的系统。在部分观察下实现鲁棒的面部关键点检测和表情识别，可支持一系列神经感知系统。

在数字身份和访问控制中，可靠的关键点定位可改善面部对齐和特征归一化，增强生物识别流水线对抗姿态等干扰因素的能力……

结论与未来工作
本文提出了GCA-ODN，一种用于遮挡、姿态变化和光照变化条件下联合面部关键点检测和面部表情识别的计算可行深度架构。GCA-ODN集成三个互补组件：(i) 全局上下文模块以保留长程结构依赖；(ii) 注意力丢弃模块通过注意力引导掩码减少过度依赖主导激活；(iii) 低秩特征精化模块以……

CRediT作者贡献声明
Muhammad Sadiq：写作—审阅与编辑、写作—原稿撰写、可视化、验证、监督、软件、资源、项目管理、方法论、调查、资金获取、形式分析、数据整理、概念化。

利益冲突声明
作者声明没有已知的可能影响本文所报告工作的竞争性经济利益或个人关系。

致谢
本研究由科学技术博士研究启动项目（项目编号：SZIIT2023KJ016）资助。

Muhammad Sadiq