基于干净锚定硬遮挡微调的紧凑型抗遮挡面部表情识别

《Sensors》：Compact Occlusion-Robust Facial Expression Recognition via Clean-Anchored Hard Occlusion Fine-Tuning

　　

面部遮挡会移除与表情相关的证据，并且仍然是基于摄像头的情绪感知中的主要错误来源。现有的抗遮挡面部表情识别方法通常依赖于专门的注意力、重建、语义或几何流程，而使用合成遮挡的激进训练可能会损害干净图像上的判别能力，或过拟合到合成损坏模式。研究人员通过干净锚定硬遮挡微调（CA-HOFT）来解决干净性与鲁棒性之间的这种张力。HardMix根据面部区域加权分布采样结构化和随机遮挡模式。针对非HardMix源视图的显式分类分支保留了真实标签监督，而从前一混合遮挡阶段初始化的固定参考教师为两个配对学生视图提供平稳分布。这些信号联合训练单个分类器，同时保留单骨干推理路径。在五次独立训练运行中，ResNet-18学生模型在真实世界情感人脸数据库（RAF-DB）上达到90.08%的准确率，在Occlusion-RAF-DB上达到87.38%的准确率和83.34%的宏F₁（macro-F₁），对应的样本标准差分别为0.21、0.12和0.32个百分点。保留的模型具有1118万个参数，需要1.814千兆乘加运算（GMACs）。受控比较和消融实验表明，在测试的轮次匹配备选方案中，它表现出最有利的干净性-鲁棒性权衡；然而，在Holm校正后，Occlusion-RAF-DB上的固定检查点比较不显著。AffectNet-8和使用自然遮挡的评估提供了支持性证据，而更广泛的跨域验证仍是未来工作。

面部表情识别（FER）在情感计算与人机交互中具有重要意义，但口罩、手部、头发等遮挡物会移除表情关键证据，导致基于摄像头的情绪感知出现显著错误。现有抗遮挡FER方法通常引入注意力机制、重建模块、语义或几何先验，而这些机制可能增加部署复杂性；另一方面，在训练中激进地加入合成遮挡又可能损害模型对干净图像的判别能力，或使其过拟合到特定噪声模式。为平衡干净性与鲁棒性，研究人员提出了干净锚定硬遮挡微调（CA-HOFT）方法，相关论文发表在《Sensors》上。该方法通过分阶段训练、面部区域加权的HardMix遮挡生成、固定参考教师蒸馏等机制，使单个ResNet-18模型在保留单骨干推理路径的同时提升对遮挡的容忍度。

研究人员开展的研究包括：设计CA-HOFT训练框架，其中HardMix根据面部区域加权分布采样结构化遮挡（如口罩状、半脸、随机块等）与随机区域遮挡；对非HardMix源视图设置显式分类分支以保留真实标签监督；利用从前一混合遮挡微调（mixed FT）阶段初始化的固定教师网络，为非HardMix视图生成平稳参考分布，并通过KL散度约束学生模型在干净视图与HardMix视图上的预测。所有损失共同训练单个学生分类器，推理时仅保留该学生网络，无需额外遮挡专用模块。研究在RAF-DB、Occlusion-RAF-DB、AffectNet-8、Occl.-AffectNet和FED-RO等数据集上进行了评估，并额外构建了仅用于测试的alpha合成对象遮挡基准（包含眼镜、口罩、杯子、围巾、手机五类对象，使用25个作者拥有的RGBA剪切图，其中每类2个留出样本用于评估）。

主要关键技术方法包括：分阶段训练（Strong Clean阶段、mixed FT阶段、CA-HOFT阶段，以及可选的Recovery FT阶段）；HardMix遮挡生成（基于眉、眼、鼻、嘴归一化坐标框定义六种遮挡模式，按条件概率采样）；教师-学生一致性学习（固定教师输出停止梯度的软分布，分别与学生两个视图的预测计算KL散度）；测试时仅使用单一学生骨干进行推理。

在结果部分，研究人员通过多项受控实验验证了CA-HOFT的有效性。

4.2 与现有方法比较：将CA-HOFT与文献中在共享自然遮挡基准上报告结果的方法进行对比。由于各方法训练协议、数据列表和预处理存在差异，该比较仅提供背景参考。表中ORSANet报告的RAF-DB和Occlusion-RAF-DB准确率最高，分别为92.28%和87.75%，超过CA-HOFT主检查点0.28个百分点，但CA-HOFT保留了标准ResNet-18推理图。

4.3 训练策略的受控比较：在种子匹配、轮次匹配的条件下，比较了随机擦除微调、CutMix微调、标准干净视图知识蒸馏、无教师HardMix等变体。CA-HOFT在五个评估端点上的五次运行均值均最高；相对于mixed FT，干净准确率提高0.61个百分点，口罩状遮挡准确率提高1.30个百分点，自然遮挡准确率提高1.03个百分点，自然遮挡宏F₁提高1.45个百分点。

4.4 留出alpha合成对象遮挡评估：使用未参与训练的两份留出对象资产，对每个测试面孔生成确定性的合成遮挡图像。CA-HOFT的平均对象准确率为81.19%，平均对象宏F₁为72.88%，分别比Strong Clean高3.88和4.51个百分点，表明鲁棒性可泛化到非矩形纹理遮挡。

4.5 额外数据集与自然遮挡评估：在AffectNet-8单检查点评估中，CA-HOFT的干净准确率为64.35%，Occl.-AffectNet准确率为63.78%，宏F₁为63.15%。在FED-RO上，直接迁移准确率为68.25%，五折监督适应后准确率为69.30%。配对检验显示，经Holm校正后，仅CA-HOFT与Strong Clean在Occl.-AffectNet上的准确率比较显著，所有Occlusion-RAF-DB比较均不显著。

4.6 消融与敏感性分析：组件消融显示，同时移除干净标签交叉熵和干净视图教师一致性会降低所有端点性能；保留交叉视图教师项时，加入干净标签项可带来一致的性能提升。局部敏感性分析表明，默认教师权重和HardMix调度在多数指标上取得最高均值，但未达到全局最优或统计显著。

4.7 计算成本与实际推理：部署模型为11.18M参数的ResNet-18，计算量为1.814 GMACs。在RTX 4060 Laptop GPU上，FP32推理的P95延迟为5.119 ms，吞吐率为314.73 FPS；在八线程Ryzen 7 7745HX CPU上，P95为15.649 ms，吞吐率为69.89 FPS。训练阶段需要额外的计算开销，但推理时无需教师或遮挡生成模块。

在讨论部分，研究人员指出CA-HOFT在测试的轮次匹配方案中表现出最有利的干净性-鲁棒性权衡，但该比较并非计算匹配；消融结果支持干净标签监督和参考传递的作用，但多数对比为描述性证据。固定检查点的Occlusion-RAF-DB配对检验在Holm校正后不显著，仅Occl.-AffectNet上的部分准确率比较显著。研究还存在限制，包括留出对象资产集较小、类别间遮挡区域不匹配、自然遮挡评估集规模有限、FED-RO折叠为样本级且无法保证身份独立，以及实验仅限于静态图像的ResNet-18架构。

研究结论可翻译为：本研究考察了紧凑FER模型能否在保留干净图像判别能力的同时从缺失面部证据中学习。CA-HOFT将面部区域加权的HardMix、干净标签监督和固定非HardMix参考分布结合在单个学生模型中。在五次独立运行中，CA-HOFT在RAF-DB上达到90.08±0.21%的准确率，在Occlusion-RAF-DB上达到87.38±0.12%的准确率和83.34±0.32%的宏F₁，在仅测试的对象遮挡评估上达到81.19±0.15%的平均对象准确率和72.88±0.14%的平均对象宏F₁。这些结果提供了CA-HOFT在评估设置内的描述性证据，不应解释为计算匹配的因果证据或普遍统计优越性。固定检查点比较在Holm校正后不显著，且证据受到资产集、自然遮挡集规模、样本级FED-RO协议和静态图像ResNet-18设置的限制。尽管如此，保留的11.18M参数、1.814 GMACs学生模型支持所评估协议下的单骨干推理。