低光场景下面部表情识别的双教师频域蒸馏

《Engineering Applications of Artificial Intelligence》：Dual-teacher frequency domain distillation for Facial Expression Recognition in low-light scenes

　　

面向低光照面部表情识别的新型频率引导双教师蒸馏框架

FDDM自适应融合双教师的判别性频率线索。

一种非对称策略对齐空间响应与全局语义特征。

**引言**

面部表情识别（FER）在众多应用中发挥着至关重要的作用，包括人机交互、情感计算、智能监控和自动驾驶（Li and Deng, 2019, Zhang et al., 2024b）。近年来，随着深度学习技术的快速发展，FER模型在受控环境下取得了显著性能（Zhang et al., 2022, Y. Liu et al., 2023, Xu et al., 2024）。然而，大多数现有方法都隐式地依赖有利的成像条件，在复杂、非受控的真实场景中往往表现出显著的性能下降。在各种环境因素中，光照变化尤其具有挑战性，因为FER本质上依赖于局部面部肌肉外观的细微变化。一旦光照不足，与表情相关的线索可见性将严重受损，使得低光照条件下的鲁棒FER成为一个重要但仍未充分探索的问题。

特别是在低光照条件下，面部图像通常会严重退化。图像面临对比度降低、色彩失真、结构边界模糊以及传感器噪声放大等问题。这些退化严重损害了细微表情线索的表征，例如嘴巴、眉毛及其他表情敏感区域周围的精细运动（Chen et al., 2024）。因此，关键的判别性信息丢失，特征分布不稳定。结果，FER模型在直接部署到低光照环境时通常表现出显著的性能退化。缩小充足光照场景与低光照场景之间的性能差距，对于开发实用且可靠的FER系统至关重要。

为缓解低光照条件的不利影响，一种直接且广泛采用的策略是在识别网络之前引入低光照图像增强模块。此类方法旨在提高图像亮度和对比度，从而部分恢复面部结构信息并促进下游识别。然而，这种增强后识别的级联范式本质上受到低级视觉增强目标与高级语义理解之间不匹配的制约。具体而言，尽管以峰值信噪比（PSNR）和结构相似性（SSIM）等保真度指标优化的增强模型可以生成视觉更清晰的图像，但它们也可能引入不真实的纹理、放大高频噪声或扭曲细微的面部表情模式，从而损害下游表情表征的学习。此外，在推理过程中引入额外的、通常复杂的增强网络不可避免地增加了计算开销，限制了此类方法在实时或资源受限场景中的适用性。为了消除推理过程中对显式增强的依赖，另一类研究试图通过知识蒸馏将充足光照模型的判别性知识迁移到低光照FER模型。然而，传统蒸馏范式在低光照场景中仍面临重大挑战，主要是因为正常光照与低光照数据之间巨大的域差异使得有效的特征对齐变得困难。特别是，当在正常光照域中学习的判别性知识直接施加于严重退化的低光照输入时，缺乏适当的过渡约束往往阻碍学生网络学习稳定且鲁棒的表情表征。

这些挑战揭示了低光照FER蒸馏中的一个核心困境：如何有效地弥合正常光照与严重退化的低光照面部表情数据之间巨大的域差异。正常光照教师可以提供可靠的语义先验，但其表征往往与低光照域距离较远，难以对学生网络施加有效的过渡约束。为了解决这一问题，一种部分补偿光照退化的中间表征可以自然地减轻对齐负担。由低光照输入生成的增强图像提供了这样的桥梁。尽管增强结果可能并不完美，但它们保留了关键的面部结构线索。因此，增强光照教师可以作为过渡监督者，指导学生网络逐步接近语义可靠的正常光照教师。

基于这些见解，我们提出了一个面向低光照FER的频率引导双教师知识蒸馏框架。与传统的单教师蒸馏策略不同，所提出的框架引入了正常光照和增强光照教师，在空间和频域中共同监督低光照学生网络。在此双教师范式的基础上，我们进一步设计了一个频域蒸馏模块（FDDM），将教师特征分解为低频结构成分和高频纹理细节。在此模块内，一个自适应频率选择模块（AFSM）动态融合来自不同频率成分的信息性线索。此外，还引入了一种非对称多域对齐策略，为学生网络提供层级特异的空间和语义约束。

本文的主要贡献如下：

- 我们提出了一个面向低光照FER的频率引导双教师知识蒸馏框架，该框架利用了空间和频域中互补的跨光照监督，能够从低光照面部图像中直接提取判别性表情特征。
- 我们提出了一个频域蒸馏模块（FDDM），将复杂的空间特征分解为低频结构成分和高频纹理细节。在此模块内，进一步引入了一个自适应频率选择模块（AFSM），动态融合来自两个教师网络不同频率成分的互补和判别性线索，从而鲁棒地指导学生网络。
- 我们提出了一种非对称多域对齐策略。在空间域中，与增强光照教师网络的空间激活分布的对齐指导学生网络在低光照条件下关注判别性面部区域，而学生网络的高级特征则约束与正常光照教师网络的语义表征对齐，从而保持全局语义一致性。
- 我们的方法在LL-RAF-DB和LL-CAER-S数据集上分别达到了82.79%和87.59%的准确率。这些结果超过了现有的竞争性方法，证明了所提出模型在低光照场景FER任务中的有效性和实用性，同时未引入额外的推理开销。

本文其余部分组织如下。第2节回顾了FER、低光照图像增强和知识蒸馏的相关研究。第3节详细介绍了所提出的低光照FER框架。第4节报告了实验结果及相应分析。最后，第5节总结本文并讨论了未来工作的潜在方向。

**章节摘要**

**面部表情识别**

随着深度学习的发展，近期FER方法已从手工设计的描述符（如局部二值模式（LBP）（Yang and Chen, 2013, Ojala et al., 2002, Zhao and Pietikainen, 2007）和Gabor小波（Lyons et al., 1999））转向深度表征学习。综合研究表明，深度FER方法在受控或高质量成像条件下能够实现强大的性能，特别是在使用大规模野外数据集和判别性方法时。

**方法概述**

所提出的双教师知识蒸馏框架旨在缓解低光照FER中的跨光照表征差异，如图1所示。所提出的框架没有依赖于单一监督源，而是通过整合来自不同光照域的互补信息，建立了一种结构化的知识迁移范式。具体来说，正常光照教师网络（TN）和增强光照教师网络（TE）共同监督一个低光照学生网络。

**实验**

本节介绍了所提出框架的实验评估。我们首先描述低光照FER数据集和实现细节。接下来，从三个互补的视角考察了所提出的频率引导双教师知识蒸馏框架的有效性，包括光照退化的影响和增强后分类流水线、不同教师引导策略的作用，以及教师权重分布的影响。

**结论**

本研究聚焦于低光照条件下的面部表情识别挑战，其中光照退化导致正常光照与低光照面部表征之间存在巨大差异。为了解决这一问题，我们开发了一个频率引导的双教师知识蒸馏框架，该框架在不同光照条件下迁移互补知识，并在语义、空间和频域中约束学生网络。所提出的设计……

**CRediT作者贡献声明**

Xie Yuanlun：撰写——初稿，资源，方法论，调查研究，资金获取。Zhang Yibo：撰写——初稿，可视化，方法论，调查研究。Cao Yanyi：撰写——审阅与编辑，监督，资源，资金获取。Wang Wenhao：撰写——审阅与编辑，可视化。Tang Lin：撰写——审阅与编辑，监督，资源，资金获取。Wen Shiping：撰写——审阅与编辑，监督，资源。

**利益冲突声明**

作者声明不存在已知的可能影响本文所报告工作的竞争性财务利益或个人关系。

**致谢**

本工作得到了四川省科技计划项目（2025ZNSFSC1483）、国家自然科学基金青年基金项目（编号：12305214）、中国国家自然科学基金委员会资助（6250648、62506239、62366034）的支持。

Xie Yuanlun | Zhang Yibo | Cao Yanyi | Wang Wenhao | Tang Lin | Wen Shiping