《Neural Networks》：PDA-AR: Progressive Low-Light Facial Expression Recognition via Multi-Level Alignment
编辑推荐：
Zhaokun Wang|Jinyu Guo|Xunlei Chen|Jie Ou|Hongli Pu|Xin Chen|Wenhong Tian•提出了一种多层对齐模块，用于提升特征、类别等的一致性。•按亮度对图像进行排序以用于课程学习；同时加入对齐机制以实现迁移学习。•实验表
Zhaokun Wang|Jinyu Guo|Xunlei Chen|Jie Ou|Hongli Pu|Xin Chen|Wenhong Tian
- •
提出了一种多层对齐模块，用于提升特征、类别等的一致性。
- •
按亮度对图像进行排序以用于课程学习；同时加入对齐机制以实现迁移学习。
- •
实验表明，与其它方法相比，PDA-AR在低光条件下的面部表情识别性能更优。
引言
面部表情识别是计算机视觉领域的一项基础任务，它有助于实现人机交互和健康监测。深度学习以及卷积神经网络方面的最新进展显著提升了面部表情识别的性能。许多先进方法在正常光照条件下的图像数据集上表现出色，能够准确识别出肉眼难以察觉的细节。然而，在现实环境中，尤其是在低光环境下，图像质量往往较差，获取清晰的面部表情图像十分困难，现有方法的性能也难以满足需求。低光环境会导致图像噪声增加、细节丢失，进而影响识别精度。为了解决低光条件下的面部表情识别问题，现有研究主要从两个方面入手：一是改进网络架构，设计具备更强特征提取能力的模型；二是优化学习方法，通过动态调整图像处理参数和训练策略来提升模型的适应性。具体而言，架构改进通常通过增加网络深度、引入注意力机制或多尺度特征融合模块来提升信息提取能力，而学习方法优化则侧重于端到端的联合训练策略，协调低光增强模块与分类网络，以实现照明调整、噪声抑制和特征学习之间的平衡。相比需要复杂设计的架构改进方法，学习策略优化能在模型简洁性、训练效率与识别精度之间取得更好的平衡。
不过，这些优化方法在处理图像时仍易受到分布偏移问题的影响，因为固定参数的增强模块无法弥补不同低光条件下的训练数据与测试数据之间的差异。多阶段对齐为解决这一问题提供了新思路。我们认为，可以通过在正常光照图像与低光图像的分布之间建立分层特征对齐关系来解决该问题。在此基础上，从高质量图像开始训练，再通过多阶段对齐逐步引入更具挑战性的低光条件，这样的学习路径更为自然。这种方法借鉴了人类认知机制，利用先验知识加速概念学习，通过逐步对齐策略从简单任务过渡到复杂任务。
基于上述考虑，我们提出了一种处理低光图像的渐进式方法，通过自适应对齐来消除低光图像与正常光照图像之间的分布差异。借助动态亮度排序算法，我们可以对训练样本进行逐步重组，从光照差异较小的样本对开始对齐，再逐渐扩展到各种光照条件下的样本对。在原有学习框架的基础上，我们还引入了注意力感知对齐机制，以提高跨域注意力的稳定性。这些组件通过亮度调度器协同工作，形成涵盖特征、注意力与语义层面的渐进式优化流程，用于低光条件下的面部表情识别。
虽然我们的初步研究证明了低光条件下面部表情识别领域进行域适应的可行性，但当时采用的静态对齐策略在面对严重光照退化及空间注意力偏移问题时效果不佳。本文代表了从静态对齐向渐进式、注意力感知框架的根本性转变。其中，学习排序模块的引入通过构建课程学习机制，改变了训练过程，避免了模型在训练初期遇到极低光照样本时就陷入次优局部最小值。此外，新的注意力感知对齐模块解决了我们之前研究中发现的一个关键问题，即低光条件下面部特征（如眼睛、嘴巴）的空间错位问题。尽管这些模块带来的提升在已有强大基础之上看似有限，但它们对于在极端场景下实现最优的稳定性与性能至关重要。
大量实验表明，所提出的方法提升了低光环境下的特征区分能力和泛化能力，从而提高了面部表情识别的性能。本文的主要贡献如下：
- 1.
我们提出了一种多层信息对齐模块，通过多阶段对齐提升了图像处理中多个层面的一致性，包括特征、类别、注意力以及嵌入表示等方面。
- 2.
我们提出了一种优化方案，通过按亮度对图像进行排序，让神经网络能够从较简单的样本逐步学习更复杂的样本。同时，我们还采用了分层对齐机制，以促进知识迁移并缩小特征空间中的差异。
- 3.
我们进行了多项实验，对比了主流模型的性能，结果表明PDA-AR方法在低光环境下的面部表情识别性能更优。
章节节选
低光条件下的面部表情识别
目前的面部表情识别方法在正常光照条件下已取得了优异的性能，但在低光图像上的识别效果却往往大幅下降。尽管低光条件给面部表情识别带来了诸多挑战，仍有不少研究推动了该领域的发展。Faisal Ahmed等人总结了复杂环境下的面部表情识别问题，强调了边缘信息和纹理信息的重要性。Alireza Sepas Mogaddam等人也进行了相关研究。
我们的方法
如图2所示，我们提出的方法包含特征提取网络、多层信息对齐模块以及多个分类器。特征提取网络负责学习图像特征，而对齐模块则用于缩小正常光照图像与低光图像之间的数据分布差异，从而提升模型的泛化能力。给定一张正常光照图像IS（尺寸为C×H×W）和一张低光图像IT（尺寸也为C×H×W），其中C为图像的通道数，H为图像高度，W为图像宽度。
实验部分
本节介绍了用于实验和可视化研究的面部表情识别通用数据集的设计思路，同时评估了PDA-AR方法对该数据集的影响，证明该方法确实提升了低光条件下的面部表情识别性能。本研究还将所提出的方法与现有的最先进技术进行了比较，最后通过一系列消融实验验证了模型中各个设计模块的作用。
结论
本文提出了一种适用于低光环境的渐进式面部表情识别方法——PDA-AR。该方法通过引入课程学习机制和多层对齐策略，有效解决了低光图像导致的特征退化和差异问题。它无需依赖图像增强技术，即可对多阶段信息对齐的损失进行四层优化，从而实现从正常光照到低光环境下的知识迁移。
局限性与未来工作
虽然所提出的方法在低光条件下的面部表情识别方面取得了显著提升，但我们的当前实验设置也存在一些局限性。具体来说，实验中使用的低光图像是通过Night-Aug模拟工具生成的，并非在真实的夜间环境中拍摄。我们意识到，合成数据与真实低光环境之间存在一定的差异，这种差异可能会影响实验结果的准确性。
CRediT作者贡献说明
Zhaokun Wang：撰写原文初稿、验证实验、方法设计。Jinyu Guo：参与文章审阅与编辑、项目监督。Xunlei Chen：参与文章审阅与编辑、结果可视化。Jie Ou：负责软件相关工作。Hongli Pu：参与文章审阅与编辑。Xin Chen：参与文章审阅与编辑。Wenhong Tian：参与文章审阅与编辑、项目监督以及资金申请工作。
利益冲突声明
作者声明，他们不存在任何可能影响本文研究结果的已知利益冲突或个人关系。
致谢
本研究得到了四川省国际科技合作项目（项目编号2024YFHZ0317）以及成都市科技局项目（项目编号2024-YF09-00041-SN）的支持。此外，该研究还获得了四川省科技计划（项目编号2026NSFSC1474）的资助，同时受益于中国博士后科学基金会博士后 Fellowship Program（C类项目，项目编号GZC20251053）。本项工作还获得了其他部分支持。
