基于面部结构保持蒸馏网络的轻量级人脸超分辨率

《Neurocomputing》：Lightweight face super-resolution via a facial structure-preserving distillation network

　　

# 中文翻译

**摘要**

深度神经网络的演进显著推动了人脸超分辨率（FSR）的发展。然而，现有架构通常依赖于空间不变核，这限制了其对人脸组成部分结构异质性的建模能力。尽管先验引导方法试图融入人脸几何结构，但由于先验估计不可靠，其在低分辨率场景中的性能往往会下降，同时还引入了额外的计算复杂度。此外，扩大感受野以捕获全局上下文通常会导致内存和计算成本的增加。为了解决这些问题，我们提出了一种面部结构保持蒸馏网络（FSPDNet），这是一个轻量级框架，旨在通过结构感知特征聚合增强人脸拓扑一致性。具体而言，所提出的网络采用了大核和膨胀卷积设计，以有效扩展有效感受野，并以较低的计算成本捕获长程结构依赖。此外，引入了一种高效的人脸保持注意力机制（EFPAM），以自适应地强调人脸结构区域并抑制冗余特征响应。为进一步改善高频结构重建，我们设计了一种人脸边缘增强（FEE）损失函数，在优化过程中约束边缘和轮廓的一致性。在CelebA和LFW数据集上的大量实验表明，FSPDNet在显著降低内存使用和计算成本的同时，取得了与最先进方法相当或更优的性能。

**引言**

人脸超分辨率（FSR）作为一种重要的图像修复技术，已在广泛的实际应用中展现出巨大潜力，包括人脸检测[1]、人脸识别[2]、面部表情识别[3]以及其他涉及人脸图像的计算机视觉任务。与通用单图像超分辨率（SISR）不同，FSR需要高保真地恢复人脸拓扑结构和几何轮廓。

随着基于卷积神经网络（CNN）技术的快速发展[4]，[5]，FSR方法在重建质量方面显著优于传统方法[6]。为了进一步提高修复性能，众多研究探索了越来越深和宽的网络架构[7]，[8]，以捕获更细粒度的细节。尽管此类模型通常能达到更优的重建精度，但它们通常需要大量的计算资源，严重依赖高端硬件平台，并且推理时间较长。然而，简单地减小模型尺寸往往会导致结构完整性下降，因为有限的感受野无法捕获长程人脸依赖关系。因此，迫切需要一种轻量级、保持结构的框架，在修复精度和架构效率之间实现最佳平衡。

尽管基于CNN的架构取得了显著进展，但其表示能力本质上受到卷积核固有局部性的限制[9]。为缓解这一问题，一些研究引入了人脸先验信息，如关键点或解析图，以在特征表示上施加结构和语义约束，从而促进长程人脸依赖关系的建模。Chen等人提出了FSRNet[10]，这是一种双流架构，将人脸超分辨率与人脸先验估计相结合。通过将任务分解为并行分支进行粗粒度图像优化和先验估计，FSRNet利用关键点热图和解析掩码的融合，在HR重建过程中强制结构一致性。为增强人脸先验与FSR之间的交互，DICNet[11]引入了一种由两个循环网络组成的迭代协作策略，分别用于人脸重建和关键点估计。通过迭代信息交换，两个分支逐步相互优化，从而提高了重建质量和关键点预测的准确性。类似地，FSRCH[12]采用了双分支框架，其中一个分支执行FSR，而另一个分支从放大的低分辨率（LR）图像中提取人脸组成部分热图以提供结构指导，从而增强细节重建。此外，Wang等人提出了SPADNet[13]，该网络采用结构感知机制生成动态、区域自适应的表示，共同捕获细粒度局部纹理和全局人脸轮廓，实现了对结构多样化人脸图像的更忠实重建。

尽管现有的先验引导FSR方法试图重建关键人脸关键点，但LR输入中严重的信息退化往往使得准确的先验估计难以实现。因此，由此产生的估计不准确会导致级联误差传播，其中预测先验的微小偏差在重建阶段被放大，最终削弱了SR输出的全局结构一致性。此外，传统的FSR框架严重依赖于以空间不变核为特征的标准卷积层。这种刚性的架构设计施加了统一的归纳偏置，无法适应不同人脸区域或不同身份间异质的语义特征，从而限制了模型恢复高保真细节的能力。

为解决这些挑战，我们提出了面部结构保持蒸馏网络（FSPDNet），这是一个高效的FSR框架，旨在保持人脸结构同时维持较低的计算复杂度。其核心在于，FSPDNet引入了一种高效的人脸保持蒸馏模块（EFPDB），该模块将高效的人脸保持注意力机制（EFPAM）集成到大感受野卷积中。这种配置引导模型自主关注关键的人脸解剖结构。与依赖显式人脸先验的传统范式不同，EFPAM通过端到端学习自适应地为空间特征分配权重，隐式地捕获人脸几何拓扑结构。认识到人脸特征的层次性及其对重建的不同贡献，我们采用多深度EFPDB级联来协同建模多尺度下的全局轮廓、关键语义组成部分和局部纹理。具体而言，深层注意力图倾向于封装全局语义边界（如眼睛、鼻子和嘴巴），而浅层图则优先考虑高频细节的恢复。此外，为缓解传统L1或L2损失函数对几何变化的不敏感性，我们引入了人脸边缘增强损失（FEE Loss）。通过强制人脸边缘的一致性，该损失显著提高了重建图像的感知质量。大量实验表明，FSPDNet在保持低参数量的同时，有效地保持了人脸结构一致性和纹理细节。

本文的主要贡献如下：
1. 我们提出了FSPDNet，一个轻量级FSR框架，集成了结构感知特征蒸馏与大核感受野建模。与现有主要关注局部纹理增强的轻量级SR方法不同，FSPDNet通过统一设计，在严格的计算约束下共同建模局部细节和全局结构，明确促进了人脸结构一致性。
2. 我们引入了EFPDB，该模块统一了大核分解和特征蒸馏，以隐式捕获长程人脸依赖关系，无需依赖显式人脸先验。这种设计能够在保持较低计算开销的同时，有效建模全局人脸几何结构。
3. 我们设计了FEE损失，该损失约束了重建图像的水平Sobel和垂直Sobel梯度响应。这种边缘感知监督促进了人脸轮廓和高频结构细节的恢复。

**章节片段**

人脸图像超分辨率
FSR的基础概念由Baker和Kanade[14]开创，他们利用训练数据中的结构搜索来幻想人脸细节。随着Dong等人[15]引入CNNs，该领域经历了范式转变，证明了深度学习在特征表示能力上优于传统方法。后续研究[16]，[17]专注于架构创新，灵感来源于残差学习[18]和密集连接[19]。

**方法**
在本节中，我们首先介绍了所提出的FSPDNet的整体架构。然后详细描述了其关键组件。最后，介绍了用于网络优化的目标函数。

**实验**
在本节中，进行了全面的实验来验证所提出的FSPDNet的有效性。首先，系统分析了FSPDNet中集成的人脸保持注意力机制的有效性。其次，使用相同的训练数据集，FSPDNet与前期的基于注意力的FSR和SISR方法以及代表性的轻量级SR方法进行了定量比较。最后，评估了不同FSR方法的计算复杂度。

**局限性和未来工作**
尽管FSPDNet在重建性能和计算复杂度之间实现了良好的平衡，但仍存在一些局限性。首先，模型主要使用双三次插值退化进行训练，这可能限制其对未知真实世界退化（如噪声、模糊、压缩伪影和光照变化）的鲁棒性。其次，尽管采用的沙漏深度、EFPDB数量和损失权重参数在评估设置中提供了良好的平衡，但它们的...

**结论**
在本文中，我们提出了一种轻量级FSR框架，称为FSPDNet，以解决在资源受限设备上部署FSR模型的现实挑战。与传统的全局池化操作不同，我们的方法引入了一种新颖的EFPAM，利用大规模膨胀卷积来扩展网络的感受野。这种设计通过抑制信息量较低的空间响应并强调结构化区域，促进了更高效的人脸特征学习。

**CRediT作者贡献声明**
Xitong Chen：撰写原稿、资金获取、形式分析。Mengting Wu：软件、调查。Junxia Yan：概念化。Tao Lu：监督、方法论。Jiaming Wang：形式分析、数据整理、概念化。Kangli Zeng：方法论、调查、资金获取。

**利益冲突声明**
作者声明他们不存在可能影响本论文工作的已知经济利益或个人关系。

**致谢**
本研究得到中国国家自然科学基金（项目编号62501237）、湖北省自然科学基金（编号2025AFC040）、武汉市自然科学基金（编号2025040601020176）、湖北智能机器人重点实验室开放基金（武汉工业大学）编号HBIR202405和HBIR202503的资助。

Xitong Chen于2024年获得中国武汉工业大学博士学位。目前，他在武汉软件工程职业学院（武汉开放大学）任教。他的研究兴趣包括模式识别、图像处理与计算机视觉。

Xitong Chen | Mengting Wu | Junxia Yan | Tao Lu | Jiaming Wang | Kangli Zeng
武汉软件工程职业学院，武汉开放大学，武汉，430205，中国