面部超分辨率（FSR）是一种专门的图像超分辨率任务，旨在从低分辨率（LR）图像恢复高分辨率（HR）图像。它在许多实际视觉系统中发挥着重要作用，如视频监控、刑事调查、智能安全、数字取证等，其中面部图像通常在低分辨率和退化的成像条件下获取。由于其在身份相关和安全应用中的实际意义，FSR在过去几十年中受到了图像处理和计算机视觉领域的越来越多的关注。近年来，提出了大量的FSR方法，显著提高了面部超分辨率的恢复性能。在早期的FSR研究中，Baker等人[1]基于高斯图像金字塔开发了一个多层次预测模型来提高低分辨率面部图像的分辨率。Liu等人[2]提出了一种马尔可夫随机场（MRF）模型，将全局参数化主成分分析（PCA）模型与局部非参数FSR相结合。进行FSR的主要策略大致可以分为三类：（1）基于全局面部统计模型的超分辨率[3]、[4]、[5]；（2）基于局部块重建的面部超分辨率[6]、[7]、[8]、[9]；（3）结合全局和局部信息的混合策略[11]。这些代表性方法极大地推动了FSR研究的发展。
在现实世界场景中，物理成像系统和采集条件的限制不可避免地会在捕获的面部图像中引入各种退化，如严重噪声、模糊和低空间分辨率。这些退化严重阻碍了从相应的低分辨率（LR）输入中准确恢复高分辨率（HR）面部图像，使得在这种条件下进行面部超分辨率变得特别具有挑战性。在这些真实且严重退化的场景中的面部超分辨率被称为极端退化面部超分辨率（ED-FSR）。具体来说，图1(a)显示了一个通过下采样并添加强噪声后得到的严重退化的低分辨率输入，其中大部分面部细节被严重破坏。图1(b)展示了我们提出的方法重建的高分辨率（HR）面部图像，而图1(c)显示了真实的高分辨率图像。可以看出，ED-FSR旨在从极端噪声和低分辨率的输入中恢复真实的面部结构和细微细节。
为了解决这种场景下的超分辨率恢复问题，Chen等人[10]提出了一种基于重表达的图像均匀化策略。具体来说，首先引入了LR和HR空间中的均匀投影，作为对经典LR/HR投影的补偿。随后，采用重表达过程来弥合复杂和简单退化之间的差距，从而减少严重噪声和模糊等异质因素的影响。此外，为了提高均匀化的准确性，使用两种均匀化投影分别重新表达输入的LR图像和最初推断的HR图像。
尽管现有方法在极端退化条件下实现了令人鼓舞的面部恢复性能，但如何更有效地利用极端退化图像中包含的有用信息仍然是一个未解决的问题。具体来说，当前方法的局限性主要体现在两个方面：
(1) 面部先验的利用有限。 [10]中的方法没有明确利用面部先验信息。现有研究[12]、[13]、[14]、[15]、[16]已经证明，面部先验（如面部标志点、面部解析图和组件位置）可以有效捕捉全局面部结构。这些先验提供了有价值的结构约束，有助于提高恢复面部图像的重建精度和视觉质量。然而，在极端严重的退化情况下，强噪声和大量信息丢失使得从输入图像中可靠地提取准确的面部先验变得非常困难。
(2) 高频信息的利用不足。高频信息在产生高质量超分辨率结果中起着关键作用。然而，如何有效地从极端退化图像中提取高频细节尚未得到充分研究。最近的研究[17]、[18]表明，基于Transformer的网络由于其较大的感受野和长距离依赖建模能力，在捕捉面部图像的全局结构信息方面非常有效。这激发了使用Transformer架构来更好地探索严重退化图像中嵌入的信息。然而，在极端退化的场景中，大量高频内容被严重破坏或丢失[19]，而标准Transformer模型是为通用图像表示设计的，并不专门关注高频细节建模。因此，如何明确增强和利用严重退化面部图像中的高频信息仍然是一个具有挑战性的研究问题。
基于上述分析，我们旨在开发一种新的方法，能够更有效地从极端退化图像中提取高频信息，并在超分辨率恢复过程中明确利用面部先验信息。
本工作的主要贡献总结如下：
(1) 我们提出了一种基于高频注意力与噪声面部先验（FANP）的面部超分辨率框架，用于极端退化面部超分辨率（ED-FSR）问题。据我们所知，这是首次尝试明确利用噪声面部先验进行ED-FSR。
(2) 我们设计了一种高频注意力引导的特征提取模块，以更有效地从严重退化的面部图像中提取高频信息，从而实现具有更丰富结构细节的面部图像重建。
