在恶劣天气条件下用于盲脸恢复的、不依赖图像质量降级的统计面部特征变换方法
《Neurocomputing》:Degradation-Agnostic Statistical Facial Feature Transformation for Blind Face Restoration in Adverse Weather Conditions
【字体:
大
中
小
】
时间:2026年04月21日
来源:Neurocomputing 6.5
编辑推荐:
本文提出基于退化不敏感统计面部特征变换的盲FIR框架,通过局部SFFT模块增强面部结构和颜色保真度,结合DAFE模块提取天气鲁棒特征,有效恢复雨渍、雾霾等复杂退化下的关键面部区域,实验证明优于现有方法。
张焕森|金哲焕
群山国立大学软件科学与工程系
摘要
恶劣天气通过雨痕、雾效、模糊和分辨率损失等复杂效应严重破坏了面部图像,使得面部识别变得极不可靠。现有的盲面部图像恢复(FIR)方法仍然存在局限性,因为它们缺乏专门处理天气引起的图像退化的模块。我们提出了一种基于不受退化影响的统计面部特征变换的盲FIR框架,该框架整合了两个组件:局部统计面部特征变换(SFFT)和不受退化影响的特征嵌入(DAFE)。局部SFFT模块通过将低质量(LQ)面部区域的统计分布与高质量(HQ)区域的统计分布对齐,增强了面部结构和色彩的保真度,确保在恶劣天气条件下眼睛、鼻子和嘴巴等关键面部特征得到充分恢复,从而实现面部识别。DAFE模块通过将对齐LQ和HQ编码器的表示,进一步实现了鲁棒的统计面部特征提取,使恢复过程能够适应严重的天气退化。实验表明,所提出的不受退化影响的SFFT模型能够恢复关键面部特征,并且性能优于现有的FIR方法,证明了其在恶劣天气条件下实现可靠面部识别的潜力。
引言
面部图像恢复(FIR)旨在从退化的输入中恢复高质量(HQ)图像。随着智能CCTV系统的进步,FIR技术正在得到积极开发,以增强面部识别和分析能力,特别是在失踪人员识别、嫌疑人检测和访客管理等领域。传统的FIR方法[1]主要关注在已知退化参数(如噪声水平和下采样比率)的假设下对低分辨率面部进行超分辨率处理。然而,在现实世界场景中这一假设并不成立。为此,引入了不需要明确知道退化参数的盲FIR方法[2]。
生成对抗网络(GANs)[3]已成为盲FIR的核心框架,因为它们通过对抗学习有效建模了面部样本的概率密度分布。基于GAN的盲FIR方法利用了各种先验知识,包括几何先验[4]、[5]、参考先验[6]、[7]、[8]以及生成先验[2]、[9]、[10],以改善面部细节并生成逼真的面部图像。这些进展使得能够恢复受到复杂退化影响的低质量(LQ)面部图像,从而提高了FIR技术在现实世界条件下的鲁棒性和适用性。
然而,最近的盲FIR方法仍存在某些局限性。智能CCTV通常部署在户外环境中,在这种环境下,捕获的图像在暴雨和浓雾等恶劣天气条件下容易受到严重退化[11]、[12]。虽然传统FIR方法可以作为替代方案来恢复受这些条件影响的LQ面部图像,但其性能仍然不理想,因为现有的FIR方法没有专门针对天气引起的退化进行优化的恢复模块。因此,面部纹理和结构可能会发生扭曲,与天气相关的伪影(如雨痕和雾)可能无法有效去除。
图1展示了在暴雨中捕获的LQ面部图像由于多种退化过程(包括雨痕、模糊和下采样)而严重退化的情况,使得面部图像在视觉上无法识别,从而阻碍了面部识别。尽管已经应用了GAN和扩散模型等传统FIR模型,但它们未能恢复关键面部特征,也没有显示出在恶劣天气条件下实现可靠面部识别的潜力。
尽管在图像恢复方面取得了进展,但专门针对恶劣天气条件下可靠面部识别挑战而设计的盲FIR方法却未受到足够关注。如图1所示,最近基于扩散和GAN框架的先进FIR模型在存在严重天气引起的退化时仍无法充分恢复具有辨识度的面部特征。因此,本研究提出了一种新的盲FIR框架,专注于从受恶劣天气条件影响的视觉上无法识别的LQ图像中恢复关键面部特征,并实现可靠的面部识别。主要贡献有两个:首先是统计面部特征变换(SFFT),它是对统计特征变换(SFT)[13]的重大改进,能够捕获和操作面部特征的统计分布。SFT将目标特征的均值和方差转换为参考特征。最初,它被应用于图像域中的颜色转换[14],旨在调整目标图像的颜色外观以匹配参考图像。最近,SFT被应用于GAN框架中的盲FIR[5],将LQ面部特征的统计分布映射为HQ面部特征的统计分布。尽管这种模型是先进的FIR方法之一,但它缺乏专门的天气感知恢复过程,因此性能有限。此外,在该模型中,SFT仅应用于整个面部,仅关注全局统计变换,导致面部特征的详细表示不足。由于面部图像是高度结构化的数据,因此需要一种更优的方法,即SFFT,来结合局部SFT以实现更准确和精确的面部表示。
第二个贡献是不受退化影响的特征编码(DAFE),旨在提高特征提取的鲁棒性,无论天气引起的退化如何。最近,视觉-语言预训练(例如CLIP [15]和ALIGN [16])已成为视觉表示学习的有希望的替代方法。其核心思想是通过对比损失来对齐多模态图像和文本特征,将正面的文本-图像对拉在一起,同时将负面的文本-图像对分开。受此方法的启发,本研究使用了两个图像编码器:一个用于HQ面部图像,另一个用于LQ面部图像。与传统的视觉-语言预训练不同,后者使用文本和图像编码器,本研究将对来自HQ和LQ编码器的特征进行对齐。在训练阶段使用HQ编码器,而在推理阶段利用预训练的LQ编码器从LQ面部输入中提取类似HQ的特征。使用这些编码器的最终目的是从HQ特征中导出统计分布,从而使提出的SFFT实现更精确和精细的变换。需要强调的是,图像编码器的作用是增强SFFT,而不仅仅是执行特征匹配。类似的方法[12]已被用于暴雨条件下的图像字幕生成。然而,有一个关键区别:在图像字幕模型中,两个编码器仅用于特征匹配,而在本研究中,主要关注的是SFFT建模。此外,本研究的最终目标是FIR而不是图像字幕生成,所使用的损失函数也有所不同。
图2展示了基于DA-SFFT的GAN框架的概念。我们的目标是通过对抗学习从输入随机向量生成HQ面部图像。为此,使用DA-SFFT将目标特征统计分布映射到参考统计分布,其中统计分布指的是可学习的均值和方差。关键挑战在于准确学习参考统计分布,因为LQ面部图像严重退化,直接从LQ条件输入中导出参考统计分布是低效且不合理的。为了解决这个问题,引入了DAFE模块来提取类似HQ的特征,并在各种天气条件下将其转换为不受退化影响的参考统计分布。此外,为了更好地反映眼睛、鼻子和嘴唇等面部特征的局部统计信息,使用了局部SFFT,这对于在恶劣天气条件下准确恢复面部特征和实现可靠面部识别至关重要。
我们的贡献有两个方面:
●首先,本研究提出了一种新的基于GAN的盲FIR框架,专门用于在恶劣天气条件下进行天气鲁棒性恢复,特别针对结构化的面部特征。
●其次,本研究提出了一种新的DA-SFFT(不受退化影响的统计面部特征变换)框架,它结合了SFFT和DAFE模块,在恶劣天气条件下进行FIR。所提出的SFFT从LQ面部图像中学习局部统计分布,并将其转换为HQ面部图像的统计分布,从而改善面部表示。同时,DAFE利用预训练的图像编码器提取不受退化影响的 HQ特征并导出它们的统计分布。这种集成使SFFT能够实现更精确和有效的面部特征变换。实验结果证实,所提出的盲DA-SFFT FIR模型能够从视觉上无法识别的面部图像中恢复关键面部特征,从而在恶劣天气条件下实现可靠的面部识别。此外,所提出的模型性能优于现有的FIR方法,证明了DAFE和SFFT模块在盲面部恢复方面的有效性。
本文的其余部分组织如下:第2节介绍文献综述,第3节更详细地介绍了我们的方法论。第4节提供了定量和定性的实验结果。最后,第5节总结了我们的研究发现。
节选内容
面部图像恢复
传统的面部恢复方法采用非盲方法[17]、[18]、[19]、[20]、[21],这些方法假设退化参数(如下采样比率和噪声水平)是已知的。然而,在实际应用中,这一假设不再成立。因此,近年来,人们积极研究盲面部恢复技术,旨在从遭受未知退化的LQ图像中恢复HQ图像。先前的研究表明,先验知识在面部恢复中起着关键作用
DA-SFFT概述
在本节中,我们描述了所提出的DA-SFFT框架。给定一个在恶劣天气条件下受到未知退化的LQ面部图像(),FIR的目标是重建一个在真实感和保真度方面接近真实HQ图像的HQ图像()。
图3展示了在恶劣天气条件下用于盲FIR的DA-SFFT模型。DA-SFFT框架包括三个主要模块:SFFT、DAFE和SFFT增强模块。
盲天气相关退化模型
为了模拟恶劣天气条件,本研究采用了暴雨退化(HRD)模型,因为它可以调节与雾效(也称为雨积聚)、雨痕、噪声、模糊和下采样相关的参数,使其成为所有退化模型中最全面和复杂的模型。它同时涵盖了雨和雾两种条件。此外,在所有恶劣天气条件下进行实验是不切实际的;因此,本研究重点关注
结论
本文提出了一种新的盲FIR模型,用于处理恶劣天气条件。所提出的DA-SFFT模型结合了两个关键模块,有效去除了天气引起的伪影,并以更高的保真度重建了面部结构。首先,局部SFFT模块将LQ图像中面部特征的局部统计分布转换为HQ图像的统计分布,从而增强了色彩一致性和结构表示。其次,为了解决
资助
本研究得到了INNOPOLIS资助的2025区域特征化项目(RS-2025-02312252)的支持
CRediT作者贡献声明
张焕森:撰写——原始草稿、软件、方法论、概念化。金哲焕:撰写——原始草稿、可视化、验证、软件、调查、数据整理。
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。
张焕森分别于2002年、2004年和2008年在韩国大邱的庆北国立大学获得电子工程学士学位、硕士学位和博士学位。他的导师是Ha Yeong-Ho教授。在攻读博士学位期间,他于2006年被选为国家级奖学金获得者。获得博士学位后,他在韩国水原的三星电子公司工作,担任高级研究员,负责开发数字打印机和复印机的颜色与图像处理算法。从2015年开始
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号