StyleDeOcc:基于风格去遮挡器的鲁棒人脸盲修复

《Pattern Recognition Letters》:StyleDeOcc: Robust Blind Face Inpainting with Style-Based De-occluder

【字体: 大 中 小 】 时间:2026年09月23日 来源:Pattern Recognition Letters 3.5

编辑推荐:

   •StyleDeOcc 提供了一个在推理阶段实现无掩码面部去遮挡的鲁棒框架。•分阶段自适应噪声参考(ANR)门控在合成过程中过滤编码器参考。•检测器引导的协同训练促进了遮挡去除与身份保持。引言面部遮挡会显著降低下游计算机视觉任务的性能,例如人脸识别 [1] 和情感分析 [2]

  
  • •
    StyleDeOcc 提供了一个在推理阶段实现无掩码面部去遮挡的鲁棒框架。
  • •
    分阶段自适应噪声参考(ANR)门控在合成过程中过滤编码器参考。
  • •
    检测器引导的协同训练促进了遮挡去除与身份保持。

引言

面部遮挡会显著降低下游计算机视觉任务的性能,例如人脸识别 [1] 和情感分析 [2]。当前的去遮挡技术主要依赖于基于修复的范式 [3]、[4]、[5],这些方法按顺序预测遮挡掩码并修复缺失区域。然而,这些方法的成功完全依赖于精确的掩码预测。固有的检测局限性经常导致网络不经意间将遮挡残留物融入重建的面部几何结构中。虽然一些替代方法引入了结构或基于模型的先验信息 [6]、[7]、[8] 以改善自然遮挡面部的恢复效果,但它们仍然受制于初始检测阶段,当生成模块失效时往往产生风格不一致的输出(如图 1 所示)。因此,开发一种鲁棒的盲修复模型,使其能够绕过这些刚性依赖关系,同时在推理过程中保持严格的风格和结构一致性,仍然是一个关键挑战。
出于对这种一致性的需求,基于风格的生成器 [10]、[11]、[12]、[13] 在合成高保真度、特定领域的图像方面表现出卓越的性能,例如在未遮挡数据集上进行训练时可生成无遮挡的面部 [13]。在架构上,合成从恒定的特征图开始。一个随机采样的潜在向量 z 被映射到特征空间 W,随后通过仿射变换注入生成网络的每一层。该表示作为一种全局"风格",与随机噪声输入一起动态调节卷积核权重。在相关的修复任务中,这些强大的生成能力备受重视,尤其是对于重建大面积缺失区域。现有的基于风格的修复方法一般分为基于优化的和基于编码器的方法。基于优化的技术 [14] 迭代地优化潜在码以在显式掩码约束下最小化逐像素重建损失。虽然在背景保持方面有效,但其巨大的计算成本使其难以适用于实际应用。相反,基于编码器的框架 [13]、[15] 高效地提取背景特征并将其注入为 StyleGAN 噪声图以保持结构一致性。然而,这些方法的一个根本局限性是它们严格依赖于预定义的掩码,这阻止了它们在真实场景中进行无掩码(盲)面部去遮挡所需的修复工作。因此,核心挑战在于开发一种生成框架,使其能够在推理时自动检测并去除遮挡,无需外部提供的遮挡掩码,同时保持背景一致性。
在本文中,我们提出了 StyleDeOcc,一个基于风格去遮挡器的鲁棒盲面部修复框架。通过利用改进的基于风格的生成器的内在生成先验,我们的模型合成的输出保持了严格的结构一致性和高身份保真度,对真实场景中常见的不准确掩码预测表现出显著的鲁棒性。具体而言,该架构采用编码器提取层次化特征图,然后通过我们新颖的自适应噪声参考(ANR)模块进行处理。这些模块动态过滤出损坏的信号,并向生成管道提供精炼的、无遮挡的表示,有效地将标准的基于风格的生成器转变为高性能的去遮挡器。此外,为了引导 ANR 模块在推理时无需人工干预即可定位遮挡区域,我们整合了一个外部遮挡检测器,通过对抗协同训练策略(如图 2 所示)对生成器进行监督。广泛的实验评估表明,StyleDeOcc 在提供鲁棒的高质量面部去遮挡结果方面始终优于现有最先进的方法。

各部分内容摘要

相关工作

在本节中,我们回顾了图像修复、面部去遮挡和基于风格的架构方面对我们研究至关重要的基础性进展,建立了我们所提出方法的结构优势。

方法

我们的面部去遮挡任务的主要目标是仅从遮挡图像 Io 中消除各种遮挡伪影,从而重建一张保持高身份保真度的无遮挡图像 I′。在本节中,我们介绍了 StyleDeOcc(如图 2 所示)。该框架通过提出一个重构的基于风格的去遮挡器并采用对抗协同训练策略,实现了鲁棒的盲面部修复。

实验

在本节中,我们通过定量指标和定性比较来评估 StyleDeOcc 的性能。我们首先描述实验设置,然后与现有最先进方法分析结果,并进行了广泛的消融实验来验证我们的架构设计。

结论

本研究探讨了在推理阶段无外部提供掩码的盲面部去遮挡问题。StyleDeOcc 将分阶段 ANR 过滤与基于风格的生成器相结合,在传输可见编码器信息的同时衰减遮挡相关特征。检测器引导的协同训练进一步提供了逐像素遮挡监督,与重建、感知、身份保持和图像级对抗目标并行。实验结果和消融分析显示了良好的效果。

CRediT 作者贡献声明

张一帆:撰写 – 审阅与编辑,撰写 – 初稿,可视化,验证,方法学,调查研究,形式化分析。李洪磊:撰写 – 初稿,可视化,验证,调查研究,形式化分析,数据整理,概念化。王文敏:撰写 – 审阅与编辑,监督指导。贺欢:撰写 – 初稿,验证,调查研究。梁国军:撰写 – 初稿,验证,调查研究,概念化。

利益冲突声明

作者声明不存在任何已知的竞争性经济利益或个人关系可能影响本文所报告的工作。

致谢

本工作部分得到重庆市自然科学基金(批准号 CSTB2025NSCQ-GPX0116)、国家自然科学基金(批准号 92467202)和重庆大数据智能与隐私计算重点实验室开放基金(批准号 2024ZD02)的支持。
张一帆|李洪磊|王文敏|贺欢|梁国军
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号