联合多元生成技术与现实主义修复技术：用于修复被遮挡的面部图像

《Patient Education and Counseling》：Joint pluralistic generation and realistic inpainting of occluded facial images

面部图像修复中，现有公开数据集缺乏遮挡与未遮挡的配对图像，导致修复方法在处理眼镜、帽子、呼吸器等遮挡时效果不佳，影响下游任务如人脸识别和虚拟试衣。为此提出PGRINet框架，结合多分支网络实现多样化生成与高保真确定性修复的协同优化，并引入Transformer上下文注意力模块建模长距离依赖，有效提升大面积遮挡的修复质量。实验表明该方法在多样性和保真度上均优于现有方法，且在真实场景中表现鲁棒。

　　

作者：史永生、黄东进、刘金华、曲建涛、唐文

上海大学影视工程系，200072，上海，中国

摘要

现有的公共数据集中缺乏成对的遮挡和非遮挡面部图像，这阻碍了当前修复技术有效恢复被眼镜、帽子和呼吸器等真实世界物体遮挡的面部，显著降低了面部识别、安全系统、虚拟试穿和社交媒体应用等下游任务的性能。为了解决这一挑战，我们提出了一种基于地标的面部图像生成方法，并构建了一个新的面部遮挡数据集。基于CNN的修复方法使用空间不变的核来学习确定性的one-to-one映射，因此无法在遮挡区域生成多种多样且真实的结果。因此，我们提出了PGRINet，这是一个统一的多分支图像修复框架，包括一个多元生成网络、一个粗略的确定性修复网络和一个精细的确定性修复网络，同时支持多元生成和高度真实的确定性修复。此外，为了解决现有方法在重建大型和复杂面部遮挡时的局限性，我们提出了一个基于Transformer的上下文注意力模块（TCAM），以增强长距离依赖性建模。广泛的实验表明，PGRINet不仅能够为严重遮挡的区域保持高恢复精度，还能生成多样且语义一致的结果，显著优于现有的确定性和多元修复方法。PGRINet还在真实的遮挡面部图像上得到了验证，显示出在处理复杂和各种类型的遮挡时的强大鲁棒性和泛化能力。我们的源代码和数据集可在https://github.com/sys706/PGRINet获取。

引言

面部图像修复，特别是对于被遮挡的面部，已成为计算机视觉中的一个关键任务[1]。其目标是通过利用周围环境来生成高质量的内容，以恢复缺失或损坏的面部区域[2]。在现实世界中，面部图像经常被眼镜、呼吸器或帽子等物体部分遮挡。这些遮挡不仅降低了图像的清晰度，还严重影响了面部识别[3]、3D面部重建[4]和面部编辑[5]等下游任务的性能。

尽管在面部图像修复方面取得了相当大的进展，但现有方法仍然存在显著的局限性[6]、[7]。大多数基于卷积神经网络（CNN）的方法在训练期间依赖于随机生成的不规则掩码来模拟缺失区域[8]、[9]。虽然这些方法对于小型或简单的遮挡有效，但在处理现实世界中的大型、复杂或语义关键的面部结构时往往失败[10]、[11]。这一限制主要源于CNN的局部感受野受限以及它们对空间不变核的依赖[12]、[13]。因此，这些方法通常为每个遮挡输入生成单一的确定性输出，无法模拟严重遮挡区域的固有不确定性或生成多样且合理的重建结果。这些观察结果突显了一个根本性挑战：如何在恢复严重遮挡的面部区域时同时实现结构真实性和多样性。

为了解决确定性修复中的多样性不足问题，多元图像生成方法最近受到了越来越多的关注[14]、[15]。通过建模缺失区域的概率分布，这些方法能够生成多个语义上合理的重建结果，允许用户选择最符合他们偏好的结果。大多数现有的多元方法基于变分自编码器（VAE）[16]、收缩自编码器（CAE）[17]、向量量化VAE[18]或BERT架构[19]。然而，生成的结果往往存在纹理模糊、面部结构扭曲或语义不一致的问题，尤其是在处理大型遮挡时。这揭示了现有方法的一个根本性权衡：它们难以同时实现高保真度的确定性重建和高质量的多元生成。此外，现有的面部修复方法通常在有限和简单的遮挡模式下进行评估，很少能在不同的遮挡类型、年龄、肤色和光照条件下展示出鲁棒性，这大大限制了它们在现实世界场景中的应用。

为了解决上述挑战，本研究追求以下目标：（1）构建一个真实的面部遮挡数据集，捕捉多样化的现实世界遮挡模式，并为训练和评估提供可靠的支持；（2）开发一个统一的修复框架，共同建模重建精度和输出多样性，有效解决确定性和多元生成之间的冲突；（3）通过显式建模全局上下文依赖性，增强大型和语义关键面部区域的恢复；（4）在多种遮挡类型和具有挑战性的现实世界条件下全面评估鲁棒性和泛化能力。

为了实现这些目标，我们首先构建了一个新的面部图像数据集，反映了被眼镜、帽子、呼吸器和不规则面具遮挡的真实遮挡场景。基于这个数据集，我们提出了PGRINet，这是一个基于多分支架构的新型联合多元生成和真实修复框架。所提出的多分支设计明确分离并协调了多样性建模和忠实重建之间的竞争目标。具体来说，多元生成分支捕获了被遮挡面部区域的概率分布，实现了多样且语义连贯的重建。在这段学习到的分布指导下，粗略修复分支专注于以确定性方式重建整体面部结构和外观。为了进一步提高视觉清晰度，精细修复分支通过恢复细节和复杂结构来逐步细化粗略结果，从而减少伪影并增强局部真实性。

此外，为了加强严重遮挡面部区域的恢复，PGRINet结合了一个基于Transformer的上下文注意力模块（TCAM）。与传统受局部邻域限制的注意力机制不同，TCAM能够有效地在整个面部图像上建模长距离依赖性，从而有助于重建全局一致的面部结构。这种设计直接针对恢复大面积连续区域缺失时复杂面部结构的挑战。通过协同整合多元生成、确定性重建、多分支学习和全局上下文注意力，PGRINet在严重遮挡下实现了多样且高度真实的修复结果。

主要贡献总结如下：

• $•$
  通过基于地标的生成策略构建了一个新的面部图像数据集，确保了解剖学一致性和几何精度，为训练面部图像修复模型提供了丰富的资源。
• $•$
  提出了一个多分支修复框架PGRINet，它结合了多元生成网络和从粗略到精细的确定性修复网络，共同应对多样生成和高保真度重建的挑战。
• $•$
  设计了一个基于Transformer的上下文注意力模块（TCAM），通过建模长距离依赖性来增强大型遮挡区域的重建。
• $•$
  广泛的实验表明，PGRINet在多样面部图像生成和高质量确定性修复方面均优于现有方法，有效处理了被各种类型物体遮挡的真实世界面部图像。

相关工作

面部图像修复，特别是在实现高度真实和语义连贯的结果方面，是一个复杂且长期存在的挑战[20]。据我们所知，现有的面部图像修复方法通常根据其结果分为两种主要类型：确定性面部图像修复和多元面部图像生成。

方法论

在本节中，我们的目标是从单个被遮挡的图像生成多个语义上合理的面部图像，并重建出视觉上真实的结果。如图1(a)所示，我们首先基于面部被不同物体（如眼镜、帽子和呼吸器）遮挡的情况构建了一个面部数据集，以训练PGRINet网络。PGRINet由三个流程组成：一个多元生成流程，生成多个结果

实验设置

数据集：在本文中，我们从三个公共数据集（CelebA [34]、LFW [35]和LS3D [33]）中收集了总共37133张无遮挡的面部图像。对于每种遮挡类型（眼镜、帽子、呼吸器和不规则面具），我们根据第3.1节描述的地标面部图像合成方法构建了相应的面部数据集。最终，被眼镜、帽子、呼吸器和不规则面具遮挡的面部图像数量分别为37133张、37133张、37133张和37133张。

消融研究

我们对被眼镜遮挡的面部图像进行了全面的消融研究，以评估PGRINet中每个组件的贡献。定量结果显示在表5中，相应的视觉比较显示在图6中，每个子图明确展示了模型配置和修复质量。具体来说，（1）w/o TCAM & w/o Fine：移除了基于Transformer的上下文注意力模块（TCAM）和精细确定性修复网络

应用

为了进一步评估PGRINet的泛化能力和实际鲁棒性，我们将所提出的方法应用于在野外捕获的具有各种类型遮挡的面部图像。图7展示了多元生成和确定性修复的结果。对于部分被眼镜遮挡的面部图像，PGRINet生成了多个语义上一致且视觉上合理的结果，同时实现了具有丰富纹理的高保真度重建

用户研究

我们进行了一项用户研究，主观评估了PGRINet在遮挡面部图像上的恢复质量（见图10），并将其与最先进的多元生成和确定性修复方法进行了比较。

邀请了15位具有计算机视觉和人工智能研究背景的参与者对结果进行评估。所有方法都是以随机顺序呈现的，并且隐藏了参与者的身份。参与者根据四个标准对每个结果进行了五点评分：

结论

为了解决缺乏同时包含遮挡和非遮挡面部图像的公共数据集的问题，我们模拟了现实世界的面部遮挡情况，并构建了一个包含被眼镜、帽子、呼吸器和不规则面具遮挡的面部图像的数据集，用于图像修复。其次，我们提出了一种新的联合多元生成和真实修复框架PGRINet，它能够生成多样化的图像并重建

CRediT作者贡献声明

史永生：撰写——原始草案、软件、方法论、数据管理。黄东进：撰写——原始草案、监督、调查。刘金华：撰写——审阅与编辑、可视化。曲建涛：撰写——审阅与编辑、数据管理。唐文：项目管理、形式分析、概念化。

利益冲突声明

作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。

致谢

本项工作得到了中国上海人才发展基金（资助编号：2021016）和中国国家档案局科技项目 （资助编号：2023-X-036）的支持。