评估基于AI的图像修复技术在利用语义掩码进行面部特征恢复方面的应用 Hussein Sharadga, Abdullah Hayajneh Erchin Serpedin

《AI》：Evaluating AI-Based Image Inpainting Techniques for Facial Components Restoration Using Semantic Masks Hussein Sharadga, Abdullah Hayajneh and Erchin Serpedin

　　摘要：本文对比分析了基于高级人工智能的技术在人类面部修复中的应用，这些技术使用了能够完全遮盖目标面部特征的语义掩码。主要目标是评估图像修复方法在准确恢复具有语义意义的面部特征方面的能力。我们的研究结果表明，当语义掩码完全遮盖了底层的面部结构时，现有的修复模型面临显著的挑战。与随机掩码不同，随机掩码会留下部分视觉线索，而语义掩码则移除了所有结构信息，使得重建工作变得更加困难。我们评估了生成对抗网络（GANs）、基于transformer的模型和扩散模型在修复完全被遮盖的面部特征方面的性能。为了解决这些问题，我们探讨了三种重新训练策略：使用语义掩码、使用随机掩码，以及结合两者的混合方法。尽管混合策略利用了每种掩码类型的互补优势并提高了上下文理解能力，但实现完全准确的重建仍然具有挑战性。这些发现表明，在完全遮盖的语义掩码下进行修复是一个关键但尚未充分探索的领域，为开发新的AI架构和高级面部修复策略提供了机会。

1. 引言
1.1 动机
图像修复是一种复杂的 process，用于重建图像中缺失或损坏的区域[1]。它还包括无缝移除不需要的元素（如雪[2]或阴影[3,4]）。在摄影、电影制作和数字艺术等领域，保持视觉内容的完整性至关重要。通过将图像恢复到原始状态或增强其美学吸引力[5,6]，图像修复在对象移除和图像修复等应用中发挥着重要作用。最近在AI方面的进步显著提升了修复技术，超越了依赖于局部像素信息的传统方法[7]。AI模型提供了更高的准确性和真实性，尤其是在重建人类面部时，这需要高精度和结构完整性。然而，在完全遮盖的语义掩码下修复面部仍然是一个具有挑战性且未被充分探索的问题。与随机掩码不同，语义掩码完全遮盖了关键的面部特征，模型需要从上下文中推断出整个结构，同时保持整体的面部连贯性。
语义掩码之所以重要，是因为它们模拟了现实世界中特定面部区域被系统遮挡的情况——例如，由于医疗条件、保护性覆盖物或隐私保护应用程序。应对这一挑战推动了AI模型不仅要捕捉局部纹理，还要捕捉全局面部结构，从而实现更可靠、更准确和更具上下文意识的修复。掌握语义掩码修复在面部编辑、虚拟试穿、增强现实、隐私保护的面部识别和医疗重建等方面具有实际意义，凸显了其作为一个开放且具有影响力的研究方向的重要性。

1.2 文献综述
最近在图像修复方面的研究涵盖了多种架构范式，包括基于CNN的模型、GANs、transformers和扩散模型。传统的修复方法依赖于周围像素的信息，但在捕捉复杂特征方面往往表现不足[7]。深度学习通过实现更准确、更详细和更真实的缺失区域重建，显著增强了修复算法。结合卷积操作[8]和注意力机制[9]的模型有效地捕捉了细粒度纹理和高级语义特征，从而提高了对损坏区域的预测准确性。编码器-解码器卷积神经网络（CNN）模型[10]被训练用来用适合现有图像内容的结构和纹理填充图像的缺失部分。生成对抗网络（GANs）通过引入对抗训练，进一步推动了修复技术的进步，使得修复结果更加真实和符合上下文[11]。这些发展反映了从基于像素的重建向基于学习的方法的转变，后者能够捕捉高级图像结构。
为了提高修复质量和灵活性，已经开发了增强的GAN架构[12,13,14]。LaMa[12]是一种新的网络架构，它使用傅里叶卷积和图像范围的感受野，因此支持较大的训练掩码。在[13]中，一个带有门控卷积的GAN被训练用来使用用户自由绘制或自动生成的自由形式掩码进行修复。这种灵活性促进了更自然和更具上下文意识的图像编辑。在[14]中，提出了一种基于增强的GAN的模型，用于高分辨率图像修复，该模型基于聚合的上下文变换。总体而言，这些架构旨在提高GAN模型捕捉更广泛上下文信息的能力，并处理日益复杂的模式。
Transformers已成为图像修复的强大选择[15,16,17]。T-former模型[15]引入了一种基于transformer的方法，采用高效的注意力机制，减少了计算复杂性，有效解决了CNN的局限性，如局部先验和固定的空间参数问题。另一个基于transformer的模型[16]通过有效地结合transformer和卷积特征来处理大的图像孔洞。连续掩码感知Transformer（CMT）[17]引入了连续掩码来捕捉标记错误，通过重叠标记迭代改进了掩蔽自注意力，从而优化了修复结果。这些基于transformer的方法强调了全局上下文建模，这在重建大面积缺失区域时尤为重要。
最近，一类名为扩散模型的生成模型也被应用于图像修复任务[18,19,20,21,22]。这些模型可以分为预条件化的模型，它们提供快速的推理但训练成本较高；或者后条件化的模型，它们不需要额外的训练但计算速度较慢。LatentPaint[21]通过在前向-后向融合中利用潜在空间，并结合一种新颖的传播模块，弥合了这两种范式。同样，[19]中提出的潜在扩散模型（LDMs）利用强大的预训练自编码器的潜在空间，实现了高分辨率合成，同时降低了计算开销。总的来说，这些基于扩散的方法展示了概率生成模型在产生高质量修复结果方面的作用日益增长。
这些研究共同展示了图像修复从基于局部像素的方法向能够捕捉复杂语义结构、全局上下文和高质量概率合成模型的演变。

1.3 语义掩码的应用
与仅部分暴露面部特征的主要组成部分的随机掩码相比，完全遮盖特定面部成分的语义掩码可能会给图像修复带来更大的挑战。语义掩码的一个关键优势是它们允许有针对性的修改，即可以改变或重建特定的面部区域，而其余的面部成分保持不变。这种能力需要更具结构和上下文意识的修复。
在面部识别中，语义掩码用于通过选择性地遮盖特定的面部特征（例如眼睛或嘴巴）来保护隐私，同时不触及其他与身份相关的区域，从而保持识别功能[23,24]。在医学成像中，语义掩码允许在保持周围面部结构的情况下修复受损或手术改变的面部组件，这支持手术规划和恢复可视化[25,26]。在创意产业中，语义掩码允许对数字艺术和内容创作中的个别面部特征进行精确修改或修复，同时保持其余面部区域的完整性[27]。这些多样化的应用突显了语义掩码在多个领域改进图像修复技术方面的广泛实用性。
除了这些领域，语义掩码在面部匿名化和数据共享中也越来越重要，其中敏感的面部属性被遮盖，同时保留非敏感区域以保持数据效用[28]。此外，在增强现实和虚拟试穿应用中，语义掩码可以实现特定组件的真实修改，同时保持其他组件的不变，确保视觉一致性和真实性。尽管现有的虚拟试穿工作主要关注服装[29]，但类似的语义掩码原理可以应用于未来的AR/面部编辑应用中的面部组件（例如头发、化妆或配饰）。
尽管有这些应用，但在完全遮盖的语义掩码下进行图像修复仍然是一个开放的研究方向，因为准确修复单个面部组件同时保持整体面部连贯性对当前的AI模型来说仍然是一个重大挑战。

1.4 贡献总结
对预训练模型在语义掩码上的性能分析：本文评估了使用语义掩码重建人类面部的最先进图像修复方法。我们评估了这些方法恢复人类面部主要组成部分的能力，而不是依赖于传统的随机掩码。虽然之前的研究已经检验了大孔洞和掩码感知的修复，但它们主要使用不规则或随机掩码，并没有系统地评估整个语义面部组件完全被遮盖时的重建情况。与可能暴露关键面部结构部分的随机掩码不同，语义掩码完全遮盖了特定组件，从而移除了结构线索，带来了根本不同的重建挑战。
使用语义掩码修复人类面部涉及应对每个面部组件所带来的独特挑战。例如，头发需要建模纹理、流动性和颜色的连续性；眼睛需要对称性、清晰度以及虹膜和睫毛的精确重建；而嘴巴则涉及到牙齿、嘴唇与下颌线的复杂动态。

重新训练模型以提高性能：此外，我们还研究了不同掩码策略对修复性能的影响。为了提高修复准确性，我们进行了三种重新训练过程，分别使用语义掩码、随机掩码以及两者的组合。结合这种方法旨在提高模型的上下文意识和修复性能。

2. 方法和基准设置
2.1 从候选池中选择模型
用于比较的方法列在表1中。根据MAT[16]，四种方法——MAT、LaMa、Co-Mod-GAN和MADF——在九种评估的技术（AOT-GAN、MAT、LaMa、Co-Mod-GAN、MADF、ICT、HiFill、DeepFill v2、EdgeConnect）[12,13,14,16,30,31,32,33,34]中被认为是最有效的面部修复方法。其中，MAT被发现在修复小尺寸和大尺寸掩码的面部方面最有效[16]。在[16]中，这些方法是使用随机形状、大小和位置的矩形和笔触生成的自由形式掩码进行测试的。相比之下，本研究使用语义掩码来专门评估它们恢复关键面部组件的能力。因此，在这九种方法中，MAT、LaMa、Co-Mod-GAN和MADF被用于当前的工作。
表1. 不同图像修复方法的概述，包括发表年份、分辨率和相应模型信息。用于比较的方法以粗体突出显示：基于潜力的方法、MI-GAN、CMT、MAT、RePaint、LaMa、Co-Mod-GAN和MADF。注意：共进行了13次结果提取，因为一些方法在多个分辨率和模型上进行了评估。然而，在[17]中对五种方法（PIC [39,40]、ICT、BAT [38]、MAT和CMT）的比较中发现，较新的模型CMT在面部修复方面优于MAT。因此，CMT也被纳入当前的工作。另外两种具有巨大潜力的新模型也在本工作中进行了考虑。第一种方法MI-GAN[36]是一种主要设计为在移动设备上运行的轻量级模型，但其性能可与最先进的修复方法（MAT、LaMa、HiFill、Co-Mod-GAN、SH-GAN [37]、ZITS [41]、LDM [19]）相媲美。另一种多态性图像修复模型[35]是基于离散潜在代码的，本文中将其称为“基于潜在的”模型。基于潜在的模型[35]在性能上优于MAT、LaMa、MaskGIT [42]和PIC [40]，如图[35]所示。
MAT [16]包括两个模型CelebA和FFHQ-512，这两种模型都在本研究中进行了评估。MAT CelebA模型有两个分辨率：512 × 512和256 × 256，两者都进行了测试。在本研究中，我们使用了LaMa的基础模型，因为作者[12]发现它在宽掩码上的表现优于其他LaMa模型，并且在窄掩码上对性能没有显著影响。LaMa被调整以接受任何分辨率的图像和掩码[12]。由于CelebA-HQ数据集的分辨率为1024 × 1024，我们最初使用了这个更高的分辨率，但发现LaMa在这种高分辨率下效果不佳。因此，我们在512 × 512和256 × 256的分辨率下评估了LaMa。Co-Mod-GAN有两个版本：一个是在较旧的TensorFlow版本中实现的，另一个是在PyTorch（版本2.11.0）中实现的。我们使用了PyTorch版本以确保兼容性。Co-Mod-GAN包括两个分辨率分别为512 × 512和1024 × 1024的模型，两者都在本研究中进行了评估。
RePaint [18]是一种基于扩散的模型，最初被考虑在内，但由于其计算效率低下，最终只对10张图像进行了评估：它需要大约10小时来修复10张带有12种语义掩码类别的图像（见表2中的掩码类别），每个类别代表面部的不同部分。RePaint 使用一个语义掩码类为单张图片重新绘制大约需要五分钟的时间，这使得它不适用于大规模测试。表2列出了掩码类索引及其对应的面部部件组合。注意：“耳朵”包括右耳、左耳和耳环，“眼睛”包括眉毛。“嘴唇（L）”指的是下唇，“嘴唇（U）”指的是上唇。面部指的是除了颈部、眼睛、鼻子、嘴巴和耳朵之外的皮肤部分。“?”表示被遮盖的部分，而“?”表示未被遮盖的部分。相比之下，本研究中评估的其它方法，包括MI-GAN、CMT、MAT、LaMa、Co-Mod-GAN和MADF，能够在五分钟内为单个语义掩码类重新绘制大约2000张图片，因此它们更适合本次比较的范围和规模。基于潜力的模型需要10分钟时间为单个语义掩码类重新绘制大约2000张图片，这也是可以接受的。

2.2 数据集
本研究使用了CelebA-HQ数据集[43]，该数据集包含大约30,000张分辨率为1024×1024的高质量图片。数据集在年龄、种族和背景方面提供了广泛的多样性，以及各种配饰，如眼镜、太阳镜和帽子。它还包含了面部组件的详细注释，非常适合用于训练和评估带有语义掩码的面部修复模型。一些模型需要特定的分辨率，因此图片会根据需要进行重新缩放以确保兼容性。

2.3 计算资源
表3概述了用于实验的计算机的规格。它包括了GPU型号、使用的内存以及其他在测试阶段影响系统性能的相关组件的详细信息。高效的硬件资源在加速训练和推理过程中起到了关键作用，尤其是在处理高分辨率图片和复杂模型时。此外，计算能力还允许进行多次重新训练和不同修复方法的广泛评估。

2.4 掩码生成
已经提出了多种掩码生成策略，包括狭窄掩码、宽掩码、盒状掩码、盒状和狭窄掩码组合以及自由形式掩码[12,13]。掩码生成方法对整体模型性能有显著影响[12]。
在这项研究中，我们使用语义掩码评估了不同修复模型的性能。在[44]中使用的数据集包含了基于19个类别模型的相应语义分割的图片，其中图片中的每个像素由0到18的整数值表示，对应于特定的类别。此外，[44]中的34个类别模型提供了更详细的分割，涵盖了脸颊、眼睑、前额、下颌和下巴等额外区域。然而，34个类别模型的标记数据可用性有限[44,45]。
在这项研究中，我们使用[43]中的CelebA-HQ数据集进行了19个类别的面部语义分割（见图1示例）。[43]中的每张图片都附有19张对应的黑白掩码图片。CelebA-HQ数据集为各种面部区域提供了分割，包括眼睛、眉毛、鼻子、上唇、下唇、头发、颈部、耳朵、眼镜、皮肤、服装、项链、耳环和帽子。图1显示了带有CelebA-HQ数据集[43]中的分割效果的原始图片。嘴巴区域被分为三个部分：上唇、嘴巴和下唇。眼睛、眉毛、耳朵、头发、颈部、皮肤、鼻子和耳环也被分割了。我们在当前研究中使用了CelebA-HQ的19个类别模型进行面部语义分割。我们生成了12个掩码类别（A–L），如表2所示。在训练过程中，我们会从这12个选项中随机选择一个掩码类别。每个掩码只遮盖与所选类别相关的部件；在训练或测试期间不会同时遮盖来自不同掩码类别的多个部件。

2.5 评估指标
为了评估不同的修复方法，我们使用感知指标（FID、P-IDS和U-IDS）。像PSNR和SSIM这样的指标与人类对图像质量的感知不太相关[16]。在感知指标中，FID是最常用的，如[12,16,17,30,31,35,36]中所展示的。
这些指标（FID、P-IDS和U-IDS）在Inception网络学习到的深度特征空间中运作，并已在生成建模和图像修复文献中被广泛采用。与像素级测量相比，它们能更好地捕捉高级感知结构和真实图像与生成图像之间的分布相似性。在本研究中，通过多个评估子集的统计分析进一步支持了这些指标的使用，确保报告的改进是一致且统计上显著的，而不是采样变异性的结果。

FID（Fréchet Inception距离）：测量特征空间中真实图像分布和生成图像分布之间的距离。其计算公式如下：
FID2(????,????) = ∥?????????∥2 + Tr?(Σ?? + Σ???23(Σ??3Σ??))/2 (1)
其中????和????分别代表真实图像和生成图像的分布。此外，????和????是真实图像和生成图像的平均特征向量，Σ??和Σ??表示这些分布的协方差矩阵。

P-IDS（感知Inception距离分数）：是FID的一个变体，旨在更紧密地对齐人类视觉感知，其定义如下：
P-IDS3(????,????) = 1/N∑??=1(∥??3(????)???2(??′??)∥2) (2)
其中??2(??)是从Inception网络中提取的图像x的特征向量，????和??′??分别是真实图像和生成图像。该指标平均了所有样本的感知差异。

U-IDS（无监督Inception距离分数）：使用Inception模型通过无监督方法评估生成图像的质量，无需标记数据，其计算公式如下：
U-IDS3(????,????) = 1/N∑??=1(∥??3(????)???3(??′??)∥2) (3)
其中??3(??)是从Inception网络中提取的图像x的无监督特征向量，????和??′??分别代表真实图像和生成图像。该指标评估了特征空间中真实图像和生成图像分布之间的相似性。

3 结果和比较分析
在本节中，我们比较了不同图像修复模型在不同分辨率下对多个掩码类别的性能。我们的分析表明，模型的表现取决于所使用的掩码类型和输入图像的分辨率。结果突出了每个模型在处理特定面部特征（如眼睛、嘴巴和头发）时的优势和劣势。以下小节基于三个关键评估指标FID、P-IDS和U-IDS提供了详细的比较，并讨论了在不同测试条件下观察到的每个模型的优势和劣势。

3.1 分数比较
将本研究的结果与[16]中的结果进行比较，我们发现语义掩码比随机掩码更难修复，这反映在评估指标上（语义掩码的FID值更高）。语义掩码会完全遮盖关键的面部特征，而随机掩码可能会留下这些特征的部分可见，从而便于修复过程。用于比较的模型在不同分辨率下运行，有些模型能够处理多种分辨率。根据它们的分辨率，这些模型被分为三类。

3.1.1 分辨率256
表4显示了在256分辨率下不同方法在不同掩码类别（A–L）的FID值。根据这些FID值，MI-GAN在10个掩码类别中排在前三名，基于潜力的模型在9个掩码类别中排在前三名，MAT在8个掩码类别中排在前三名。MI-GAN在4个掩码类别中表现最佳，而基于潜力的模型在6个掩码类别中领先。作为一个主要为移动设备设计的相对较小的模型，MI-GAN表现良好。不同掩码类别和方法之间的FID值变化是一致的。

表4显示了在256和512分辨率下不同方法在不同掩码类别（A–L）的FID、P-IDS和U-IDS值。在每个分辨率下，FID值最低（即表现最佳）、P-IDS值最高（即感知相似性最高）和U-IDS值最高（即质量最高）的三种方法用蓝色突出显示：深色=第一，中等=第二，浅色=第三。512分辨率的MAT包括两个模型：CelebA（表示为MAT）和FFHQ（表示为MAT1）。根据FID、P-IDS和U-IDS值，MAT1在不同掩码类别中始终排在前三名。MI-GAN在所有掩码类别中获得了最高的P-IDS值（见表4）。基于P-IDS值，MI-GAN、LaMa和MAT通常在不同掩码类别中表现最佳。对于U-IDS值（见表4），MI-GAN在10个掩码类别中获得了最高的U-IDS值。基于U-IDS值，MI-GAN、基于潜力的模型和MAT通常在不同掩码类别中表现最佳。P-IDS和U-IDS值偶尔会降为零，因为相应的语义掩码完全遮盖了定义身份的面部特征。在这种情况下，用于计算这些指标的身份识别网络无法从重构区域提取可靠的身份嵌入，导致相似性得分接近零。这种行为反映了在移除组件的所有结构信息时重建特定身份特征的极端难度。

3.1.2 分辨率512
表4显示了在512分辨率下不同方法在不同掩码类别的FID、P-IDS和U-IDS值。根据FID值，MAT与FFHQ模型在12个掩码类别中排在前三名，其中在7个类别中表现最佳。MAT与CelebA模型在11个掩码类别中排在前三名，而MADF模型在9个掩码类别中排在前三名。然而，Co-Mod-GAN在P-IDS和U-IDS上通常优于MADF。
图2展示了不同模型在512分辨率下恢复面部关键组件的性能。该图突显了这些模型的一些局限性。例如，在眼睛修复方面，LaMa和MADF生成了模糊和混杂的眼睛。对于鼻子掩码，LaMa生成了一个小鼻子和双嘴唇。对于面部掩码，MAT增加了睫毛的厚度；LaMa生成了较短的面部和面部反射；Co-Mod-GAN在鼻子周围产生了可见的边界；MADF生成了一个额外的眼睛，覆盖了现有的眼睛。对于头发掩码，MADF生成的头发缺乏真实感。对于嘴巴和鼻子掩码，MADF生成的牙齿覆盖了嘴唇。

3.1.3 分辨率1024
只有Co-Mod-GAN和LaMa两种模型被训练来处理高分辨率图像。表5展示了它们的FID、P-IDS和U-IDS值。Co-Mod-GAN在12个掩码类别中的11个类别中优于LaMa模型。图3和图4展示了Co-Mod-GAN在高分辨率下更好地适应复杂修复任务的能力。

表5报告了在1024高分辨率下（1）Co-Mod-GAN和（2）LaMa的FID、P-IDS和U-IDS值。在每个掩码类别中，表现最佳的方法（即FID值最低、P-IDS值最高或U-IDS值最高的）用蓝色突出显示。图3展示了使用LaMa模型在256、512和1024分辨率下恢复面部关键组件的情况。LaMa模型在高于256的分辨率下恢复效果不佳。

图4展示了使用Co-Mod-GAN模型在512和1024分辨率下恢复关键面部组件的情况。Co-Mod-GAN模型在高分辨率下（如1024）表现有效，其性能与512分辨率时的表现相当。“gt”指的是真实图像。（A, B, F, I, G）表示表2中列出的语义掩码类别索引。绿色框突出显示了修复的重点区域。放大查看效果更佳。图A1提供了语义区域的放大裁剪图。

只有Co-Mod-GAN和LaMa两种模型被训练来处理高分辨率图像。表5展示了它们在12个掩码类别中的FID、P-IDS和U-IDS值。Co-Mod-GAN在11个掩码类别中的表现优于LaMa模型。图3和图4展示了Co-Mod-GAN在高分辨率下更好地适应复杂修复任务的能力。Co-Mod-GAN在高质量图像修复方面表现出可靠的性能，而LaMa虽然能够处理不同分辨率的图像，但在高分辨率下适应性不佳。这使得Co-Mod-GAN成为需要高分辨率图像恢复任务的更有效模型。3.2. 不同模型的发现与局限性通过对所有生成图像的分析，每种方法都发现了一些观察结果和局限性（总结在表A1中）。尽管某些方法获得了相对较低的FID值，但它们仍然存在局限性，并不一定总能表现出最佳性能。这表明没有一种方法在所有情况下都是优越的，仍有改进的空间。总体而言，这些观察结果表明，需要持续的研究和改进来开发出更加通用和可靠的图像修复方法。所有修复模型修复一张图像所需的时间都少于0.3秒，除了RePaint，它大约需要5分钟。各种模型的计算时间总结在表6中。表6. 各种模型的性能总结。所有时间都是针对修复2000张图像计算的，RePaint除外，它每张图像大约需要5分钟。局限性包括面部各组件之间的各种不一致性。例如，在某些模型中，眼睛可能会显得不真实，出现睫毛过厚、瞳孔错位或眼睛完全变黑等问题。嘴巴可能会出现嘴唇融合、牙齿不真实或下唇不对齐等问题。皮肤的不一致性包括可见的口罩边缘、肤色融合不佳，有时还有不自然的反射或皮肤色块。头发修复通常会遇到纹理不真实、颜色连续性问题或覆盖不完整等问题，尤其是在高分辨率下。耳朵在某些情况下可能缺失、不完整或被头发替代。此外，尽管大多数模型都能很好地修复鼻子，但有时也会出现修复不完整或不真实的情况。这些缺陷会显著影响生成图像的整体真实感。总体而言，尽管这些模型在特定任务上表现良好，但这些局限性表明，在生成更准确、更无缝的面部修复图像方面仍有改进的空间。

这些观察结果表明，当前的图像修复模型往往难以一致地修复面部的语义组件，这表明在训练过程中依赖当前的掩码策略可能会限制模型的鲁棒性；受这些发现的启发，下一节（第4节）将探讨替代的训练策略，而第5节将重点介绍文献中报道的关键架构局限性，这些局限性可能进一步导致这些挑战。4. 使用语义掩码、随机掩码和混合掩码重新训练的模型评估用于本次评估的图像分辨率为512。由于MAT在该分辨率下表现出最大的图像修复潜力（如表4所示），因此选择了它来进行本节描述的实验。在这次评估中，使用语义掩码重新训练了MAT。为了比较使用语义掩码训练的MAT与使用随机掩码训练的MAT的性能，还在相同配置下使用随机掩码重新训练了一个MAT版本，以确保公平性。值得注意的是，使用随机掩码重新训练的MAT获得的FID、P-IDS和U-IDS值接近其作者提供的预训练MAT模型的值。然后使用这些模型对带有语义掩码的面部进行修复评估。MAT使用24,000张图像重新训练，并在6000张图像的数据集上进行了测试。MAT模型使用Adam优化器进行训练，学习率为1 ×10?4，??1 =0.9，??2 =0.999。批量大小设置为8，模型训练了100个周期。由于增加批量大小会超出可用的40 GB GPU内存，因此将批量大小限制为8。模型参数是从零开始初始化的，而不是使用预训练权重，因为使用语义掩码的修复任务涉及完全遮挡的面部区域，比使用随机掩码的修复任务更复杂。在训练过程中应用了标准的数据增强技术，包括随机水平翻转和旋转。没有使用额外的颜色抖动或几何变换。每次训练会话大约持续7天13小时。使用语义掩码训练的MAT在语义掩码上获得的FID值与使用随机掩码训练的MAT在语义掩码上获得的FID值进行了比较。结果表明，使用随机掩码训练的MAT在修复带有语义掩码的面部时表现优于使用语义掩码训练的MAT。单独使用随机掩码训练的MAT在涉及语义掩码的修复任务中表现优于单独使用语义掩码训练的MAT。这一结果表明，随机掩码可能促进更好的泛化并减少过拟合。使用随机掩码训练使模型接触到各种丢失的区域，这可能鼓励它学习整个图像中的更广泛上下文关系。这可能导致模型能够处理更多样化的修复场景，从而更加健壮。相比之下，语义掩码提供了预定义的区域，可能导致特定特征的过拟合，降低模型的泛化能力。因此，单独使用随机掩码训练的MAT往往产生更真实的修复图像，在评估的实验设置下，其FID分数低于单独使用语义掩码训练的MAT。为了利用随机掩码和语义掩码的优点并提高修复性能，我们使用两种类型的掩码组合重新训练MAT模型。这种称为“混合”掩码策略的方法使模型接触到多种修复区域。通过为每张图像随机选择随机掩码或语义掩码，模型被迫学习更广泛的上下文关系。这使其能够适应不同类型的丢失信息，这对于修复复杂的特征（如面部组件）特别有益。包含语义掩码为模型提供了更有结构的指导，而随机掩码则通过呈现更多不可预测的场景来鼓励灵活性和更好的泛化能力。这种混合策略增强了模型的上下文感知能力，从而在细节重要的区域实现了更真实和准确的面部特征重建。使用混合掩码训练的模型在几乎所有掩码指标上都实现了更低的FID值，如表7所示（统计验证见附录A.3）。这表明，结合两种掩码策略使模型优于仅使用随机掩码或仅使用语义掩码训练的模型，尤其是在修复带有语义掩码的图像时。因此，混合掩码方法在灵活性和结构之间取得了最佳平衡，使模型能够以更高的保真度和真实性处理更多样化的修复任务。表7. 使用随机掩码、语义掩码和混合掩码训练的MAT的FID值比较。“混合”是指同时使用随机掩码和语义掩码进行训练，每张图像随机使用随机掩码或语义掩码进行掩码处理。每种掩码类别中表现最好的两种方法（即FID值最低的方法）用蓝色标出：深色=第一，中等=第二。结果表明，使用混合掩码训练的MAT在FID方面优于仅使用语义掩码或仅使用随机掩码训练的MAT，特别是在修复带有语义掩码的图像时。根据表7，对于具有完整嘴巴、头发和面部掩码的掩码类别（C、G和I），使用随机掩码、语义掩码和混合掩码训练的MAT的FID值之间存在明显差异。为了进一步说明这些差异，我们在图5中随机选择了样本并进行了可视化。图5. 使用512分辨率的MAT模型，通过随机掩码、语义掩码和混合掩码修复关键面部组件。使用混合掩码训练可以提升修复性能。放大查看时效果更好。对于面部掩码，如图5所示，使用随机掩码训练的MAT实现了混合颜色，但面部显得较短且不一致。使用语义掩码训练的MAT得到的面部大小和形状更接近真实情况；然而，它与周围颜色的融合效果不佳。与鼻子相比，面部的色调明显不同。使用混合掩码训练的MAT比仅使用随机掩码或仅使用语义掩码训练的MAT取得了更好的结果。对于头发掩码，使用随机掩码训练的MAT可能在头发流动方面遇到困难，而使用语义掩码训练的MAT可能在颜色连续性方面遇到挑战。如图5所示，使用混合掩码训练的MAT在头发流动和颜色一致性方面取得了更好的平衡。对于嘴巴掩码，使用混合掩码训练的MAT可能优于仅使用语义掩码训练的MAT或仅使用随机掩码训练的MAT。

5. 当前AI模型在语义掩码修复方面的结构局限性即使在包含完全遮挡的语义掩码的数据集上进行训练或微调，当前基于AI的修复模型（如GANs、CNNs、transformers和diffusion models）也面临固有的结构局限性。这些局限性已在先前的研究[7,46,47,48]中观察到。尽管大多数先前工作评估了不规则或部分掩码，但在整个面部组件完全缺失的语义掩码场景中，相同的架构限制可能会带来更大的挑战：1. 局部感受野和卷积偏差：基于GAN和CNN的架构依赖于局部邻域来推断缺失的像素。完全遮挡的语义掩码移除了整个面部组件的所有局部线索，因此这些模型在没有可见参考的情况下难以重建形状和结构。研究报道在大型掩码区域出现结构扭曲和纹理不一致性的问题[7,46]。2. 全局和语义推理能力较弱：Transformer和diffusion模型捕获了一些全局上下文，但它们的训练通常侧重于纹理完成，而不是高级结构或语义关系。因此，模型可以生成合理的纹理，但常常会错误放置或变形组件[47,48]，例如眼睛、鼻子或嘴巴。3. 结构先验有限：大多数模型学习观察到的像素之间的统计相关性，而不是面部解剖的显式知识[46,47]。即使经过专门针对语义掩码的训练，模型也缺乏必要的结构理解，这对于准确重建完全缺失的面部元素至关重要。4. 完全遮挡区域的歧义：语义掩码创建了多个合理重建可能存在的区域。当前的模型并不是为了解决这种歧义而设计的，它们倾向于产生平均或不真实的结果，而不是语义上正确的特征。这些结构挑战解释了为什么仅靠训练无法完全克服语义掩码的难度。实现高保真度重建可能需要明确定义面部几何形状、组件相互依赖性和语义约束的架构，而不仅仅是从数据中学习。6. 结论总之，虽然基于AI的修复方法在恢复关键面部组件方面显示出有希望的能力，并且能够得到真实且上下文合适的 resultado，但仍存在重大挑战，特别是在实现无缝融合、处理复杂的面部结构以及保留眼睛、牙齿、头发和睫毛等细节方面。这些局限性表明，在完全遮挡的语义掩码下实现完全准确的面部重建仍然很困难。解决这些挑战可能需要开发新的AI架构或专门为完全遮挡修复任务设计的创新模型配置。此外，虽然语义掩码构成了相当大的障碍，但将它们与随机掩码结合使用在混合方法中可以提高模型的上下文理解能力并改善修复性能。这种策略可以在不同的环境中实现更准确和自然的面部特征修复，尽管完全重建仍然是一个未解决的问题。未来的工作可能集中在开发新的架构上，这些架构能够感知组件，明确建模单个面部区域（例如眼睛、嘴巴、头发），同时保持全局面部 coherence。另一个有前景的方向是研究在训练过程中动态结合随机掩码和语义掩码的自适应掩码策略，以进一步提高不同遮挡类型的泛化能力。此外，设计优先考虑关键面部特征准确重建的组件特定损失函数可能会提升修复区域的真实感和保真度。最后，将提出的混合掩码策略扩展到面部图像之外的其他结构化图像领域，有助于评估其在更广泛修复任务中的适用性和有效性。