用于基于面部组件识别的化妆渲染的细粒度条件插值扩散技术

《Pattern Recognition》：Fine-Grained Conditional Inpainting Diffusion for Component-Aware Face Makeup Rendering

针对传统图像到图像翻译框架在妆容迁移中的局限性，本文提出基于扩散模型的条件填充框架FCIDiff。通过引入扩散基础妆容填充模块减少随机性，结合面部组件感知匹配模块确保空间对齐，实现高保真且可控的妆容迁移，实验验证其优越性。

　　

Linyan Xie|Zhen Xu|Si Wu

华南理工大学未来技术学院，广州，510641，广东，中国

摘要

通用的图像到图像转换框架已被广泛用于基于图像的化妆迁移。然而，这些方法通常侧重于像素级的变换，当源图像和参考图像的面部形状存在显著差异时，迁移化妆信息可能会遇到挑战。另一方面，扩散模型展示了出色的生成能力。扩散模型特有的迭代噪声添加和去噪过程允许逐步细化，使其在高质量合成和复杂化妆迁移方面具有优势。为此，我们将化妆迁移问题重新定义为条件修复任务，并提出了一种新的条件化妆修复扩散框架（FCIDiff）。具体来说，我们提出了一个化妆修复模块，以减少采样过程中引入的初始高斯噪声，并减轻修复过程中的随机性。为了进一步细化化妆细节并提高迁移的可控性，我们引入了一个关注面部成分的匹配模块，该模块在源图像和参考图像之间建立空间对应关系。在这种情况下，匹配模块可以在每个扩散步骤中注入匹配的化妆风格，从而更细致地控制生成过程。广泛的定量和定性分析证明了我们提出的FCIDiff方法的有效性和优越性。

引言

随着短视频和直播行业的快速发展，人们对化妆迁移的关注日益增加，化妆迁移旨在进行基于图像的条件编辑。这涉及将参考图像中的化妆风格转移到源图像上，同时保持原始身份。由于参考图像中化妆风格的多样性，将这些风格以一致且真实的方式映射到源图像上具有挑战性。

之前的化妆迁移方法[1]、[2]、[3]、[4]、[5]、[6]高度依赖生成对抗网络（GAN）来合成化妆图像。它们大多数仍然将化妆风格视为颜色分布的变化，忽略了化妆细节。此外，这些方法倾向于关注像素级的变换，当源图像和参考图像的形状存在显著差异时，它们的有效性会受到限制。此外，基于GAN的模型在训练高分辨率图像时容易发生模式崩溃，导致生成结果的多样性不足[7]。

最近，扩散模型[8]、[9]、[10]、[11]、[12]因其出色的生成能力而受到关注。最近的研究探索了它们在化妆迁移中的应用，方法包括全局风格注入[13]、[14]到统一任务框架[15]再到以隐私为导向的生成[16]。然而，现有方法在精确可控性和结构一致性方面仍存在局限性。MakeupDiffuse[13]依赖于基于GAN的教师网络，这本质上限制了生成质量。Stable-Makeup[14]采用全局交叉注意力机制，可能导致局部空间不对齐。同时，MAD[15]和DiffAM[16]分别使用显式的图像混合和粗粒度的语义指导，导致边界伪影或细粒度纹理细节的退化。因此，在使用扩散模型先验实现高保真度化妆迁移的同时，确保精确的空间对齐和严格的背景保留仍然是一个重大挑战。

为了克服这一挑战，我们提出了FCIDiff，一个将化妆迁移定义为条件修复框架的方法，如图1所示。具体来说，为了减少采样过程中引入的初始高斯噪声并减轻每个时间步引入的随机性，我们引入了一个基于扩散的化妆修复模块。该模块利用粗略的化妆先验作为起点来解决初始随机性，并使用参考图像作为局部条件来减轻生成过程中的随机性。此外，为了细化化妆细节并提高迁移的可控性，我们引入了一个关注面部成分的匹配模块。该模块在空间感知的潜在空间内明确对齐和融合源图像和参考图像的特征，确保生成的化妆忠实于源面部结构，同时遵循参考风格。广泛的实验结果表明，我们的方法可以实现可控且高保真的化妆迁移。我们论文的主要贡献可以总结如下：

• •
  与通常将化妆迁移视为条件图像到图像转换的现有方法不同，我们将任务重新定义为条件修复问题，以提高化妆渲染性能。
• •
  为了减轻扩散模型的随机性并提高细节保真度，我们引入了一个基于扩散的化妆修复模块，以规范生成过程，最小化伪影并保持源身份。
• •
  为了确保化妆迁移的可控性，我们引入了一个关注面部成分的匹配模块，该模块在空间上对齐编码的源图像和参考图像。这使得扩散模型能够更精确和灵活地操作化妆风格。

相关工作

相关工作

在本节中，我们简要回顾了包括化妆迁移和扩散模型在内的主流方法，然后总结了我们提出的方法与现有工作之间的关键区别。

问题表述

图2展示了我们的FCIDiff的概述。我们寻求利用扩散模型以修复的形式完成化妆迁移任务。正式地，给定一个源图像和一个掩码m?∈?{0, 1}^H?×?W，表示化妆区域，可以通过逐元素乘法获得一个不考虑化妆的面部图像x^m；x^m指的是遮去了化妆区域的面部图像。化妆迁移的目标是将参考面部$y\in R^{H\times W\times 3}$转移到x^m，从而产生

实验

我们进行了广泛的实验来评估所提出的FCIDiff在各种化妆迁移任务中的性能。首先描述了实验设置，包括数据集、实现细节、比较方法和评估指标。随后，我们提供了与最先进方法的定量和定性比较。通过对FCIDiff的设计元素的进一步分析，提供了更多见解。

结论

在本文中，我们提出了FCIDiff，一个将化妆迁移重新定义为条件修复任务的新框架，以实现高保真度的化妆渲染。通过利用基于扩散的化妆修复模块，我们有效地减轻了采样过程中固有的随机性，确保了稳定和详细的生成。此外，我们提出的关注面部成分的匹配模块明确强制了源特征和参考特征之间的空间对齐，保证了

CRediT作者贡献声明

Linyan Xie：撰写——原始草稿，方法论。Zhen Xu：数据整理。Si Wu：撰写——审阅与编辑。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能会影响本文报告的工作。