基于扩散的瑕疵先验与统计调制技术，实现高保真人脸修图

《Neurocomputing》：Diffusion-based blemish prior with statistical modulation for high-fidelity face retouching

　　抽象：面部修图旨在去除面部瑕疵，同时保留自然的皮肤纹理。其中的关键挑战在于精准定位瑕疵，并进行细致的修图处理，避免过度平滑。现有的方法通常依赖端到端的图像转换网络，直接从训练数据中学习瑕疵去除模式。然而，由于对纹理先验的建模不足，这些方法往往会产生过度平滑的结果，且在面对具有多样瑕疵特征的实际情况时，稳定性较差，泛化能力弱。为解决这些问题，我们提出了DiffBPM，这是一种基于扩散模型的、能够考虑瑕疵先验和纹理特性的修图框架。该方法利用扩散模型逐步优化瑕疵定位，作为瑕疵先验，从而提升对不同类型瑕疵的泛化能力。此外，我们还引入了一种具备瑕疵感知能力的统计调制变换器，该变换器利用先验信息，从周围的干净皮肤区域提取统计先验，进而对应地调整有瑕疵区域的特征。这种有针对性的调整有助于保持修图区域与未编辑区域之间的纹理一致性，有效避免过度平滑，确保最终效果自然。大量实验表明，DiffBPM在瑕疵定位和高质量修图方面均优于现有方法，尤其是在处理具有挑战性的真实世界数据集时表现更为出色。

引言：随着社交媒体的兴起，面部修图越来越受到欢迎，人们通过它来美化面部图像，应用范围从普通的自拍到专业的肖像照等。面部修图的目标是在去除不理想的瑕疵的同时，保留独特的面部特征。手动修图可能需要数小时时间以及专业的修图技能，而自动面部修图模型则能在短时间内处理大量图像。面部修图的主要挑战包括精确预测瑕疵，以及在修复过程中保持原有的局部纹理特征。面部修图可被视为一种特定的图像到图像的转换任务。大多数面部修图方法都是得益于通用图像到图像转换技术的快速发展。例如，BPFRe采用两阶段渐进式瑕疵去除方式，先检测瑕疵，再将检测结果纳入具备瑕疵感知能力的注意力模块中。RetouchFormer则将面部修图视为面部图像修复的“柔和”版本，它通过软掩码引导选择性自注意力机制处理部分配对数据，从而减少模型对大量训练数据的依赖，同时生成高度逼真的修图结果。然而，目前的面部修图方法在处理真实世界数据时仍无法取得理想效果。现有的修图方法通常直接从训练数据集中学习瑕疵模式，当应用于真实世界数据时，由于缺乏已知的瑕疵模式，瑕疵检测模块的性能不佳，面部修图模型也无法稳定地去除所有瑕疵。此外，这些方法在修图过程中忽视了局部内容特征，导致修图结果过度平滑。在这项工作中，我们通过提出一种基于扩散模型的瑕疵先验引导模块，从条件生成的角度提升了面部瑕疵检测的鲁棒性，以此克服现有面部修图方法的局限性。具体而言，DiffBPM由两个关键组件构成：基于扩散模型的瑕疵先验引导模块，以及具备瑕疵感知能力的统计调制变换器。我们并非直接预测瑕疵分布图，而是先生成瑕疵先验来指导后续的优化过程。在正向过程中，实际瑕疵先验会加入噪声，随后训练一个去噪网络，使其能够在参考原始面部图像的情况下预测出注入的噪声。在反向采样阶段，经过训练的去噪网络会逐步骤参考原始图像，不断优化瑕疵先验，最终生成精细化的瑕疵先验特征。解码后的结果如图1所示。为确保修图区域与周围干净皮肤之间的纹理一致性，我们进一步引入了具备瑕疵感知能力的统计调制变换器，该变换器利用瑕疵先验来优化有瑕疵的区域，具体是通过从相邻的干净皮肤区域提取统计信息，进而调整有瑕疵皮肤的特征。这样一来，修图后皮肤的统计特性就能与周围皮肤保持一致，从而使整体外观更加自然、连贯。总结而言，这项工作的主要贡献如下：为精准定位瑕疵并捕捉纹理信息，我们提出了基于扩散模型的瑕疵先验模块，该模块利用扩散模型的渐进式去噪过程来学习精细化的瑕疵先验。此外，我们还设计了具备瑕疵感知能力的统计调制变换器，该变换器利用瑕疵先验模块提供的信息，以及从周围干净皮肤区域提取的上下文统计信息，来指导有针对性的修图操作，从而有效保留局部纹理细节。通过整合瑕疵先验模块和统计调制变换器，我们的DiffBPM方法在多种真实世界数据集上展现了出色的鲁棒性和泛化能力，这一结论已通过大量实验得到验证。

相关技术介绍：视觉变换器：视觉变换器是基于最初为自然语言处理而开发的变换器架构所创建的。与卷积神经网络不同，视觉变换器会将图像分割成较小的块，将每个块视为一个视觉标记，再运用变换器来处理这些标记。通过自注意力机制，这种方法能够有效捕捉图像各块之间的长距离依赖关系，因此非常适合用于处理图像相关任务。

整体架构：如图2所示，所提出的面部修图框架由四个主要组成部分构成：编码器、解码器、基于扩散模型的瑕疵先验引导模块，以及具备瑕疵感知能力的统计调制变换器。给定一张面部图像后，瑕疵先验引导模块会通过多步骤采样策略分析该图像，生成瑕疵先验。编码器则会提取面部图像的特征，将其作为标记，随后输入到统计调制变换器中。根据输入的标记……

实验部分：在本节中，我们将针对多种面部修图任务展开全面实验。首先详细介绍实验设置，包括训练集和测试集的描述、评估方法、实现细节以及基准方法。接着，我们对DiffBPM与现有的最先进方法进行定量和定性对比分析。最后，我们会探讨DiffBPM中各关键组件的作用。

结论与未来工作：在本文中，我们提出了一种全新的面部修图框架——DiffBPM。与直接预测瑕疵分布图的不同，DiffBPM引入了基于扩散模型的瑕疵先验模块，该模块能够根据输入的面部图像，通过渐进式去噪过程生成精细化的瑕疵先验，这些先验可为后续的修图操作提供有力指导。随后，我们设计了具备瑕疵感知能力的统计调制变换器，该变换器能够利用相关上下文统计信息来辅助修图。