多条件引导扩散模型用于面部草图到照片的合成

《Neural Networks》：Multi-condition Guided Diffusion Model for Face Sketch-to-Photo Synthesis

　　•多条件引导扩散模型提升了从面部草图到照片的合成效果。•多尺度语义融合提高了下采样过程中的结构精度。•混合交叉注意力机制整合了纹理先验以优化细节表现。•嵌入在U-Net中的视觉变换器能够捕捉全局低频信息。

引言
从手绘草图生成逼真的面部图像在多个领域有着重要应用，包括用于嫌疑人识别的刑事调查、用于角色设计的数字媒体制作以及个性化内容生成（Yang等人，2021年）。尽管应用范围广泛，但这项任务仍存在诸多技术难题。(i) 草图的抽象特性往往遗漏了诸如皮肤纹理和几何特征等重要的面部细节，这就需要生成模型来弥补这些缺失元素（Sun等人，2022年）。(ii) 不同的艺术风格——从精确的线条画到夸张的漫画——导致了面部特征表示的巨大差异（Yun等人，2024年）。(iii) 重建那些细微但至关重要的面部特征，如自然的皮肤毛孔、动态的光影效果以及短暂的微表情，需要基于有限草图输入的先进推理能力（Li等人，2024年；Ravichandran等人，2023年）。这些根本性挑战凸显了在计算机视觉研究中开发强大草图到照片合成系统的复杂性。

早期基于草图的面部合成方法主要依赖于手工设计的特征和基于优化的框架，比如引入几何约束以实现真实重建的三维可变形模型（Basso等人，2003年）。Tang等人（Tang和Wang，2004年）提出了一种新的照片检索系统，该系统通过将照片转换为草图，从而缩小了照片与草图之间的差距。相比之下，Chang等人（Chang等人，2010年）引入了一种基于稀疏表示的块选择方法，以增强细节保留能力。与此同时，照片到草图转换领域也有了发展，Wang和Tang（Wang等人，2018a年）提出了用于纹理感知草图合成的多尺度马尔可夫随机场。后续的改进还包括梯度域优化方法（Pérez等人，2023年），该方法通过最小化草图与目标图像梯度之间的差异来保留结构细节。然而，这些传统方法存在固有局限性：对手工设计特征的依赖限制了它们合成高频面部细节的能力，而严格的统计先验则导致其对艺术风格或抽象草图的泛化能力较差。这些挑战促使人们转向数据驱动的深度学习范式。

深度学习通过引入越来越复杂的神经网络架构，显著推动了草图到面部图像的合成技术。这一领域主要由各种生成对抗网络架构主导，每种架构都针对特定的挑战。SketchyGAN（Chen和Hays，2018年）率先采用多尺度特征整合技术来改善信息传播效率。Chao等人（Chao等人，2019年）提出的带有PatchGAN鉴别器的残差U-Net架构则实现了更出色的纹理真实度。Zhao等人（Zhao等人，2019年）设计了一种图像转换网络，该网络通过GAN利用面部属性，通过在草图输入中加入额外的属性特征，显著提升了合成面孔的真实性。Li等人（Li等人，2022年）提出的两阶段GAN则加入了语义和颜色优化损失函数。Wan等人（Wan等人，2022年）通过特征过滤残差模块大幅提升了真实度，而Zhu（2023年）提出的双条件归一化网络则引入了并行条件处理路径。Yun等人（Yun等人，2024年）的StyleSketch技术能够从面部图像中提取风格化的高分辨率草图。Li等人（Li等人，2024年）采用了非对称的三阶段训练策略，利用少样本学习实现高效的模型优化。尽管取得了这些进展，但仍然存在一些持续存在的挑战，包括训练不稳定（如模式崩溃）、细节失真以及难以处理草图的模糊性等问题。最近的研究开始探索更为稳定的架构，如扩散模型，以解决这些限制。

Ho等人（Ho等人，2020年）提出的去噪扩散概率模型通过逐步添加高斯噪声并学习相应的逆过程来生成图像。然而，DDPM存在生成速度慢、无条件运行且难以精确控制面部属性的问题。Saharia（2022年）将DDPM改进为适用于通用图像到图像转换任务的模型，在图像着色和修补等应用中展现了更优异的性能。Meng（2021年）引入随机微分方程来实现引导式图像合成，从而可以对粗糙的草图进行可控编辑。最近，Liu等人（Liu等人，2024年）提出的潜在扩散模型通过在压缩的特征空间中运行，显著降低了计算成本，同时保持了输出质量。Xia等人（Xia等人，2024年）提出了一种高效方法，即为扩散模型配备一个轻量级的转换器，被称为扩散模型转换器（DMT）。Que等人（Que等人，2024年）的扩散模型用于面部草图到照片合成（DFSPS）方法通过引入详细的扩散分支来细化初始生成器产生的粗糙照片面部图像，通过多尺度细节特征的深度融合以及复杂的条件噪声预测器有效提升了真实度。Xue等人（Xue等人，2025年）的布朗桥扩散用于双向转换（BiBBDM）方法则利用布朗桥扩散实现了源分布与目标分布之间的原理性插值。这种桥接构建为标准的前向扩散提供了另一种视角，并在翻译任务中展现出更高的稳定性潜力。最近，Jiang等人（Jiang等人，2026年）提出了VidSketch，这是一种基于草图的扩散框架，可用于可控的视频生成，在去噪过程中使用手绘草图作为明确的结构指导。通过引入基于级别的草图控制策略以及专门的注意力机制来平衡草图约束与生成自由度，VidSketch证明了精心设计的基于草图的扩散模型能够在保持视觉真实度的同时有效保留几何结构。虽然该工作针对的是视频合成，但它强调了在基于扩散的生成过程中，自适应草图引导和多条件控制的重要性，这与面部草图到图像的合成具有高度相关性。

上述方法虽然推动了面部图像生成技术的发展，但在处理面部草图到图像的合成任务时仍存在局限性，因为稀疏的结构线索和缺失的纹理信息使得精确重建变得困难。例如，SDEdit可能会引入不必要的噪声伪影，LDM可能会导致颜色保真度下降，而DMT则没有明确建模特定于任务的面部结构先验。尽管DFSPS也采用扩散模型进行草图合成，但其条件设置和注入策略与我们方法在两个重要方面有所不同。首先，DFSPS主要依赖粗糙的照片先验，而我们的框架则利用三种不同的先验：用于保持轮廓的输入草图、用于结构对齐的语义解析图以及用于细节优化的粗略纹理先验。其次，我们不是以相同的方式注入所有条件，而是在去噪的不同阶段分别引入它们：语义先验被融合到编码器中以约束面部布局，而纹理先验则通过混合交叉注意力与解码器特征相互作用，以提高局部真实度。BiBBDM虽然在通用双向转换方面效果良好，但并未明确利用此类特定于任务的面部结构和纹理线索。鉴于这些局限性，我们提出了一种多条件引导扩散框架，该框架在去噪过程中逐步平衡结构连贯性与纹理真实性。

为了解决这些限制，我们的研究探讨了一种基于扩散的草图到照片合成框架，旨在通过分阶段的多条件去噪引导来生成高质量图像。语义分割后的图像能够传递结构信息，如面部特征的精确位置，而粗糙的照片则有助于捕捉纹理细节。这些粗糙照片通过混合交叉注意力模块在多个尺度上与去噪后的特征相融合。同时，在去噪过程中还采用了Dosovitskiy（2021年）提出的视觉变换器架构，以捕捉低频信息并提升生成图像的质量。这种分阶段引导机制通过确保有效利用来自不同先验输入的空间和纹理特征，从而增强了扩散过程的效果。中间输出结果可作为引导去噪流程的关键输入，有效平衡结构连贯性与纹理真实性——这是现有方法往往难以实现的平衡。

在四个基准数据集上的实验结果证明了我们方法在所评估条件下的有效性。所提出的方法在整体定量性能上表现强劲，并且在不同的图像质量指标上都具有竞争力。此外，生成的图像在补充的面部识别评估中也取得了良好结果，表明在所研究的基准数据集上，图像的身份一致性得到了提升。

我们的研究贡献如下：
1. 多尺度语义融合。我们将语义解析特征整合到扩散过程中，以在去噪过程中提升面部结构的学习能力，进而提高生成面部图像的空间一致性。
2. 混合交叉注意力纹理融合。我们利用预训练的GAN从草图中提取粗糙但纹理丰富的初步结果，然后通过混合交叉注意力模块将这些特征融入去噪过程，以优化面部细节。
3. 基于ViT的全局结构建模。我们在U-Net的中间层整合了ViT模块，以捕捉全局低频结构信息，帮助抑制伪影的同时保留面部结构。

本研究的其他部分结构如下：第2节回顾现有的图像到图像转换方法以及扩散模型和Transformer在视觉合成领域的最新进展。第3节介绍所提出的方法。第4节详细讨论实验结果和分析。最后，第5节对研究进行总结。

相关文献
本节回顾了图像到图像转换方法、扩散模型以及基于Transformer的视觉合成方法。

方法
本节概述了将草图转换为逼真面部图像的新方法。我们的主要目标是通过在所有转换阶段有效地捕捉和优化语义结构及纹理细节，来提升合成质量。整体架构设计详见3.1节。

数据集与实现细节
在本研究中，共使用了四组不同的面部数据集：ARMartinez和Benavente（1998年）、XM2VTSMesser等人（1999年）、CUHKWang和Tang（2009年）以及CUFSFZhang等人（2011b年），分别包含123对、360对、188对和1194对草图与照片图像。在AR数据集中，我们分配了100对图像用于训练，剩余23对用于测试。在XM2VTS数据集中，我们分配了300对图像用于训练，剩余60对用于测试。在CUHK数据集中，我们分配了150对图像用于……