TSCM：利用潜在扩散技术实现高效图像合成

《Pattern Recognition Letters》：TSCM: Efficient Image Synthesis Using Latent Diffusion

扩散模型通过两阶段一致性机制（TSCM）显著提升生成速度，结合LoRA技术降低内存需求，在Deepfashion和LAION-5B数据集上实现FID降低、CLIP得分提升及8.8倍速度优化。

　　

林志伟|王小龙|张松川|王涛|郭中华|刘泰

北京工业大学自动化学院，中国北京市海淀区，100081

摘要

本文介绍了一种新颖的扩散模型蒸馏方法，称为两步一致性模型（TSCM）。TSCM显著提高了扩散模型的生成速度，特别是在生成引导图像方面，实现了实时、高分辨率的输出。与传统的 consistency 模型不同，TSCM 首先通过一步解决扩散模型，然后再执行 consistency 模型计算，从而避免了与蒸馏相关的边缘效应。此外，TSCM 还结合了低秩适应（LORA）技术，以防止空间复杂度的显著增加。值得注意的是，TSCM 仅需要少量的存储空间增加，就能显著提高模型推理速度，并且支持在保持原始模型权重不变的情况下进行训练。

为了验证 TSCM 的有效性，我们在 Deepfashion 数据集和 LAION-5B 数据集上进行了实验，评估了其蒸馏效果。在 Deepfashion 数据集中，TSCM 将 Frechet Inception 距离（FID）从 11.238 提高到了 10.352，将 Learned Perceptual Image Patch Similarity（LPIPS）从 0.1921 提高到了 0.1824。在 LAION-5B 数据集中，TSCM 在减少生成步骤数量时有效避免了图像模糊，并且其 CLIP 分数比之前的采样方法提高了 4.21。此外，TSCM 还可以将生成时间平均压缩 8.8 倍，同时保持相同的图像生成质量。

引言

条件图像生成使得诸如文本到图像合成 [1]、姿态引导生成 [2] 和虚拟试穿 [3] 等应用成为可能。虽然传统的单步方法（如 GANs [4]）通常会产生具有纹理缺陷和局部模糊的图像，但扩散模型 [5] 通过多步去噪过程显著提高了生成质量 [6]。然而，它们的迭代性质导致生成速度较慢（每张图像需要 2-15 秒），这阻碍了实时应用的发展。

早期的方法侧重于优化采样计划 [7]。尽管步长采样可以减少步骤数，但通常需要超过 20 次迭代才能保持质量。一个更近期且有前景的方向是模型蒸馏，特别是通过一致性模型 [8]，旨在模仿生成过程本身，而不是学习真实的数据分布。尽管基础扎实，但早期的一致性模型可能会受到采样不稳定或细节失真的影响。

最近的进展，如潜在一致性模型（LCMs）[9]，已经在潜在空间内成功应用了一致性蒸馏，实现了显著的加速。在此基础上，LCM-LoRA [10] 证明了参数高效微调（PEFT）技术可以快速适应大型扩散模型以进行基于一致性的采样。虽然这些方法显著推动了该领域的发展，但它们主要关注于优化蒸馏过程或适应效率。

为了解决稳定性与速度之间的权衡，我们提出了一种基于两步一致性模型（TSCM）的潜在扩散框架。我们的方法通过以下方式改进了标准的一致性模型：（1）引入了一个中间解决步骤来稳定一致性映射，而不是依赖于直接的噪声到图像的估计；（2）实施 LoRA 适应 [9] 以减少双模型架构的内存开销。TSCM 在保持细节保真度的同时，将速度提高了 2 倍。

在 DeepFashion 和 LAION-5B 数据集上的实验通过 FID [11]、SSIM [12]、LPIPS [13] 和 CLIP 分数 [14] 评估了生成质量。综合测试确定了最佳超参数，证明了 TSCM 在不同条件下生成高分辨率人类图像的有效性。

本文的主要贡献如下：

1. •
   开发并实现了“两步一致性模型”（TSCM），可以有效缩短通过扩散模型生成图像所需的时间。
2. •
   提出了低秩适应（LoRA）方法，解决了模型在蒸馏前后无法共存的问题，节省了计算资源。
3. •
   在相同的推理速度下，所提出的 TSCM 在 FID、SSIM 和 CLIP 分数方面优于基线一致性模型，提高了图像生成质量。

章节片段

扩散模型

扩散模型通过逐步向图像添加噪声，然后学习逆转这一过程来实现图像生成。设 x_t 表示时间步长 t 的图像。添加噪声的过程可以用数学公式表示如下：