StyleDiffusion：基于文本编辑的提示嵌入反转技术

《Computational Visual Media》：StyleDiffusion: Prompt-embedding inversion for text-based editing

　　

摘要：

目前有大量的研究致力于利用预训练扩散模型的强大能力来进行图像编辑。这些方法要么对模型进行微调，要么在预训练模型的潜在空间中对图像进行反变换。然而，这些方法存在两个问题：(i) 在选定的区域得到的结果不够理想，而在未选定的区域则会出现意外的变化；(ii) 需要对文本提示进行细致的编辑——提示中必须包含输入图像中的所有视觉对象。为了解决这些问题，我们提出了两项改进：(i) 仅优化跨注意力层中值线性网络的输入就足以重建出一张真实的图像；(ii) 通过引入注意力正则化，在重建和编辑后保持类似对象的注意力分布，从而实现精确的样式编辑而不导致显著的结构变化。我们还改进了用于无分类器引导的无条件分支的编辑技术（该技术借鉴了P2P的实现方法）。在多种图像上的广泛实验表明，我们的方法在编辑效果上优于现有的和同时期的研究工作。我们的StyleDiffusion代码可通过以下链接获取：https://github.com/sen-mao/StyleDiffusion。