通过自注意力注入实现零样本跨域图像合成

《Neural Networks》：Zero-shot Cross-Domain Image Composition Via Self Attention Injection

　　

• •
  我们提出了一种全新的无训练三分支去噪框架，该框架在跨域图像合成任务中展现出顶尖的性能，有效解决了风格一致性与结构保留之间的矛盾。
• •
  我们提出了风格引导机制，利用扩散模型中的自注意力语义，通过条件调制和基于能量的引导来实现风格协调，其效果优于AdaIN等统计方法。
• •
  我们引入了语义注入策略，在生成过程中用自注意力概率图替代原有内容，从而在大幅风格变化的情况下仍能保持源对象的几何结构。

引言

图像合成，即将源对象无缝集成到目标背景中的过程，是计算机视觉和生成媒体领域中的一个核心挑战。与简单的复制粘贴操作或图像编辑方法不同，成功的图像合成不仅要确保插入对象保持其结构特征，还要使其与背景的环境因素——包括光线、纹理和艺术风格——完美融合。这项技术在诸多行业都具有巨大应用潜力，从为数字娱乐创建沉浸式幻想场景，到为电子商务广告插入产品图片，皆可发挥作用。

图像合成技术经历了不同的发展阶段：早期方法依赖于手工设计的操作，如颜色迁移和泊松混合；随后，基于生成对抗网络的方法通过对抗训练实现了数据驱动的和谐处理；而最近，扩散模型逐渐成为主流框架，它通过迭代去噪过程实现高精度合成，并具备精细的控制能力。此外，还有通过微调扩散模型来学习对象与背景之间相互作用的研究。现有方法虽然在逼真度方面表现优异，但在处理跨域合成任务时往往存在风格不一致的问题。为避免训练方法的计算开销和泛化限制，无训练方法逐渐成为一种可行的替代方案。这类方法通常通过注意力操控、潜空间操控以及自适应实例归一化等技术来利用预训练的扩散模型，但我们发现这些方法存在一个根本性的理论缺陷，即过度依赖自适应实例归一化来进行风格传输。这类技术主要修改的是低级特征统计值，如均值和方差，而这些参数仅能影响图像的色调和色彩，无法捕捉高级的语义风格特征。因此在去噪过程中，潜在特征往往会偏离其原有的语义轨迹，从而导致源对象结构失真或出现不自然的视觉效果。

现有的一些方法在逼真度方面表现不错，但这些基于训练的方法在处理跨域合成任务时往往存在困难。为解决这一问题，我们受近期基于注意力的风格传输技术的启发，发现扩散模型中的自注意力机制具备匹配不同图像之间语义特征的能力，而且图像的空间结构也主要体现在其注意力图中。基于这些认识，我们提出了一个包含风格引导和语义注入的新框架。与依赖自适应实例归一化的传统方法不同，我们通过将键值替换与基于能量的引导相结合来实现风格传递，从而将“风格”视为一种类似提示的引导信号，而非破坏性的覆盖。同时，我们还通过注意力图替换来实现语义注入，以此保持对象的几何结构。实验结果表明，这些方法在各种领域的复杂图像合成任务中都能取得优异的性能，且生成的图像风格多样，如图3所示。

综上所述，我们的贡献主要有三点：

• •
  我们提出了一种无训练的三分支去噪框架，该框架在跨域图像合成任务中展现出顶尖性能，有效解决了风格一致性与结构保留之间的矛盾。
• •
  我们提出了风格引导机制，利用扩散模型中的自注意力语义，通过条件调制和基于能量的引导来实现风格协调，其效果优于AdaIN等统计方法。
• •
  我们引入了语义注入策略，其在生成过程中用自注意力图替代原有内容，从而在大幅风格变化的情况下仍能保持源对象的几何结构。

章节节选

图像合成

图像合成是将前景对象插入背景中的技术，它已经从像素级的操作发展到语义层面的合成。与专注于全局光照的低光增强技术不同，图像合成需要针对局部场景进行有针对性的调整。早期的方法如泊松混合和高斯金字塔算法，主要是对图像进行平滑处理

潜空间扩散模型

我们的框架是基于潜空间扩散模型构建的，这类模型在压缩后的潜空间中进行运算，从而降低计算复杂度。扩散模型可以被看作是一种概率性的马尔可夫链。在正向过程中，一个纯净的数据样本会随着时间的推移逐渐被高斯噪声污染。在第t步时，带有噪声的样本可以表示为：其中，是噪声概率密度函数，它是由和定义的，这里表示的是标准正态分布函数。

概述

我们的目标是通过将源对象（由掩码标记）从源图像无缝合成到背景图像的目标区域（由另一掩码标记），进而生成编辑后的图像，必要时还可以借助文本提示来指导合成过程。我们在实现这一目标时需要遵循三个原则：与背景保持风格一致、合成边界处过渡平滑，以及保持对象的几何结构不变。

我们设计了一个三分支的扩散模型架构，用于协调编辑、结构保持和风格处理等功能。

实验设置

数据集。为了评估我们方法的稳定性和通用性，我们在两个专为图像合成设计的基准数据集上进行了大量实验。第一个数据集名为AI-Dataset，它包含了297对跨域图像对，这些图像涵盖了从真实照片到高度风格化的艺术作品等多种类型，非常适合测试模型在面对大范围风格差异时的表现。

结论

我们提出了一种无需训练的框架，该框架通过注意力操控技术，解决了图像合成中的结构保真度和风格协调性问题。该方法在早期去噪阶段利用语义注入来保持物体的空间结构，而在后期则通过风格引导机制从背景中提取风格特征并应用到目标对象上。实验结果表明，与现有方法相比，我们的方法在边界一致性和视觉连贯性方面都有显著提升，充分证明了该方法的有效性。

CRediT作者贡献说明

陈向瑞：论文撰写——审阅与编辑、论文撰写——初稿撰写、方法设计、实验研究、形式化分析、数据整理。 司琪：论文撰写——审阅与编辑、指导工作。 王博：论文撰写——审阅与编辑、指导工作。 张兆：论文撰写——审阅与编辑、指导工作、资源协调、资金筹集。 叶献明：指导工作、资金筹集。 杨云：指导工作、资金筹集。 张海军：指导工作、资金筹集。

利益冲突声明

所有作者均声明，他们不存在任何可能影响本文研究成果的财务利益关系或个人关系。

致谢

本研究得到了国家自然科学基金（62472137）、中国计算机学会-网易雷火创新研究基金（CCF-Netease 202611）、云南省软件工程重点实验室开放基金（2023SE103）以及广东省教育厅重点科研平台与项目（2022ZDZX1038）的支持。张兆为本文的通讯作者。

Xiangrui Chen|Qi Si|Bo Wang|Zhao Zhang|Xianming Ye|Yun Yang|Haijun Zhang