用于可控文本驱动图像生成的动态频率调制

《Pattern Recognition》：Dynamic frequency modulation for controllable text-driven image generation

　　

**主要贡献摘要：**

- 低频分量在生成早期阶段建立结构框架
- 高频分量主导后续阶段以合成细粒度纹理
- 我们提出了一种无需训练的频域调制方法（FMM），采用动态衰减机制
- 直接操作含噪潜变量，避免了经验性的特征图选择
- 在多种生成场景中，我们的方法优于现有最先进方法

**引言**

近年来，文本引导的扩散模型在图像合成[1]、[2]领域取得了显著进展，并广泛应用于多种视觉任务[3]、[4]，如图像编辑[5]和人脸视频合成[6]。这种卓越的生成能力正在从根本上重塑人类图像生成的格局。通过取代艺术家手动创建和修改内容的传统工作流程，这些模型建立了一种由文本提示迭代优化驱动的图像生成新范式。在该范式中，以Stable Diffusion[7]为代表的模型扮演了创作者的角色，直接基于用户提供的文本提示合成图像。因此，用户通过迭代优化提示来引导这一创作过程，以确保生成的图像忠实反映其创作意图。

这种基于文本提示迭代优化的图像生成范式的有效性依赖于一个关键前提：再生成的图像应准确反映特定的语义调整，同时严格保持原始结构框架。然而，在迭代优化提示的过程中，关键挑战在于执行局部语义更新与保持全局结构一致性之间的根本矛盾。当前的文本引导扩散模型对提示变化表现出显著的全局敏感性[8]。由于文本条件引导了整个生成轨迹，即使是为了预期的局部调整而对提示进行微小修改，也会无意间触发完全偏离的生成过程。如图1所示，尽管用户只想调整特定属性并期望已建立的结构框架保持不变，但生成的图像往往会出现意外的全局重构。这种偏离从根本上破坏了用户的创作意图，限制了迭代文本驱动生成范式的实用性。

为解决这一挑战，近期方法提出在去噪模型的空间域内部特征图上进行干预[9]、[10]。这些空间域方法通常通过将原始提示对应生成过程的中间特征图迁移到优化提示对应的生成过程中来维持结构一致性。然而，这些特征图的选择主要是由经验观察驱动，而非显式的因果分析。由于缺乏严格的理论基础，此类方法对于特定内部表征如何分别控制图像结构与样式的不同机制的可解释性有限。因此，生成结果存在固有的不稳定性，次优的特征图迁移可能导致最终输出严重偏离用户的预期。

本文从创新性的频域视角出发，探究文本引导扩散模型中图像结构与细粒度纹理层次化涌现的可解释机制。通过理论分析和大量实验，我们揭示含噪潜变量中的低频分量在生成早期阶段首先建立结构框架，其影响随生成过程推进而减弱，为向高频分量逐渐合成细粒度纹理的过渡提供了基础。基于这一洞察，我们提出了一种无需训练的频域调制方法（FMM）。与空间域方法不同，所提方法采用动态频谱干预。具体而言，FMM应用具有动态衰减的频域依赖加权函数，对优化文本提示对应的含噪潜变量的频率分量与原始文本提示对应的频率分量进行调制。该机制在确保全局构图一致性的同时，保证合成与优化提示相符的语义内容。关键在于，这种调制采用时间自适应松弛策略。随着生成过程推进，逐步松弛频谱约束，从而促进语义内容的自适应演化以实现目标语义调整。通过直接操作含噪潜变量，该方法避免了空间域方法中对内部特征图的经验性选择，提供了更稳健且具有可解释性的解决方案。

在两个基准上的实验结果表明，我们的方法在保持构图完整性与实现精确语义调整以反映优化提示之间达到了最优平衡。除所提方法本身之外，本文揭示了控制图像构图和语义层次化涌现的潜在频谱机制，为增强基于文本提示迭代优化的图像生成范式的可控性提供了新颖视角。

综上所述，本文的主要贡献如下：

- 我们从频域视角进行了理论分析和实验，揭示了文本引导扩散模型中图像结构与细粒度纹理层次化涌现的机制。
- 我们揭示低频分量在生成早期阶段首先确定图像的结构框架，其影响随时间推移逐渐减弱，从而允许由高频分量驱动的细粒度纹理的逐步合成。
- 我们提出了一种新颖的无需训练的频域调制方法，利用具有动态衰减的频域依赖加权函数引入频谱约束以保持结构一致性，同时动态松弛频谱约束以实现响应对优化提示的语义调整。
- 在两个基准上的实验证明，我们的方法显著优于现有最先进方法，在保持构图完整性与实现精确语义调整以反映优化提示之间达到了更优的平衡。

**相关工作**

本文将相关工作分为两类：基于优化的方法和无需训练的方法。

**预备知识**

所提方法基于潜扩散模型（LDM）。LDM由三个核心组件构成：变分自编码器（VAE）、文本编码器τ和条件去噪网络?θ。扩散过程在VAE编码的潜空间中进行。给定输入图像x，编码器E将其投影为潜变量z?=E(x)。在前向过程中，z?在T个时间步中被标准高斯噪声?逐步污染。因此，含噪…

**数据集**

我们在两个基准上评估所提方法：PIE-Bench[30]和ImageNetR-Fake[9]。PIE-Bench包含700对带有各种类型文本提示变化的配对文本提示，包括局部替换、属性修改、对象添加等。ImageNetR-Fake包含150对带有各种类型文本提示变化的配对文本提示，包括背景调整、风格调整、材质调整等。

**对比方法**

我们使用PnP[9]、FPE[10]、TtfDf[31]、Diffedit[23]和…

**参数α的影响**

为探究α的影响，我们在PIE数据集上将σ固定为0.40，并在[0.10, 0.30]范围内变化α。如表2和图6所示，变化α显示出明确的权衡关系。当α从0.10增加到0.30时，结构一致性和背景一致性稳步提升，但CLIP Score下降。在加权函数ω(d,t)中，α对相对径向频率距离d/d_max进行缩放。较大的α使权重分布趋于平坦，有效增加了…

**结论**

本文通过聚焦频域，为文本引导扩散模型中的生成机制引入了新颖视角。它阐明了含噪潜变量的频率谱如何显著影响图像结构和细粒度纹理的层次化发展。在生成早期阶段，低频分量在建立结构框架中起关键作用。随着生成过程推进，其重要性逐渐减弱，取而代之的是…

**作者贡献声明**

史天栋：撰写初稿、验证、软件、资源、方法论、调研、数据整理。
彭程力：审阅与编辑、验证、监督、软件、项目管理、资金获取、概念设计。
齐吉：审阅与编辑、验证、软件、调研、形式化分析。
马佳怡：审阅与编辑、可视化、验证、形式化分析。
赵玲：审阅与编辑、资源、方法论、资金…

**利益冲突声明**

作者声明不存在任何已知的竞争性财务利益或个人关系可能影响本文所报告工作的内容。

**致谢**

本研究得到国家自然科学基金（批准号42301433和42271481）和湖南省自然科学基金（批准号2024JJ6496）的资助。

史天栋 | 彭程力 | 齐吉 | 马佳怡 | 赵玲