基于扩散模型的文本到图像生成的双域语义-感知控制

《Neurocomputing》：Dual-domain semantic–perceptual control for diffusion-based text-to-image generation

　　

• •
  我们提出了DSPC，用于在扩散模型中分离语义控制与感知控制。
• •
  我们设计了一个注意力重聚焦模块，以强制实现显式的概念存在。
• •
  我们提出了一个动态频率模块，以恢复保持相位的视觉质量。
• •
  兼容扩散管线，无需架构修改。

引言

近年来，文本到图像扩散模型 [1]、[2] 在生成高分辨率和照片级真实感图像方面取得了重大进展。代表性模型如Stable Diffusion [3]、Flux [4] 和 Imagen [5] 已经确立了条件图像生成的主导范式。该领域持续快速演进，尤其是后续的SDXL [6] 和扩散变换器（DiT）架构，进一步增强了组合理解、视觉美学以及对复杂提示的遵循能力。随着视觉叙事和交互式AI助手等应用对可控性和可靠性提出更高要求 [7]，实现高语义对齐与卓越感知质量变得越来越关键。

尽管取得了这些进展，语义对齐与感知质量之间的根本性冲突依然存在 [8]。如图1所示，模型在组合复杂度下往往难以保持语义一致性，导致对象遗漏。此外，此类语义失败通常伴随着感知质量的下降，表现为颜色过饱和、组合伪影或不自然的纹理。这种内在张力是实现真正可控、高保真图像生成的核心障碍。

我们认为，这一困境源于语义注意力修正与预训练去噪轨迹之间的相互作用。在复杂组合提示中，当某些目标概念接收到弱或不稳定的交叉注意力响应时，通常会发生对象遗漏。一种常见的推理时策略 [11]、[12] 是放大这些注意力不足的概念。然而，由于注意力归一化，这种逐令牌的提升可能会抑制竞争概念或引入突然的潜在变化。此类语义干预可能会偏离预训练的去噪轨迹，导致结构扭曲、纹理不自然或其他感知伪影。因此，仅语义完整性是不够的，因为语义修正本身可能引入感知不稳定性。

现有方法通常通过独立的研究路径来改善语义对齐和感知质量。提示工程方法 [1]、[2]、[13]、[14]、[15] 可以改善提示遵循，但需要人工操作或额外训练。基于注意力的语义引导方法 [16]、[17]、[18] 通过修改推理过程中的注意力图或潜在变量来缓解对象遗漏。然而，这些干预独立地为单个令牌强制注意力下限，而未考虑注意力得分的集体分布或其对去噪轨迹的耦合作用。感知增强方法 [19]、[20] 可以提高视觉保真度，但它们并没有直接解决生成图像中是否包含所有必需概念的问题。这促使我们寻求一个统一框架，既能提高语义覆盖率，又能缓解语义干预引入的轨迹扰动。

为此，我们提出了双域语义-感知控制（DSPC），这是一个无训练的框架，将注意力空间中的语义干预与频率域中的感知恢复分离开来。DSPC 不在同一表示空间中应用语义和感知修正，而是在每个去噪步骤内将其分离为两个有序阶段。首先，它通过对交叉注意力图施加统计正则化来鼓励潜在空间中的语义一致性，从而缓解对象遗漏。随后，为了抵消由此产生的离轨效应，它精修预测干净图像的频率域，从而改善结构和纹理质量。这种两阶段流程缓解了语义干预引起的感知退化，在不重新训练模型的情况下同时改善语义对齐和视觉质量。

我们进行了广泛的定量和定性实验，证明DSPC能够改善组合提示下的对象完整性，同时减少语义干预引入的视觉退化。我们工作的主要贡献总结如下：

• •
  我们提出了双域语义-感知控制（DSPC），一个用于推理时语义和感知控制的统一无训练框架。通过在推理过程中干预注意力空间和频率域，DSPC 缓解了语义对齐与感知质量之间的固有冲突。
• •
  我们引入了注意力重聚焦模块（ARM），作为一个下尾统计注意力控制器，通过正则化关键令牌交叉注意力得分的分布统计来改善语义对齐。ARM不是为每个令牌强制独立的阈值，而是促进所有概念之间的自适应注意力覆盖，在缓解对象遗漏的同时保持注意力分布的相对结构。
• •
  我们设计了动态频率模块，以在语义干预后稳定轨迹。该模块实现了由粗到细的精修过程，增强全局结构并细化细节，以保相方式运行以避免破坏语义内容。

本文其余部分结构如下。第2节回顾相关工作。第3节详细描述所提出的DSPC框架。第4节展示实验结果和消融研究。第5节总结全文，讨论其局限性，并概述未来工作方向。

章节片段

相关工作

文本到图像扩散模型。早期的生成对抗网络（GAN）和自回归模型 [7]、[21] 往往存在训练不稳定和多样性有限的问题。扩散模型最近已成为条件图像生成的主导范式。去噪扩散概率模型（DDPM）[22] 和潜在扩散模型（LDM）[3] 等基础框架建立了高质量图像合成的有效管线，而近期的扩散变换器

双域语义-感知控制

在本节中，我们提出了双域语义-感知控制（DSPC），一个在推理时分离语义控制和感知增强的无训练框架。通过在不同表示域中执行这些干预，DSPC 减少了当语义修正和感知增强在单一域内应用时可能产生的干扰。如图2所示，第一阶段，注意力重聚焦模块（ARM）（第3.1节），在

实验

为了评估所提出的DSPC，我们进行了广泛的定量和定性实验。我们的评估表明，DSPC 成功缓解了复杂提示中的对象遗漏，并增强了感知质量，而不损害语义对齐。

结论

本研究致力于解决文本到图像扩散模型中平衡语义对齐与感知质量的挑战。为此，我们提出了双域语义-感知控制（DSPC），一个无训练框架，通过在各自的表示域中独立作用来分别处理这些目标。DSPC 首先通过注意力空间调节来强制语义一致性，然后通过频率域调制来改善感知质量。多项

CRediT作者贡献声明

Liang Runjing：撰写-审阅与编辑，撰写-初稿，方法论。Li Xiaoqiang：撰写-审阅与编辑，项目管理。Yin Changqing：项目管理。Yin Chao：撰写-审阅与编辑。Xi Xiaoting：可视化。

利益冲突声明

作者声明他们没有已知的竞争性经济利益或个人关系，这些可能会影响本论文中报告的工作。

Liang Runjing：2022年获得东北电力大学（中国吉林）学士学位。目前在上海大学（中国上海）计算机工程与科学学院攻读计算机科学与技术硕士学位。她的研究兴趣包括图像处理、计算机视觉和图像生成。

Liang Runjing | Li Xiaoqiang | Yin Changqing | Yin Chao | Xi Xiaoting