ConsistDiff：面向语义一致文本到图像生成的无需训练强化学习方法

《Neural Networks》：ConsistDiff: Training-Free Reinforcement Learning for Semantically Consistent Text-to-Image Generation

　　

摘要

扩散模型已成为文本到图像生成领域的主流范式，这得益于其能够从文本提示中生成逼真且多样化的图像的强大能力。尽管取得了这些进展，现有最先进模型往往难以保持忠实的语义一致性，尤其是在处理包含多个实体和属性的复杂描述时。这些不足表现为物体遗漏、属性泄露或文本概念与视觉元素之间绑定不准确。为解决这些挑战，特别是针对在资源受限设备上部署生成模型的需求，我们提出了ConsistDiff，一个推理时优化框架，能够在无需计算昂贵的微调的情况下增强Stable Diffusion。通过将去噪过程建模为在线强化学习任务，我们动态调整token权重以提升语义对齐。具体而言，我们集成了上下文感知注意力机制，利用字符级空间距离来优化token间关系。这种上下文感知设计提供了细粒度的结构信号，能够锐化属性-实体绑定，抑制虚假的长程耦合，且仅带来可忽略的计算开销。此外，我们将针对特定提示的token重加权建模为强化学习问题，并通过一种注意力分离奖励进行优化，该奖励明确惩罚跨实体注意力重叠，同时保留关键物体的显著性。在多个基准数据集上的大量实验表明，ConsistDiff能够持续改善输入文本提示与生成图像之间的语义对齐，同时保持高效的推理效率，并缓解属性泄露和实体不一致等常见问题。

引言

用于文本到图像生成的扩散模型通过直接从自然语言描述合成高质量图像，彻底改变了内容创作方式。Stable Diffusion和Imagen（Ho, Jain, Abbeel, 2020, Ramesh, Dhariwal, Nichol, Chu, & Chen, Rombach, Blattmann, Lorenz, Esser, Ommer, 2022, Saharia, Chan, Saxena, Li, Whang, Denton, Ghasemipour, Gontijo Lopes, Karagol Ayan, Salimans, et al., 2022, Song, Meng, & Ermon, Zhang, Rao, Agrawala, 2023）等最先进框架在将文本概念映射到视觉领域方面展现出卓越能力。然而，当面对涉及多个对象和明确关系提示的复杂提示时，其性能显著下降。传统扩散模型受静态注意力机制驱动，往往无法正确优先处理关键实体或准确捕获实体间的语义关系。这一局限性经常导致模糊细节、物体遗漏和属性泄露等伪影，在更具挑战性的情况下，还会产生语义不一致或对实体交互的错误理解（Rombach et al., 2022）。如图1所示，现有方法在应对包含"坐在旁边"等关系表达的多个物体提示时，普遍存在这些问题。

此前解决这些挑战的工作包括交叉注意力操控技术（Hertz, Mokady, Tenenbaum, Aberman, Pritch, & Cohen-Or, Isola, Zhu, Zhou, Efros, 2017, Liu, Wang, Cao, Jia, Huang, 2024, Patashnik, Garibi, Azuri, Averbuch-Elor, Cohen-Or, 2023, Xiao, Yang, Zhou, Zhang, 2024）、提示优化策略（Liu, Chilton, 2022, Ran, Dong, Yuan, Wen, 2025）、推理时引导（Chefer, Alaluf, Vinker, Wolf, Cohen-Or, 2023, Feng, He, Fu, Jampani, Akula, Narayana, Basu, Wang, Wang, 2023, Guo, Liu, Cui, Li, Yang, Huang, 2024, Han, Lee, Kim, Park, Hwang, 2025, Shen, Song, Xue, Wang, Liu, 2024, Xie, Gong, 2025），以及领域特定模型微调数据集（Ruiz, Li, Jampani, Pritch, Rubinstein, Aberman, 2023, Zhao, Guo, Li, Liu, Jin, 2026）。这些方法从不同角度显著改善了文本到图像生成。然而，它们通常依赖于显式布局输入、隐变量的迭代优化、额外训练或关于空间布局的强假设。近期，推理时对齐方法进一步探索了学习损失函数或动态目标调度，以在不修改底层模型参数的情况下适应扩散采样（Xie, Gong, 2025, Yiflach, Atzmon, Chechik, 2026）。同时，基于强化学习的扩散对齐方法证明了奖励驱动优化在提升扩散模型语义一致性和人类偏好对齐方面的潜力（Black, Janner, Du, Kostrikov, Levine, 2024, Fan, Watkins, Du, Liu, Ryu, Boutilier, Abbeel, Ghavamzadeh, Lee, Lee, 2023, Hu, Zhang, Chen, Kuang, Li, Gao, Xiao, Wang, Zhu, 2025, Wallace, Dang, Rafailov, Zhou, Lou, Purushwalkam, Ermon, Xiong, Joty, Naik, 2024）。然而，现有基于强化学习的方法通常需要稀疏奖励模型训练、策略微调或偏好优化，导致相当大的计算开销，且在预训练扩散模型需要冻结时灵活性有限。与这些先前行不同的是，我们的目标是在不更新扩散骨干网络参数的情况下，在推理阶段实现轻量级、针对特定提示的token控制。通过利用内部注意力动态特性，我们旨在增强细粒度的属性-实体绑定，同时保持低适应成本和高部署效率。

为解决上述挑战，我们提出了ConsistDiff，一个免训练的框架，通过自适应注意力调制增强Stable Diffusion。ConsistDiff与先前的交叉注意力控制和推理时优化方法不同，它联合建模以名词为中心的上下文和在线token重加权。首先，我们采用紧凑的Q学习策略（Sutton, Barto, et al., 1998, Watkins, Dayan, 1992），在去噪过程中选择token级缩放动作，由来源于注意力图分离的代理奖励进行引导。其次，我们引入了字符级空间距离机制，为名词、修饰语和关系词之间提供轻量级结构先验。这种设计避免了显式布局监督、学习辅助目标和昂贵微调，同时保留了原始扩散模型的灵活性。大量实验表明，ConsistDiff在有限的推理开销下，在多个基准测试中改善了文本-图像语义一致性和视觉保真度。

总之，我们的贡献包括以下几方面：

• 1.
  我们引入了ConsistDiff，一个新颖的免训练框架，用于通过动态优化注意力来增强Stable Diffusion，在推理过程中利用强化学习进行文本到图像合成。在注意力分离奖励的引导下，我们的方法在不需重新训练的情况下突出关键物体。
• 2.
  我们提出了一种上下文感知注意力机制，利用名词和关系词之间的字符级空间距离来优化token间关系，相比静态注意力产生了更好的语义保真度。
• 3.
  实验结果证明了我们方法的有效性，实现了高质量图像生成，并通过定量和定性评估验证了增强的文本-图像语义一致性。

本文其余部分组织如下。第2节回顾相关工作。第3节详述了所提出的用于文本到图像生成语义一致性的ConsistDiff框架。第4节展示了实验结果和评估。最后，第5节总结全文。

章节片段

相关工作

本节对与文本到图像生成相关的文献进行简要概述。我们首先考察奠定了多模态合成基础的基本方法，主要关注早期生成架构，然后深入探讨扩散模型及其后续在实现高保真图像生成方面的变革性影响和进展。

方法论

我们展示了模型的完整流程，即ConsistDiff。为了便于全面理解我们的框架，首先在3.1节提供相关背景信息。随后在3.2节和3.3节中详细阐述ConsistDiff的具体内容。

实验结果与分析

本节在四个基准测试中，对ConsistDiff与最先进免训练方法进行定量和定性评估。我们使用DrawBench（Saharia et al., 2022）和COCO（Lin et al., 2014）评估文本-图像对齐和生成保真度。GenEval（Ghosh et al., 2023）评估组合生成能力，而T2I-CompBench（Huang et al., 2025）则考察细粒度的组合推理能力，包括属性绑定、对象关系和空间布局。

结论

在本文中，我们提出了ConsistDiff，一个推理时优化框架，用于文本到图像生成，旨在增强输入提示与合成图像之间的语义一致性，特别适合在资源受限设备上部署。我们的方法将强化学习与字符级空间距离分析相结合，在推理过程中动态调整token的贡献权重。这种自适应机制改善了关键实体的定位，并

CRediT作者贡献声明

王军伟（Junwei Wang）：写作—初稿撰写、可视化、验证、方法论。张开兵（Kaibing Zhang）：写作—审阅与编辑、获取经费、项目管理、监督指导。李鹏方（Pengfang Li）：调查研究、验证、写作—审阅与编辑。刘萌（Meng Liu）：资源支持、验证、可视化。李笑颜（Xiaoyan Li）：概念化、形式分析、可视化。

利益冲突声明

作者声明，他们没有已知的与本文报告的工作存在竞争关系的经济利益或个人关系。

致谢

本工作部分得到国家自然科学基金委员会资助（基金号62036007、U22A2096和61971339）；部分得到陕西省重点研发计划资助（基金号2024GX-ZDCYL-02-07）；部分得到西安理工大学研究生创新基金项目资助（基金号chx2026042）；部分得到湖北省自然科学基金项目资助（基金号2026AFD007）；以及部分得到教育部人文社会和

王军伟 | 张开兵 | 李鹏方 | 刘萌 | 李笑颜