通过“收集、反思与优化”方法改进并加速文本到图像的生成过程

《IEEE Transactions on Pattern Analysis and Machine Intelligence》：Improved and Accelerated Text-to-Image Generation with Collect, Reflect, and Refine

文本生成模型CoRe2通过收集、反射、优化三阶段提升扩散模型和自回归模型的生成质量与推理速度，实现性能与效率的同步优化。

　　

摘要：

近期，提升文本到图像（T2I）模型的生成能力已成为学术界和工业界的一个有前景的研究方向。以往的研究通常专注于提高生成质量或减少推理延迟，但往往无法同时改善这两方面。此外，现有的推理增强方法也无法在扩散模型（DMs）和自回归模型（ARMs）上同时实现显著的改进。在本文中，我们提出了一种基于调优的推理增强框架，称为CORE2，据我们所知，这是首个能够在DMs和ARMs上同时实现显著生成质量提升和推理开销降低的方法。CORE2包括三个阶段：Collect、Refine和Refine2。在Collect阶段，收集无需分类器引导（CFG）的轨迹，并在Reflect阶段使用这些轨迹来训练一个能够捕捉“易于学习”内容的弱模型。最后在Refine2阶段，CoRe2可以利用训练好的弱模型来加速推理并提升性能。具体来说，在早期采样步骤中，CoRe2采用从弱模型到强模型的引导方式来优化“难以学习”的内容，从而提高生成质量；而在后期采样步骤中，CoRe2则使用弱模型生成“易于学习”的内容，从而大幅减少推理时间。实验结果表明，CoRe2在HPD v2、Pick-of-Pic、Drawbench、GenEval和T2I-Compbench等任务上，以及在SDXL、SD3.5、FLUX和LlamaGen等模型上均取得了显著的性能提升。值得注意的是，对于SD3.5模型，CoRe2能够与最先进的推理增强算法Z-Sampling无缝集成，在PickScore和AES任务上的胜率分别达到了73%和69%，且所需时间更短。