《Journal of Visual Communication and Image Representation》：Evaluating representation conditioned diffusion models: A comparative study of image-based representation encoders
编辑推荐：
•研究表征条件扩散模型（RCDM）以实现可控生成。•比较三种条件方法：DINOv2、unCLIP 和可训练编码器（DiffAE）。•使用预训练表征编码器实现更强的领域泛化。•可训练编码器在属性操作中提供更好的身份保持。•GMM 和 RDM 采样使 RCDM 能够实现强大的无条
- •
研究表征条件扩散模型（RCDM）以实现可控生成。
- •
比较三种条件方法：DINOv2、unCLIP 和可训练编码器（DiffAE）。
- •
使用预训练表征编码器实现更强的领域泛化。
- •
可训练编码器在属性操作中提供更好的身份保持。
- •
GMM 和 RDM 采样使 RCDM 能够实现强大的无条件生成。
引言
扩散模型已变革了生成建模领域，为高质量的图像合成和编辑提供了比早期生成模型（如生成对抗网络（GANs）[1]）更强大的替代方案。通过学习到的去噪过程，这些模型逐渐生成图像，在无条件和条件图像生成中均产生最先进的结果。它们能够在保持多样性的同时生成高质量图像，并建模复杂的数据分布，这使得它们在从创意内容生成到机器学习任务的数据增强等各种应用中广受欢迎。
尽管扩散模型（DMs）展示了卓越的生成能力，但它们缺乏一个语义有意义的潜在空间，无法直接且可解释地控制图像属性。这一局限性使得难以执行细粒度和有针对性的图像操作。相比之下，GANs 提供了一个相对结构化的潜在空间，具有可解释的方向，允许在保持其余特征的同时更精确地修改特定的图像细节 [2], [3], [4]。在扩散模型中建立可比的潜在空间仍然是一个未解决的研究挑战。为了解决这个问题，已提出各种方法，包括反演到文本条件空间 [5], [6], [7], [8]、操纵去噪模型内的激活值 [9], [10]，以及联合学习语义有意义的潜在空间 [11], [12]。
最近，表征条件技术已被证明可以通过提供来自提取的图像表征的自监督指导来提高无条件生成的质量 [13]。我们认为这不仅是提高无条件生成的一个有希望的方向，也为提供可用于可控生成的潜在空间提供了可能。与此同时，扩散自编码器 [11] 展示了学习语义有意义的潜在空间以实现可控生成的能力。然而，这些模型难以对训练期间未见过的分布外输入产生可解码的表征。
在本文中，我们研究表征条件扩散模型（RCDM）在可控图像生成和操作任务中的特性。具体来说，我们考察了三种表征条件变体：
- 1.
预训练自监督特征：条件于从视觉基础模型（DINOv2 [14]）中提取的图像表征。
- 2.
视觉 - 语言嵌入：条件于从对比视觉 - 语言模型（CLIP [15]）获得的图像嵌入。
- 3.
联合学习的表征：条件于与扩散模型端到端优化的可训练编码器（扩散自编码器 [11]）。
我们通过以下方式对这些模型进行综合评估：
- 1.
定性分析：通过噪声不变生成、潜在空间插值和属性操作评估可控性和语义一致性。
- 2.
定量评估：在多个数据集上，对基于真实和生成表征的条件生成质量进行评估。
- 3.
潜在空间分析：通过对潜在码进行二元属性预测的线性分类实验，评估学习到的表征的语义对齐程度。
- 4.
泛化能力评估：通过在训练分布之外的多样化数据集上评估生成性能。
我们的实验提供了关于不同条件策略下生成保真度、可控性和潜在空间结构之间权衡的实际见解。
章节摘要
扩散模型中的条件控制
扩散模型条件控制的常规方法涉及使用文本提示 [16], [17], [18], [19]、边界框 [20]、语义图 [21] 等作为输入 [22]。尽管这些方法在一定程度上提供了图像生成的控制，但仍然难以控制图像中的细粒度细节，例如像改变人脸中的头发颜色。像文本反演 [6]、DreamBooth [7] 和自定义扩散 [8] 这样的方法学习基于少数参考图像和映射的语义/概念
方法
对于我们的框架，我们将表征条件扩散模型（RCDM）结构化为两个主要组件：(a) 一个可以是预训练或可训练的编码器，从输入图像中提取低维潜在表征，以及 (b) 训练一个以该表征为条件的潜在扩散模型（LDM）[22]。所提出的流水线改编自 [13] 中介绍的方法，该方法使用 MoCo v3 [35] 编码器和 MAGE [36] 生成器。虽然他们的方法
结果
在本节中，我们使用以下标准评估这三种 RCDM：(a) 其表征空间在多大程度上能够实现可控的图像操作，(b) 表征空间捕捉来自多样化和复杂数据分布信息的能力，以及 (c) 生成图像的整体质量。
讨论与结论
在本工作中，我们对用于可控图像生成和操作的表征条件扩散模型（RCDM）进行了对比研究。我们探讨了三种条件策略：(1) 来自 DINOv2 [14] 的预训练自监督表征，(2) 来自 unCLIP [37] 的视觉 - 语言嵌入，以及 (3) 通过扩散自编码器（DiffAE）[11] 的可训练编码器联合学习的表征。
通过定性和定量评估，我们分析了这些
CRediT 作者贡献声明
Nithesh Chandher Karthikeyan：写作 – 审阅与编辑，写作 – 初稿，可视化，验证，项目管理，方法论，调查，形式化分析，数据整理，概念化。Jonas Unger：写作 – 审阅与编辑，监督，项目管理，方法论，调查，资金获取，概念化。Gabriel Eilertsen：写作 – 审阅与编辑，监督，项目管理，方法论，调查，资金获取，
关于手稿制备过程中生成式人工智能和人工智能辅助技术的声明：
在准备本工作期间，作者使用了 ChatGPT 来协助起草和改写手稿的某些部分，并使用 GitHub Copilot 来支持代码相关任务。在使用这些工具后，作者审查并编辑了内容（根据需要），并对已发表文章的内容承担全部责任。
资助
本工作得到了 瓦伦贝格人工智能、自主系统和软件计划（WASP） 和由 克努特和爱丽丝瓦伦贝格基金会 资助的主要 WASP NEST 的支持，以及 林雪平大学 Zenith 职业发展计划 的支持
利益冲突声明
作者声明他们没有任何已知的竞争财务利益或个人关系，这些关系可能会影响本论文中报告的工作。
致谢
计算由林雪平大学国家超级计算中心提供的克努特和爱丽丝瓦伦贝格基金会贝尔泽利乌斯资源提供支持。我们要感谢我们的同事 Yifan Ding 在起草手稿期间提供的宝贵反馈。
Nithesh Chandher Karthikeyan|Jonas Unger|Gabriel Eilertsen
