《Pattern Recognition》:FreeStyle: Free Lunch for Text-guided Style Transfer using Diffusion Models
编辑推荐:
摘要:生成式扩散模型(Diffusion Models)的快速发展显著推进了风格迁移(Style Transfer)领域的发展,然而当前大多数基于扩散模型的风格迁移方法通常涉及耗时的迭代优化过程,例如模型微调(Fine-tuning)及风格概念的文本反转(Te
摘要:生成式扩散模型(Diffusion Models)的快速发展显著推进了风格迁移(Style Transfer)领域的发展,然而当前大多数基于扩散模型的风格迁移方法通常涉及耗时的迭代优化过程,例如模型微调(Fine-tuning)及风格概念的文本反转(Textual Inversion)。本文提出FreeStyle,一种构建于预训练大型扩散模型之上的创新风格迁移方法,无需额外优化。此外,该方法仅需对目标风格进行文本描述即可实现风格迁移,无需依赖风格参考图像。具体而言,研究人员提出双流编码器(Dual-stream Encoder)与单流解码器(Single-stream Decoder)架构以替代扩散模型中传统的U-Net。在双流编码器中,两条独立分支分别接收内容图像与风格文本提示(Prompt)作为输入,实现内容与风格解耦。在解码器中,研究人员进一步基于给定内容图像及对应风格文本提示对双流特征进行调制,以实现精确风格迁移。实验结果表明,该方法在多种内容图像与风格文本提示下均能实现高质量合成及高保真度。与需训练的现有先进方法相比,FreeStyle省去了数千次迭代的计算负担,同时在CLIP美学得分(CLIP Aesthetic Score)、CLIP得分(CLIP Score)及主观偏好(Preference)等多项评估指标上取得相当或更优的表现。代码已开源:https://github.com/FreeStyleFreeLunch/FreeStyle
论文解读:FreeStyle——基于预训练扩散模型的无优化文本引导图像风格迁移方法
一、研究背景与立题依据
图像风格迁移(Image Style Transfer)旨在将自然图像转换为特定艺术风格的图像,同时保留原始内容信息。随着生成式扩散模型(Diffusion Models)的发展,基于扩散模型的风格迁移方法主要分为微调(Fine-tuning)类方法与基于反演(Inversion-based)类方法。前者需优化部分或全部参数使模型退化至生成特定风格图像,后者需学习将特定风格概念映射为文本令牌(Token)以引导生成。这两类方法均常需上千甚至更多轮迭代训练,计算成本高昂且优化过程缓慢。现有的免优化跨图像注意力机制虽可引入预训练扩散模型实现风格控制,但仍需提供外观或风格参考图像。在实际应用中,用户往往并无风格参考图而仅希望依据文字描述(如"毕加索风格""达·芬奇风格")完成迁移。鉴于大规模文本-图像对预训练扩散模型(如Stable Diffusion、SDXL)本身已在LAION等数据集上习得多样风格的文字-风格对应关系,具备按文本提示生成特定风格的潜质,有必要设计一型既不需参考风格图像、也不需任何参数优化的文本引导风格迁移框架。为此,Feihong He、Gang Li、Fuhui Sun、Mengyuan Zhang、Lingyu Si、Xiaoyan Wang及Li Shen开展了此项研究,提出FreeStyle方法,论文发表于《Pattern Recognition》。
二、主要关键技术方法
研究人员基于预训练大文本引导扩散模型(如SDXL)构建FreeStyle框架,以取代原U-Net结构:(1)设计双流编码器(Dual-stream Encoder),分别用独立分支编码输入内容图像(Content Image)与风格文本提示(Style Text Prompt),提取对应模态特征以实现内容与风格解耦;(2)设计单流解码器(Single-stream Decoder),在解码阶段基于内容图像特征与风格文本提示特征对双流特征进行调制;(3)利用图像低频信号对应语义(内容)信息、高频信号对应风格(Style)信息的特性,在U-Net跳跃连接(Skip Connections)与主骨干(Backbone)特征上分别实例化两个缩放因子(Scaling Factor)——其一调控风格迁移强度,其二控制内容保留程度——通过调节两因子平衡内容保存与艺术一致性;(4)整个结构复用预训练U-Net模块,不引入新参数。实验选取建筑、风景、动物及人像等多域内容图像,配以外加各类艺术风格文本提示进行定性与定量验证,对比方法含CLIPstyler、CAST、StyTr2、UDT2I等。
三、研究结果
Image Style Transfer(图像风格迁移背景综述)
简述风格迁移由传统纹理合成发展至神经网络风格迁移(Neural Style Transfer, NST)及生成对抗网络(GAN)驱动方法的演进历程,点明扩散模型时代的两大类现有方法及局限性,引出本文研究定位。
Preliminaries(扩散模型预备知识)
给出扩散模型正向加噪与反向去噪过程基本公式,说明噪声逐步叠加xt= √(αt ̄) x0+ √(1?αt ̄) ε(其中ε ~ N(0, I),αt= 1 ? βt,αt ̄ = ∏i=0tαi,βt∈ (0, 1)为方差调度),为后续基于预训练扩散模型的特征调制做理论铺垫。
Experiments(实验部分)
研究人员在建筑物、风景、动物及人像等多域内容上广泛实验,与当前先进风格迁移方法进行定性及定量比较。定性结果显示FreeStyle生成的艺术图像风格表达准确且内容与风格融合自然;定量方面,FreeStyle的CLIP Aesthetic Score较对比方法平均提升1.4%,Preference(主观偏好率)超出对比方法32%,CLIP Score具竞争力,验证了方法的鲁棒性与有效性,且省去数千轮迭代训练成本。
Conclusion(结论)
研究人员提出FreeStyle——一种基于预训练大文本引导扩散模型的创新文本引导风格迁移方法。与传统方法不同,FreeStyle无需额外优化或风格参考图像即可实现高效风格迁移。框架由双流编码器与单流解码器组成,通过调整缩放因子可无缝适配特定风格迁移任务。尽管结构简单,该方法在风格表达准确性、内容-风格融合质量上表现优异,在多项指标上达到或超越需训练的前沿方法,为文本引导扩散模型的无参考、无优化风格迁移提供了可行范式。
四、讨论与结论翻译
本研究提出FreeStyle,一种基于预训练大文本引导扩散模型的创新文本引导风格迁移方法。不同于传统方法,FreeStyle无需额外优化及风格参考图像即可实现高效风格迁移。该框架由双流编码器和单流解码器构成,通过调整缩放因子可无缝适配特定风格迁移任务。尽管结构简单,该方法在风格表达的准确性和内容-风格融合的高质量方面表现出色,且在CLIP美学得分、主观偏好及CLIP得分等多项评价指标上达到或超越需训练的现有先进方法,为基于扩散模型的无参考、无优化文本引导图像风格迁移开辟了新途径。