通过扩散模型中的双路径特征融合实现自主学习风格的迁移

《Neural Networks》：Self-Learning Style Transfer via Dual-Path Feature Fusion in Diffusion Models

　　**摘要**
风格迁移结合了一张图片的内容和另一张图片的艺术风格。扩散模型的最新进展提升了图像生成的质量，但在保持高质量生成的同时减少风格和内容的耦合仍然具有挑战性。我们提出了基于扩散模型的自学习风格迁移（Self-Learning Style Transfer，简称SLST）框架，该框架通过双路径特征融合来协调以风格为主和以内容为导向的表示。对于风格表示，自学习风格编码器（Self-Learning Style Encoder，简称SLS-Encoder）使用可学习的查询、随机掩蔽和跨视图一致性学习来鼓励以风格为主的特征，同时减少对内容的依赖，而无需配对的内容-风格数据。为了保留内容，自适应边缘提取提供了结构线索，而BLIP-2生成简洁的内容聚焦描述以提供语义指导。定量评估、视觉比较和用户研究表明，在评估的设置中SLST表现出良好的风格迁移行为。这些结果表明内容干扰有所减少，但并未直接证明表示级别的解耦。

**引言**
艺术图像被广泛认为是强大的沟通工具，能够通过颜色、构图和纹理的战略性应用来传达深刻的思想和情感。这些元素塑造了观众的视觉体验，并能引发情感反应。近年来，风格迁移技术作为一种将艺术表达与日常应用连接起来的方法应运而生，使得图像能够结合不同的艺术风格和现实世界的内容。这些技术使得不同艺术训练水平的用户都能更容易地接触艺术表达。

早期的风格迁移方法采用了基于CNN的特征分离和重组范式，专注于从参考图像中统计学习风格。值得注意的是，Li和Wand（2016年）通过结合纹理合成和神经网络奠定了基础，而Gatys等人（2016年）引入了一种基于卷积神经网络的方法来分离和重组内容和风格表示，尽管计算成本相对较高。Huang和Belongie（2017年）实现了实时的任意风格迁移，但依赖于颜色和纹理等低级特征，无法总是捕捉到细粒度的风格差异。生成对抗网络（GANs，Radford，2015年）的出现引入了一种基于GAN的对抗训练范式，从特征匹配转向了端到端的风格分布学习。CycleGAN（Zhu等人，2017年）通过循环一致性损失实现了非配对迁移，克服了对配对数据集的需求，但面临模式崩溃和训练不稳定的问题。StyleGAN（Karras等人，2019年）通过渐进式生长实现了分层风格控制，但在再现复杂艺术风格方面可能存在困难。

在生成模型方面的最新进展，特别是扩散模型（Chen, Sun, Song, Luo, 2023b; Xia, Zhang, Wang, Wang, Wu, Tian, Yang, Van Gool, 2023; Zhang, Huang, Tang, Huang, Ma, Dong, Xu, 2023b），扩展了风格迁移的设计空间。扩散模型具有显著的生成能力，能够在文本提示的基础上生成高度逼真和风格化的图像。基于文本的风格迁移提示显示出了有希望的结果（Avrahami, Lischinski, Fried, 2022; Chai, Guo, Wang, Lu, 2023; Chen, Pan, Yao, Mei, 2023a; Sohn, Jiang, Barber, Lee, Ruiz, Krishnan, Chang, Li, Essa, Rubinstein等人，2024），其中预定义的标签（如“卡通”、“草图”或“水彩”）指导图像生成过程。然而，这种方法受到能够充分代表多样化艺术风格的标记数据集可用性的限制。许多复杂的艺术风格难以用简单的词语描述，这无法完全捕捉到个别艺术表达的丰富性。因此，使用图像作为直接的风格参考成为了一个更有吸引力的方向，因为图像本身携带了文本无法完全传达的细粒度、复杂的风格细节。然而，在基于图像的风格迁移中，一个关键挑战是学习对风格参考的语义内容依赖性较低的风格主导表示。现有方法存在明显的缺点。LoRA（Hu等人，2021年）、TextInversion（Gal等人，2022年）和DreamBooth（Ruiz等人，2023年）通过微调扩散模型来捕捉目标风格，但这种方法资源密集，可能不适用于实际应用。而DEADiff（Qi等人，2024年）尝试通过训练过的Q-former分离风格和内容，IP（Ye等人，2023年）采用CLIP（Radford等人，2021年）作为图像编码器进行风格提取，CLIP的文本-图像配对训练机制可能会鼓励语义内容和风格在提取的特征中共存，这可能限制了风格和内容信息的分离。

为了减少基于图像的风格迁移中的风格-内容耦合，我们提出了自学习风格迁移（SLST）框架，该框架通过互补的条件路径协调以风格为主的表现学习（Garcia-Dominguez, Dominguez, Heras, Mata, Pascual, 2024; Zhang, Li, Xia, Yang, Wang, Zhao, Xing, 2025b）。如图2所示，SLST将内容和风格图像作为输入，并结合风格表示学习和互补的特征融合路径。对于风格图像，自学习风格编码器（SLS-Encoder）使用随机掩蔽创建多个视图进行自我监督训练，并学习细粒度的以风格为主的特征，同时减少对内容的依赖。对于内容图像，自适应Canny边缘检测提取结构线索，而BLIP-2生成简洁的内容聚焦描述，提供减少风格干扰的语义指导。在推理过程中，通过单独的条件路径融合互补特征。SLS-Encoder提取的内容边缘特征和风格嵌入被串联起来，并提供给ControlNet（Zhang等人，2023a）以提供结构指导。内容文本特征和风格特征被注入扩散模型的单独交叉注意力分支中。这种设计旨在在保持风格保真度的同时平衡内容结构和语义，并帮助减少条件信号之间的干扰。

在此基础上，SLST通过互补的条件路径协调语义文本指导、风格指导和结构残差条件。因此，这一贡献应被视为一种新的风格表示学习策略及其协调的条件设计，而不仅仅是一个新的扩散框架。

**结论**
我们的主要贡献如下：
• 我们提出了基于扩散模型的自学习风格迁移（SLST）框架，以减少风格-内容耦合。双路径特征融合设计通过单独的交叉注意力分支注入风格和文本，并通过单独的ControlNet路径提供结构线索，有助于减少指导信号之间的干扰，同时平衡风格保真度和内容保留。
• 关键的自学习风格编码器（SLS-Encoder）旨在在没有配对的内容-风格数据或额外注释的情况下从风格图像中学习以风格为主的特征。随机掩蔽创建每个风格图像的多个视图，自我学习目标鼓励掩蔽视图嵌入与相应的未掩蔽参考嵌入之间的一致性。这种策略旨在减少对内容的依赖，而不是消除所有语义信息。
• 报告的定量评估、视觉比较、跨架构实验、组件消融和用户研究结果描述了SLST在评估设置中的风格迁移行为。结果表明，在风格一致性和内容保留之间取得了有利的经验平衡，但并未直接证明完全的风格-内容解耦。

**扩散模型**
扩散模型已成为一类重要的生成模型，与传统方法（如生成对抗网络（GANs，Radford，2015年）相比，提供了更高的图像生成质量和多样性。这些模型通过逐步去噪随机噪声来生成高质量图像，使其在计算机视觉的各种任务中非常通用。

早期将文本特征集成到扩散模型中的工作是GLIDE（Nichol等人，2021年），它使用了...

**方法**
为了减少风格迁移中的风格-内容耦合，本文提出了一种基于Stable Diffusion架构的自学习风格迁移（SLST）框架。该框架包括三个模块：自学习风格编码器（SLS-Encoder）、内容保留模块和推理生成模块。SLS-Encoder无需配对的内容-风格训练数据即可学习以风格为主的特征；内容保留模块从内容中提供结构和语义线索...

**实验设置**
我们使用预训练的IP-Adapter（Ye等人，2023年）和Stable Diffusion v1.5参数作为框架的初始化。图像被调整为512 × 512 × 3的大小。随机掩蔽块为72 × 72像素，不重叠，大约覆盖图像像素的40%，这些像素被设置为（0, 0, 0）。ResBlock和Transformer Encoder从预训练的Style-Aware Encoder参数中进行初始化。训练使用两块NVIDIA A40 GPU，每块内存为48 GB，批量大小为16...

**SLS-Encoder的验证**
SLS-Encoder的行为受到训练期间图像掩蔽比例的影响。我们改变了掩蔽面积比例，并检查其与收敛性和下游风格迁移结果之间的关系。在报告的实验中，20%的掩蔽比例可能会留下更多可见的语义内容，而约40%的比例在破坏内容线索和保留风格细节之间提供了最佳观察到的平衡。更大的掩蔽比例可能会去除有用的风格...

**结论**
在这项工作中，我们提出了自学习风格迁移（SLST），这是一个基于扩散模型的框架，旨在在保持风格保真度和内容结构的同时减少风格-内容干扰。SLS-Encoder使用随机掩蔽和跨视图一致性学习来鼓励以风格为主的表现，同时减少对内容的依赖。报告的定量、定性和用户研究结果表明，在风格相似性和内容保留之间取得了有利的平衡...

**限制与未来工作**
尽管SLST在风格保真度和内容保留之间取得了有利的平衡，但仍存在一些限制。首先，如图6中的失败案例所示，风格参考中高度显著的结构或语义模式偶尔可能会在生成的图像中引入微弱的残差干扰。其次，强烈的风格纹理可能会影响细粒度的几何结构，例如细栏杆或重复的局部细节，即使全局布局得到了很好的保留。

**作者贡献声明**
Jing Guo：写作——审稿与编辑、原始草稿撰写、可视化、验证、方法论。Ying Li：写作——审稿与编辑、原始草稿撰写、可视化、监督、方法论、资金获取、概念化。Shuaiyu Deng：可视化。Longye Du：验证。Yanjun Chen：写作——审稿与编辑。Jun Guo：写作——审稿与编辑。

**利益冲突声明**
作者声明他们没有已知的利益冲突或个人关系可能会影响本文报告的工作。

**致谢**
本项工作得到了江苏省自然科学基金（BK20251869）、江苏省青年科技人才培养计划（STJ-2025-535）、广武汉智与数字经济实验室（SZ）的GBA Ascend应用创新研究院（Grant No. GML-ST-2026-28）以及淮安市科学技术计划项目（HAG202416）的支持。

Jing Guo | Ying Li | Shuaiyu Deng | Longye Du | Yanjun Chen | Jun Guo