ALFStyle：一种基于扩散模型的自适应LoRA融合网络用于风格迁移

《Neurocomputing》：ALFStyle: Adaptive LoRA fusion network for diffusion-based style transfer

　　

抽象图像风格迁移旨在将一幅图像的风格特征注入另一幅图像，同时保留后者的空间结构和语义内容。然而，风格与内容天然相关，在迁移过程中往往相互纠缠，导致风格化图像中存在混合或交织的信息。为缓解这一问题，本文提出了一种基于扩散模型的自适应低秩适应融合网络（ALFStyle）。具体而言，我们使用低秩适应（LoRA）技术对输入图像进行训练，以获得LoRA矩阵。随后，我们利用滤波后的矩阵作为独立信号来表示内容或风格信息，并在扩散模型中进行自适应融合。此外，我们设计了一个基于风格图像原始风格特征的风格信息控制模块，以增强自适应LoRA融合过程中对风格信息的调控。为进一步改善内容结构的保留，我们整合了一个ControlNet条件控制模型，与扩散模型协同工作，以引导风格化结果中的内容生成。实验结果表明，我们提出的ALFStyle在定性及定量性能上均优于现有的图像风格迁移方法，在提供高风格保真度的同时更好地保留了原始内容结构。

引言

图像风格迁移旨在将一幅图像的语义内容与另一幅图像的视觉风格相结合，产生既保留原始结构又呈现目标风格的结果。图像风格迁移是计算机视觉中一个成熟的研究课题，多年来一直受到持续的学术关注[1]。它已被广泛应用于艺术创作、广告设计和医疗诊断等领域[2]。在该任务中，内容通常指图像中的语义实体、场景结构和局部轮廓；风格则包括颜色分布、笔触纹理、艺术材质和整体视觉氛围等属性[3]。然而，风格和f内容在视觉表示中往往高度纠缠。保持内容一致性、控制风格注入强度以及防止结构失真仍是图像风格迁移研究的核心挑战。

传统的神经风格迁移方法依赖特征统计匹配或风格特征编码来实现风格迁移[4]。代表性方法包括基于卷积特征Gram矩阵的优化技术[1]和使用自适应实例归一化的快速风格迁移方法[5]。尽管这些方法在处理低复杂度和单一视觉效果的风格时表现有效，但在多尺度纹理、语义抽象风格或复杂艺术图案的稳定迁移方面力不从心。此外，它们通常无法提供细粒度的区域级风格自适应控制。这一局限性使得在保留原始内容结构的同时维持连贯的风格表示变得困难。

近年来，扩散模型[6]、[7]已成为图像合成[8]的主流范式。它们在文本到图像生成[9]、[10]、可控图像编辑[11]、[12]以及风格迁移方面展现出强大的表达能力。特别是，基于扩散模型的微调技术[13]、[14]能够高效学习特定对象、风格或概念，而不会降低原始模型的能力。其中，低秩适应（LoRA）[15]凭借其轻量级、解耦和即插即用的特性，逐渐发展成为风格迁移的核心技术之一。已有研究[16]表明，LoRA可以将低秩矩阵插入注意力模块，分别训练内容和风格特征，有效缓解风格与内容的纠缠问题。在图像风格迁移任务中，LoRA使独立训练风格LoRA和内容LoRA成为可能，从而精确控制风格注入的程度。

随着LoRA在个性化生成任务[17]中的使用日益广泛，许多研究开始关注如何融合不同的LoRA模块以平衡内容和风格。一些方法允许用户通过可调系数控制每个LoRA的贡献比例，实现个性化风格混合。ZipLoRA[18]尝试训练一个融合比例向量来动态平衡不同的LoRA模块。其他方法提出以周期性方式将LoRA插入特定模型组件中，增强对风格注入位置和频率的控制。此外，B-LoRA[19]进一步证明，仅微调两个注意力模块即可实现内容结构和风格特征的可学习分离。

尽管这些方法极大地推动了基于扩散模型的图像风格迁移研究，但现有的微调方法仍面临显著挑战。在实践中，当前的LoRA方法往往对全局风格和整体内容特征关注不足，这可能导致生成结果中出现内容泄漏或风格化不足等问题。此外，现有的用于风格迁移的LoRA融合机制仍然有限且不灵活，通常需要手动调整参数以适应新输入或特定任务。

基于上述问题，我们提出了一种用于基于扩散模型的风格迁移的自适应LoRA融合网络（ALFStyle）。该网络以内容LoRA和风格LoRA作为独立信号输入，在扩散模型内进行动态融合，以提升风格迁移中的风格一致性、语义结构保留和可控性。

具体而言，我们的动机来自于这样一个观察：在Stable Diffusion XL（SDXL）[20]中，不同的Transformer块对内容和风格信息的敏感性不同。B-LoRA[19]等先前研究已证明扩散模型中存在块专业化现象，这促使我们进一步研究SDXL的块敏感性。我们将SDXL的Transformer块划分为8个块：前三个块定义为块1，中间六个块分别定义为块2、3、……、7，最后三个块定义为块8。通过在不同LoRA注入位置上进行系统实验，我们发现第五个块更适合内容LoRA，而第六个块更适合风格LoRA。

基于这些发现，我们提出了一种用于风格迁移的新型自适应LoRA融合方法。对于从输入图像中训练得到的LoRA参数，我们首先进行块识别并筛选出所需的内容或风格LoRA。然后，我们固定保留内容或风格的特定块的LoRA更新，并对其余块进行动态LoRA混合。融合权重由输入数据的特征和LoRA参数的内部分布驱动。我们利用LoRA块的参数方差作为自适应指标，来估计每个块对内容和风格信息的敏感性。在本文中，固定块为第五个块（用于内容LoRA更新）和第六个块（用于风格LoRA更新）。

此外，我们引入了一个风格信息控制模块来调节风格迁移的强度。风格参考图像按块进行扫描，计算平均颜色和纹理方差，然后在特定范围内进行归一化。归一化后的权重进一步用于自适应LoRA块融合策略中，以控制风格信息整合的程度并调整风格化输出的颜色和纹理。同时，引入类似ControlNet[21]的深度模型作为结构条件，以更好地保留内容结构并减少不一致视觉元素的引入。该模型确保生成的图像更加贴近原始内容参考。

本文的主要贡献可总结如下：
- 我们提出了一种用于基于扩散模型的风格迁移的自适应LoRA融合网络（ALFStyle）。该网络利用表示内容或风格信息的LoRA矩阵在扩散模型内进行自适应LoRA融合，缓解了内容与风格之间的纠缠。
- 我们设计了一个风格信息控制模块，利用原始风格图像的统计风格信息，进一步增强自适应LoRA融合过程中的风格调控。
- 我们引入了基于ControlNet的条件控制模型以促进内容结构完整性的保留。该模型利用内容图像的深度结构信息，并与扩散模型协同工作以引导内容生成。
- 在基准测试数据集上进行的广泛实验表明，我们提出的ALFStyle在风格保真度和内容保真度方面均优于其他竞争方法。

本文结构如下。第2节概述现有风格迁移方法及相关挑战。第3节提出基于扩散模型的自适应LoRA融合网络。该网络以内容LoRA和风格LoRA作为独立输入信号，并在扩散模型内进行自适应融合。第4节与一些代表性方法进行广泛的对比实验，以展示所提出的ALFStyle的优势。此外，还进行了消融实验以验证每个关键组件的有效性。最后，第5节总结我们提出的ALFStyle。

相关工作

本节回顾与本文提出的ALFStyle相关的代表性图像风格迁移方法。这些方法主要包括图像风格迁移方法和基于LoRA微调的风格迁移方法。

方法

本节全面介绍我们提出的基于SDXL骨干网络的ALFStyle。所提出的ALFStyle主要包含三个核心模块：自适应LoRA块融合模块、风格信息控制模块和内容结构控制模块。所提出ALFStyle的框架如图1所示。

实验

本节使用不同的内容-风格图像对进行全面的风格化可视化实验，以评估所提出ALFStyle的有效性。我们将定性和定量实验结果与基线模型进行对比。此外，还进行了消融实验以评估几个关键模块的贡献。

结论

在本文中，为了缓解风格迁移过程中内容和风格信息的纠缠问题，我们提出了一种用于基于扩散模型的风格迁移的自适应LoRA融合网络（ALFStyle）。我们通过训练输入图像获得LoRA矩阵，并利用筛选后的LoRA矩阵作为表示内容或风格信息的独立信号，在扩散模型内进行自适应LoRA融合。此外，我们设计了一个基于原始风格图像信息的风格信息控制模块。

CRediT作者贡献声明

王卓雅：写作——审阅与编辑、可视化、验证、方法论、调查、形式化分析。
文志斌：写作——审阅与编辑、可视化、验证、方法论、调查、形式化分析。
陈贵：写作——审阅与编辑、可视化、方法论、调查、形式化分析。
李雅欣：写作——审阅与编辑、可视化、方法论、调查、形式化分析。
董永生：写作——审阅与编辑、可视化、方法论。

利益冲突声明

作者声明他们没有已知的竞争性经济利益或个人关系可能影响本文所报告的工作。

致谢

本工作部分得到国家自然科学基金（批准号62471175）的支持，部分得到河南省自然科学基金（批准号232300421023）的支持，以及河南省重点研发与推广项目（252102210003）的支持。

王卓雅于2022年获得安阳工学院物联网工程学士学位，目前正在河南科技大学攻读计算机技术硕士学位。她的研究方向包括计算机视觉和深度学习。

王卓雅 | 文志斌 | 陈贵 | 李雅欣 | 董永生