基于跨模态文本引导与渐进式KV融合的可控图像风格迁移优化方法

《IEEE Access》：Optimization Method for Controllable Image Style Transfer Based on DDPM Guided by Cross-Modal Text

为解决传统图像风格迁移方法在语义一致性保持和风格表达自然性上的不足，研究人员开展了一项基于扩散模型（DDPM）的跨模态优化研究。该研究通过引入内容图像的文本描述作为跨模态引导，并设计渐进式KV-blend风格注入机制，实现了在保持内容结构完整性的同时，显著提升了生成图像的语义一致性、视觉质量与风格表现力。该方法无需额外训练，为可控图像生成提供了轻量且可扩展的解决方案。

　　

在数字艺术创作和视觉内容生成领域，图像风格迁移（Image Style Transfer）一直是一个充满魅力的研究方向。想象一下，将一张普通的风景照瞬间渲染成梵高笔下的星空，或是将现代建筑赋予古典油画的质感，这种跨越时空的艺术融合正是技术赋予我们的魔法。然而，这看似简单的“换装”背后，却隐藏着计算机视觉领域的核心难题：如何在为内容图像“穿上”新风格外衣的同时，不丢失其原有的“灵魂”——即内容的结构与高级语义信息。

传统的风格迁移方法，无论是基于卷积神经网络（CNN）的统计特征匹配，还是基于生成对抗网络（GAN）的对抗训练，都面临着各自的瓶颈。CNN方法在处理复杂风格时语义保真度有限，而GAN则常受困于训练不稳定和模式崩溃（Mode Collapse）等问题。近年来，扩散模型（Diffusion Models, DMs）凭借其采样稳定性和对细节的精细合成能力，为风格迁移带来了新的曙光。然而，现有基于扩散模型的方法依然存在三大痛点：首先，它们大多依赖单一图像模态输入，缺乏跨模态的辅助语义约束，导致生成结果在语义表达上不够充分；其次，风格注入策略多为单次或粗粒度融合，容易导致风格过渡不自然或细节模糊；最后，在复杂的语义场景下，现有方法往往难以在保持语义一致性和增强风格表现力之间取得平衡，导致生成效果不尽如人意。

针对这些挑战，来自山东大学的研究团队在《IEEE Access》上发表了一项创新研究，提出了一种基于跨模态文本引导的可控图像风格迁移优化方法。该研究巧妙地引入了内容图像的文本描述作为“语义指南针”，并设计了一种渐进式的风格融合机制，旨在让AI在“作画”时，既能深刻理解画面的“故事”，又能细腻地调和风格与内容的边界。

为了攻克上述难题，研究人员构建了一个基于预训练扩散模型的优化框架。该框架的核心在于两个关键模块的设计与协同工作：

1. 1.
   跨模态文本引导约束机制：该方法不再仅仅依赖图像本身，而是引入内容图像的文本描述作为跨模态引导。利用CLIP（Contrastive Language-Image Pre-training）模型提取文本的语义向量，并通过一个可学习的线性投影矩阵，将其注入到扩散模型U-Net的注意力（Attention）层的查询（Query, Q）空间中。这种设计将文本语义与视觉结构深度融合，为生成过程提供了强有力的语义约束，确保内容的核心信息在风格化过程中不被丢失。
2. 2.
   渐进式KV-blend风格注入机制：为了克服粗粒度风格注入的弊端，研究人员设计了一种分层渐进的融合策略。在扩散模型的反向去噪过程中，该方法根据网络层级的深浅，动态调整内容图像与风格图像在键（Key, K）和值（Value, V）特征上的融合权重。具体而言，在浅层网络（负责局部纹理和细节）中，更多地保留内容特征以维持结构；在深层网络（负责高级语义）中，则逐步增加风格特征的权重，以实现更自然的风格融合。这种“由浅入深”的融合方式，使得风格迁移过程更加平滑、自然，有效避免了风格与内容的生硬冲突。
3. 3.
   实验设置与评估：研究团队在Microsoft COCO 2017（内容图像）和WikiArt（风格图像）等数据集上进行了广泛的实验验证。为了全面评估生成效果，他们采用了ArtFID（艺术风格弗雷歇距离）、FID（弗雷歇距离）、LPIPS（学习感知图像块相似度）和CFSD（内容保真度与风格距离）四项客观指标，分别从艺术风格一致性、分布相似性、感知质量和内容-风格平衡性四个维度进行量化分析。

结果分析

1. 定量比较：全面超越现有方法

研究团队将所提出的方法与AesPA-Net、DiffuseIT、InST、DiffStyle、StyleID、DLIST、DEADiff、DiffDis、StyDiff、FreeStyle以及ASI-SiCA等十种主流风格迁移方法进行了全面的定量比较。结果显示，该方法在ArtFID、FID、LPIPS和CFSD四项指标上均取得了最优性能。其中，ArtFID和FID的最低值表明生成图像在艺术风格分布和整体分布上最接近目标；而LPIPS和CFSD的优异表现则证明了该方法在保持内容结构完整性和平衡内容-风格关系方面的显著优势。

2. 定性比较：视觉效果的显著提升

在视觉效果的定性比较中，该方法生成的图像在风格一致性、语义保持度和整体视觉质量上均优于对比方法。例如，与StyDiff相比，该方法避免了过度平滑导致的细节丢失；与FreeStyle相比，该方法在提供丰富艺术纹理的同时，有效抑制了色彩偏移和语义不一致问题；与ASI-SiCA相比，该方法在保持结构完整性的同时，实现了更完美的纹理对齐，减少了高频细节处的风格泄露。

3. 消融实验：验证核心模块的有效性

为了验证各核心模块的贡献，研究人员进行了一系列消融实验：

• •
  渐进式KV-blend机制的有效性：与传统的Q-fusion（查询融合）方法相比，KV-blend机制生成的图像在保持结构完整性的同时，风格过渡更加自然，纹理细节更清晰，有效缓解了风格与内容的冲突。
• •
  跨模态文本引导的必要性：实验表明，在没有文本引导的情况下，模型容易出现语义偏移或主体模糊。引入CLIP编码的文本描述后，图像的感知相似度显著提升，证明了跨模态信息在稳定内容语义表达方面的关键作用。
• •
  渐进融合策略的优越性：研究人员比较了线性、指数、对数和常数四种融合权重调度策略。结果表明，所采用的线性调度（α_l= l/L）在所有指标上均表现最佳，验证了其与扩散模型层级特征结构的良好匹配性。
• •
  参数敏感性分析：实验还探讨了文本注入强度（β）和风格权重（γ）对生成效果的影响。结果显示，该方法在β=0.4时达到最优，过强的文本约束会干扰风格注入；而在γ∈[0.5, 0.75]的区间内，模型能够实现内容保真度与风格丰富度的最佳视觉平衡。

结论与讨论

本研究成功提出并验证了一种基于跨模态文本引导与渐进式KV-blend风格注入的可控图像风格迁移优化方法。该方法通过将文本语义深度融入扩散模型的注意力机制，实现了对生成过程更精细的语义控制；同时，通过分层渐进的风格融合策略，有效解决了风格注入生硬和内容结构破坏的问题。

该研究的主要贡献在于：第一，提出了一种将文本引导从全局潜在调制转变为注意力层内局部语义路由的新范式，显著增强了语义一致性；第二，设计了一种与扩散模型层级结构相匹配的渐进式融合机制，提升了风格迁移的自然度和清晰度；第三，该方法无需对扩散模型进行重新训练或结构修改，仅通过在注意力层进行操作和融合即可实现优化，具有轻量级和可扩展性的优势。

实验结果表明，该方法在保持内容结构完整性的前提下，在语义一致性、视觉质量和风格表现力方面均优于现有主流方法，为可控图像生成领域提供了一种高效且鲁棒的解决方案。未来，该方法有望进一步拓展至高分辨率生成、多风格融合以及局部风格控制等更具挑战性的应用场景。