基于内容与风格分离融合的任意风格迁移方法研究

本文提出了一种创新的任意风格迁移模型，通过设计分离模块（Separation Module）和融合模块（Fusion Module），有效解决了内容图像自身风格信息与风格图像自身内容信息干扰的核心问题。该模型利用纯化的内容部分与风格部分进行特征融合（而非传统的特征统计对齐），显著提升了生成图像的质量，为艺术创作和医学影像可视化（如组织病理学图像风格化）提供了新思路。

　　

亮点

• •
  (1) 我们设计了一个分离模块，将内容特征图和风格特征图中固有的内容信息和风格信息分离开来。最终，使用内容-内容部分和风格-风格部分来生成风格化特征。
• •
  (2) 我们设计了一个融合模块，使得内容和风格的融合效果取决于网络参数的训练过程，而不是费力地设计更好的特征统计对齐方法。
• •
  (3) 实验包括对比实验和消融实验，分别展示了我们设计模型的整体风格化效果以及两个设计模块的有效性。

本文结构

本文结构如下：第二部分总结了风格迁移模型的相关工作。第三部分详细介绍了所提出的方法。第四部分包括详细的实验设置和充分的比较与消融研究。最后，第五部分是对本文的总结。

相关工作

风格迁移已经发展了一段时间。从模型角度来看，它可以分为三种类型：单一模型处理单一内容图像和单一风格图像，单一模型处理多个内容图像和少量风格图像，以及单一模型处理任意内容图像和任意风格图像。

模型概述

给定一个内容图像 I_c 和一个风格图像 I_s，我们的模型可以生成一个风格化图像 I_cs，该图像继承了内容图像的结构和风格图像的风格。图2展示了整体网络结构，它由一个编码器-解码器组成。编码器是一个预训练的VGG-19，其参数保持不变。它具有强大的特征提取能力，可以提取内容和风格图像的深度特征。内容特征图 F_{c_4_1} 和风格特征图 F_{s_4} ...

实验设置

内容数据集是MS-COCO，风格数据集是WikiArt，两者都包含约80,000张图像。在训练中，图像以512 × 512读取，然后随机裁剪为256 × 256来训练模型。在测试中，图像以256 × 256读取。优化器是Adam，学习率为0.0001。批量大小为3。训练总迭代次数为160,000。损失函数权重为 λ_c = 2.0, λ_s = 4.0, λ_id1 = 50.0, λ_id2 = 1.0, λ_sep = 1.0。模型训练和测试均在...

结论

在本文中，我们提出了一种任意风格迁移模型来生成艺术作品。其新颖特性包括设计的分离模块和设计的融合模块。分离模块进一步分离了内容图像和风格图像自身的内容和风格信息。内容特征图的内容部分和风格特征图的风格部分被送入融合模块。融合模块由风格调制和风格映射两部分组成。这两部分...