《Signal Processing: Image Communication》：A deep and shallow Adaptive Feature Fusion Method for Image Stylization via Adversarial Learning
编辑推荐：
内容与风格特征学习不足问题，提出AdaAL模型通过自适应特征融合模块动态整合深浅层特征，结合风格属性变换模块与对抗学习提升局部风格，并构建StyID评估指标，实验证明优于现有方法。
Zan Xu|Wengui Cao|Chao Zhang|Wei Zhou|Tao Liu|Min He
湖南城市大学土木工程学院，中国益阳，413000
摘要
当前的风格迁移方法通常在学习深度特征和浅层特征方面存在不足。这种特征学习的不足导致了图像视觉效果不理想。在这项工作中，我们提出了一种基于对抗学习（AdaAL）的深度与浅层自适应特征融合方法，以解决这一问题。具体来说，我们设计了一个自适应特征匹配融合（AdaFF）模块，该模块能够通过动态匹配主干网络中的深度特征和浅层特征来促进内容-风格特征的学习。然后，我们构建了一个结合对抗学习的风格属性转换（SAT）模块，通过对抗训练进一步改善生成图像的局部风格化效果。最后，我们提出了一个风格化理想距离（StyID）指标，用于评估模型的风格化性能，该指标同时考虑了内容和风格特征的学习。大量实验验证了我们提出的AdaAL方法在定性和定量评估方面均优于之前的风格迁移方法。
引言
图像风格迁移的目标是合成一种风格化的图像，这种图像能够融合内容图像的空间结构与参考图像的艺术特征。理想情况下，生成的结果应保留核心内容，同时再现风格的纹理和整体视觉效果。尽管任意艺术风格迁移[1]、[2]、[3]以及特定的子任务（如照片真实感[4]、[5]和卡通风格化[6]、[7]）已经取得了显著进展，但在内容和风格之间实现无缝平衡仍然是一个基本挑战。
虽然现有方法在图像风格迁移方面取得了令人印象深刻的结果，但它们往往表现出领域偏见，要么侧重于风格表达，要么侧重于内容保留。为了清晰起见，我们将这些方法分别归类为风格感知方法和内容感知方法。具体来说，风格感知方法[2]、[8]、[10]、[11]优先提取风格特征，但常常忽略内容结构的完整性。如图1所示，这些方法容易因风格过度学习而导致内容失真和不一致的伪影。相反，内容感知方法[9]、[12]、[13]优先考虑结构保留，但难以捕捉复杂的风格细微差别，通常导致风格化图像缺乏丰富的纹理细节。简而言之，以往的方法未能同时充分考虑两个领域的特征学习，我们将这种现象定义为内容-风格特征学习不足（CSFLI）问题。
此外，大多数现有方法[8]、[9]、[10]、[11]、[14]使用预训练的VGGNet[15]作为主干网络，主要依赖深度特征来进行风格迁移。然而，根据Gatys等人的研究[16]，浅层特征对于提取低级别的风格线索至关重要。这些低级信息对于高保真风格化同样重要，不应被忽视。当前基线方法中忽略浅层信息是导致CSFLI问题的一个重要因素。尽管ArtFlow[2]尝试通过使用可逆网络[17]和流模型[18]来超越VGG，但CSFLI问题仍然存在，而且其复杂的架构导致了较高的计算延迟。
为了解决这些问题，我们提出了自适应特征融合与对抗学习（AdaAL）模型。与EFDM[8]或AdaAttN[12]不同，后者依赖于固定的统计匹配或注意力对齐，我们设计了自适应特征匹配融合（AdaFF）模块来动态整合主干网络中的深度特征和浅层特征，以解决内容-风格学习不平衡的问题。此外，受到GANs[19]生成能力的启发，我们开发了风格属性转换（SAT）模块。在对抗损失的引导下，SAT鼓励模型更好地再现与真实艺术品更接近的精细风格纹理和局部属性。最后，我们提出了StyID（风格化理想距离）指标，从特征学习的角度定量评估风格化性能。我们的主要贡献总结如下：
我们提出了AdaAL模型，通过确保充分的特征学习来缓解CSFLI问题。我们还引入了StyID这一新指标，用于平衡评估风格化性能。
我们设计了AdaFF模块，该模块能够自适应地整合来自不同层次的语义和纹理特征，以提升整体风格化效果。
我们构建了结合对抗损失的SAT模块，以增强生成图像的局部纹理细节和笔触级属性。
大量实验表明，与现有最先进方法相比，我们的AdaAL模型在风格化质量和计算效率方面取得了更好的平衡。
相关工作
相关工作
图像风格迁移方法旨在匹配提取的内容-风格特征，以捕捉相应的风格信息。已有大量相关研究。Huang[10]首次提出了自适应实例归一化（AdaIN）方法，通过调整内容和风格特征之间的一阶统计信息来合成风格化图像。Li[20]提出了白化和着色（WCT）方法，该方法通过对齐风格特征实现快速的风格转换。动机与整体架构
动机给定主干网络浅层中的内容和风格信息与深层中的信息同样重要。大多数风格迁移方法[2]、[8]、[10]、[11]、[12]所面临的CSFLI问题可能是因为它们没有有效利用主干网络浅层中的内容和风格信息。CSFLI问题可以为如何提高图像风格迁移的视觉效果提供新的视角。
实施细节
我们的AdaAL模型是使用Pytorch框架[31]实现的。训练和测试数据集[1]来自MS-COCO[32]和WikiArt[33]。从MS-COCO和WikiArt数据集中分别选取了100k张图像作为内容和风格图像进行训练，训练图像的分辨率被裁剪为256 × 256。此外，还使用了卡通数据集[2]。结论
在这项工作中，我们首先研究了当前基线风格迁移方法中的CSFLI问题。为了解决这个问题，我们提出了一种自适应特征融合与对抗学习（AdaAL）风格迁移模型。具体来说，我们设计了AdaFF模块来动态匹配主干网络的深度特征和浅层特征嵌入。然后，我们构建了结合对抗学习的SAT模块，以通过对抗训练改进局部风格信息的学习。最后，我们构建了
CRediT作者贡献声明
Zan Xu：撰写 – 审稿与编辑、撰写 – 原稿、可视化、方法论、概念化。Wengui Cao：撰写 – 审稿与编辑、方法论、概念化。Chao Zhang：验证、方法论、数据管理、概念化。Wei Zhou：调查、数据管理、概念化。Tao Liu：验证、形式分析、概念化。Min He：方法论、形式分析。
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。
致谢
本研究得到了国家自然科学基金（资助编号：51879104）和湖南省社会科学成果评审委员会（资助编号：2023844）的支持，特此表示感谢。
