《Image and Vision Computing》:OIDSty:One-shot identity-preserving face stylization
编辑推荐:
面部风格化技术中存在身份保留与风格表达的冲突问题。本文提出OIDSty系统,通过分层注意力机制实现身份保留与风格注入的解耦:在跨注意力层使用高保真身份模块精确保留面部语义和几何结构;在自注意力层采用DINO-style纹理指导模块动态优化风格特征,解决了现有方法中风格与内容信息混淆导致的生成质量下降问题。实验表明该方法在多项指标上优于SOTA模型,且无需参数调优。
Kairui Wang|Xinying Liu|Di Zhao|Xuelei Geng|Tian Xian|Yonghao Chang
山东科技大学智能装备学院,中国山东省泰安市271000
摘要
近年来,基于扩散模型的图像生成技术在面部风格化领域取得了显著进展。然而,现有方法在保持高身份逼真度的同时,仍面临强烈的风格表现力的挑战,尤其是在平衡风格化引入的几何变形与精细面部特征(如面部特征和姿势)的保留方面。为了解决这个问题,本文提出了一种新颖的单样本面部风格化系统——OIDSty。其核心创新在于将身份保持和风格注入任务分离到不同的注意力层中,主要通过两个关键设计实现:(1)高保真身份模块,该模块创新性地结合了强语义条件和弱空间条件来指导跨注意力层。这种设计能够在允许风格化几何变形的同时,精确保留核心身份和面部布局特征;(2)DINO-Style纹理引导模块将这种损失函数引入自注意力层,以计算理想风格化输出与当前输出之间的特征差异。这种损失被集成到去噪采样过程中,通过梯度动态校准潜在特征,确保风格化纹理高效准确地转移到目标图像上。广泛的实验结果表明,OIDSty能够生成高保真度、风格独特的图像。与现有的最先进方法相比,我们的方法在所有客观和主观评估指标上均表现出显著优势,且无需复杂的参数调整。
引言
面部风格化是指将真实的人脸图像转换为具有特定艺术风格(如卡通、油画、素描等)或夸张特征的图像的技术。它不仅是一种新颖的技术工具,而且已成为各个行业中的关键技术。在数字娱乐领域(如动画制作和游戏),它通过自动将真实世界参考图像转换为一致的艺术纹理,简化了资产创建流程,大大减少了人工劳动。在社交媒体和蓬勃发展的元宇宙中,它使用户能够构建独特的数字身份(头像),同时保留其可识别的面部特征,并遵循特定的艺术主题,从而促进更吸引人和个性化的虚拟互动。此外,在商业广告和数字艺术创作中,它能够从单一主题快速原型化多种风格变化,从而提高创作效率和美学多样性。之前的研究[1]、[2]将一次性面部风格化视为风格转移问题,并使用生成对抗网络(GANs)将目标图像的风格转移到源人脸图像[3]上。尽管取得了成功,但我们观察到GANs在对抗训练中经常存在稳定性问题,这限制了输出的多样性,并使其容易出现伪影。
近年来,扩散模型在生成式AI领域取得了重大突破,为解决上述挑战提供了新的强大范式。早期研究[4]、[5]主要关注使用均匀风格数据集对扩散模型进行微调,以确保生成输出与训练分布之间的风格一致性。然而,这种方法通常需要数百张肖像图像和数小时的训练时间。最近的研究进展转向了无需微调的图像生成方法[6]、[7]、[8]。这些方法包括基于适配器的和无适配器的方法:无适配器方法[6]利用扩散架构中固有的自注意力机制,通过共享注意力从参考风格图像中提取区分性键值特征。相比之下,基于适配器的方法[8]、[9]、[10]、[11]使用轻量级模块从参考图像中提取风格表示,然后通过跨注意力机制将这些信息注入扩散模型。然而,如图1所示,即使是最先进的方法也难以在保留源内容(如面部表情、面部特征比例)的同时实现合理的风格化(例如几何变化、纹理改变)。我们发现了这一限制的两个主要原因。首先,无适配器方法[6]通过在自注意力层中替换键()和值()来传递风格。然而,这种“硬替换”策略存在一个根本缺陷:当源图像的查询()和风格图像的键值对()存在显著的语义或结构差异时,它们之间的相似性计算变得不可靠。这导致特征聚合错误和严重的伪影,最终无法准确复制风格的几何纹理。其次,在基于适配器的方法中,无论是文本还是图像提供风格或内容信息,都通过跨注意力机制输入到扩散模型中。然而,它所依赖的图像编码器无法提供纯风格或内容信息。因此,在注入风格时,适配器将面部图像的艺术风格与其身份内容信息深度纠缠在一起。这种纠缠使得现有的表示学习方法难以有效分离它们,从而阻碍了高保真风格化面部潜在编码的提取。解决这个问题是面部风格化技术广泛部署和商业应用的关键前提。
然而,值得注意的是,即插即用[12]实验表明,自注意力(SA)在图像生成过程中保留源图像的几何和纹理细节方面起着关键作用。此外,Prompt-to-Prompt[13]通过替换来自文本提示的跨注意力(CA)的键和值来实现局部图像编辑,同时保留原始注意力图。换句话说,所有这些研究表明:(1)自注意力决定了空间纹理的几何结构;(2)跨注意力的键和值调节要填充的内容。
受上述方法的启发,我们假设目标图像的高级语义信息(即面部特征)可以通过跨注意力机制控制,而纹理合成则通过自注意力机制管理。因此,我们提出了OIDSty,其创新在于:不再尝试在单一机制中结合风格和内容,而是将身份保持和风格合成任务分离,并分别分配给跨注意力和自注意力机制。我们假设通过CA通道精确控制高级语义(面部信息),同时通过SA通道独立引导纹理合成,可以从根本上解决风格和内容之间的纠缠。
为了实现这种分离策略,我们设计了两个协同工作的关键组件:用于跨注意力的高保真身份模块。为了解决跨注意力中的低保真度问题,我们没有使用弱对齐的CLIP[14]。我们引入了一种新的面部编码器,通过结合强语义条件(面部ID嵌入)和弱空间条件(面部关键点)将高保真身份细节精确注入CA层。在CA层,我们专注于保留身份信息,将风格信息留给SA层。自注意力的风格迭代模块:为了解决SA的错误聚合问题,我们避免了对的“硬替换”。相反,我们引入了一种新的注意力蒸馏机制。这种损失函数在每个去噪步骤中动态计算理想风格化输出(即目标Q和风格与当前输出之间的DINO特征差异。通过反向传播优化这种损失,我们逐渐引导生成的潜在特征(Q)与风格特征()的分布对齐,从而增强风格化效果。
总结来说,我们的贡献可以总结如下:
- •
我们提出了一种面部风格转移方法,它在不同的注意力层之间分离语义和纹理信息,并利用大规模预训练的扩散模型实现高保真样本风格化,而无需对扩散模型进行任何微调。
- •
我们通过提出两个组件进一步改进了简单的风格转移方法,以实现合理的风格适应:面部身份保留模块和风格纹理迭代模块。
- •
在与当前主流方法的实验比较中,所提出的方法表现出明显的优越性,所有指标均达到了最先进(SOTA)的性能。
本文包括以下主要部分:第2章,相关工作,讨论了基于扩散的文本到图像生成和面部风格化的先前研究。第3章,方法,介绍了其基础模型Stable Diffusion、高保真身份模块和DINO-Style模块的推理过程。第4章,实验,详细介绍了实验设置、鲁棒性验证、与最先进方法的比较以及消融实验。第5章,结论,总结了OIDSty系统。我们的整体结构图如图2所示。
部分片段
相关工作
我们的工作OIDSty是一种基于扩散的面部风格化方法。因此,本节的相关工作分为两个相互关联的领域:首先,我们回顾了支撑我们架构的通用文本到图像扩散模型的发展(第2.1节);其次,我们探讨了面部风格化这一特定任务的进展,分析了现有方法为解决内容保留和风格转移挑战而采用的各种策略(第
方法
我们的方法旨在实现单样本面部图像生成,即基于单个参考面部图像和目标风格图像生成目标面部风格图像。图2展示了所提出方法的框架。首先,我们简要介绍了基础模型Stable Diffusion模型(第3.1节)。然后,我们详细介绍了提出的身份保留(第3.2节)和风格转移(第3.3节)。最后,我们描述了推理过程的细节
实验设置
为了使面部适配器在面部风格转移过程中具有更丰富的面部先验知识,并适应不同的颜色和纹理变化,我们使用了SFHQ数据集的一个子集和Dreamina图像生成技术,收集了大约100,000张面部图像,包括真实世界、3D、素描和水彩图像。这些图像用于微调。在训练期间,仅更新了图像适配器(面部适配器)参数,
结论
在本文中,我们提出了OIDSty,这是一种新颖的一次性面部风格化框架,有效解决了身份保持和几何风格转换之间的固有冲突。通过策略性地分离这些任务——通过高保真身份模块在跨注意力中锁定语义身份,并通过DINO-Style纹理引导模块在自注意力中引导纹理合成——我们实现了内容和风格之间的精确解耦。广泛的定量
CRediT作者贡献声明
Kairui Wang:撰写——原始草稿、软件、方法论、形式分析。Xinying Liu:撰写——审阅与编辑、资金获取、形式分析。Di Zhao:验证、资源、数据管理。Xuelei Geng:监督、软件。Tian Xian:调查、数据管理。Yonghao Chang:监督、资源。
资助
本研究由山东省自然科学基金(ZR2020MH291)资助。本研究是上述项目的重要组成部分。
利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系可能会影响本文报告的工作。