草图扩散：一种基于扩散模型的草图绘制优化方法

《Image and Vision Computing》：Sketch diffusion: A sketch-drawing optimization method via diffusion model

　　

Huaning Liu|Jing Guo|Kai Wang|Shuai Yang|Wen Guo|Yongzhen Ke

中国天津天宫大学计算机科学与技术学院

摘要

肖像素描是一种用线条和明暗表现人物形象的单色艺术形式。在艺术教育中，由于其独特的艺术价值，肖像素描具有重要意义。然而，传统教学方法往往依赖耗时的个别指导，效率较低。为解决这一问题，我们探索了人工智能在优化素描指导方面的潜力。遗憾的是，现有模型难以评估肖像素描的质量，也无法完全理解“优化”这些作品所需的标准。为应对这些挑战，我们提出了Sketch Diffusion，这是一种用于扩散模型的三阶段训练框架。首先，我们利用对比学习训练两个不同的特征提取器：一个专注于捕捉内容语义，另一个则强调素描的特定特征。接着，我们通过引入素描特征损失来重新训练扩散模型，以提高生成图像的逼真度。最后，我们以内容信息作为条件，确保在生成优化后的素描时保留关键的艺术元素。这种方法克服了以往模型的局限性，为素描艺术的创新带来了新的可能。这项工作提出了一种优化肖像素描的突破性方法，相比现有技术取得了显著进步。由于该领域此前缺乏相关研究，我们的成果为提升素描质量提供了新的理论见解和技术框架。此外，我们还构建了一个包含近20,000幅带注释的肖像素描专用数据集，进一步弥补了我们方法上的不足。我们的代码可在以下地址获取：https://gitee.com/yongzhenke/sketch-diffusion。

引言

肖像素描是艺术绘画的基础，起着至关重要的作用。在中国，艺术考试会通过评估学生的肖像素描能力来考察他们的绘画水平。然而，现有的艺术教育模式往往依赖教师的个别指导来帮助学生提升技能。虽然这种方式能让教师及时发现问题并给予针对性反馈，但效率低下且耗时较多。

目前用于优化素描的方法[1]、[2]、[3]、[4]大多仅限于简单的线条画或卡通形象。而肖像素描的特点在于其单色色调、粗犷的线条、通过灰度变化营造出的空间感和立体感以及抽象的表现手法——这些都是普通素描所不具备的。迄今为止，尚未有研究专门针对肖像素描的优化展开探讨。我们借鉴图像生成技术研究了现有的生成模型，但发现存在诸多局限。尽管这些模型能够生成高质量的实景图像，却往往无法生成符合专业标准的肖像素描，尤其是在解剖结构的准确性和艺术表现力方面。此外，现有的公开肖像素描数据集规模较小，质量参差不齐，艺术风格也不统一，每个主题通常只有一幅图像。这些因素都限制了机器学习模型的性能。

我们的目标是利用人工智能提升素描水平，让模型能够生成高质量的肖像素描，为学习者提供另一种提升技能的途径。为此，我们提出了名为Sketch Diffusion的三阶段方法：（1）通过对比学习进行特征提取：我们训练两个特征提取器，分别捕捉肖像素描的内容信息（如面部结构）和素描特征（如线条质量和明暗处理）。（2）扩散模型重训练：我们通过引入素描特征损失来微调扩散模型，从而生成更高质量的肖像素描，提升模型产生专业级结果的能力。（3）基于内容的生成：我们在训练过程中利用提取的内容信息作为条件信号，确保模型在生成优化后的素描时仍能保留原主体的特征。目前肖像素描数据集的一个主要问题是，其中往往缺少与高质量版本同一主题的低质量素描。这一缺陷使得模型难以学习到有助于提升素描质量的关键差异。为解决这个问题，我们提出了一种高效且低成本的方法来构建包含高质量和低质量素描的训练数据集。我们没有让艺术家手动绘制低质量素描——这既耗时又费钱——而是利用大型生成模型对高质量素描进行降质处理。通过这种方式，我们构建了一个包含2200幅高质量肖像素描和17,600幅低质量版本的数据库。这样模型就能通过对比学习掌握如何提升素描质量。我们的工作将人工智能艺术生成与实际训练相结合，让新艺术家更容易且更经济地学习素描技巧。

我们的贡献总结如下：

• •
  我们提出了一种新的特征提取方法，能够区分并分离肖像素描中的内容信息和素描特征。
• •
  我们开发了一种基于扩散的优化框架，能够在不改变主体特征的前提下提升用户提交的肖像素描质量，为艺术教育提供了一种可扩展的解决方案，减少了对传统个别指导的依赖。
• •
  我们构建了一个大规模数据集，为肖像素描的生成与优化研究提供了支持，解决了现有数据集数量少且质量不统一的问题。

章节节选

素描优化

Edgar Simo等人在其研究[2]中提出了一种素描优化方法。经过大量训练后，他们的模型能够简化杂乱粗糙的素描，生成简洁清晰的版本。类似地，Sasaki Kazuma等人在[1]中也采用了类似方法，通过配对数据从杂乱的素描中提取简洁的线条。这两种方法都依赖图像进行训练：前者使用大量的卡通角色素描数据集，而后者则侧重于机械类素描

方法

本节介绍了Sketch Diffusion的架构和训练流程，如图1所示。我们的训练分为三个阶段。首先，我们利用对比学习训练两个特征提取器，从而有效提取素描肖像的特征（见图1a和1b）。接着，我们设计了一种扩散模型，通过引入素描特征损失来学习素描特征（见图1c）。最后，我们训练了ControlNet，使模型能够接收素描

数据集

在之前的素描优化研究[1]、[2]、[3]、[4]中，通常需要配对数据来让模型理解“优化”的概念。在传统方法中，输入图像是低质量的素描，而真实参考图像则是高质量的图像。模型通过这些图像对构建损失函数，从而学会“优化”素描。虽然我们的方法与传统方法不同，但仍然需要相同主题但质量不同的图像作为训练数据。这

实验设置

我们所有的实验和训练都是使用PyTorch框架进行的，硬件配置如下：英特尔酷睿i9-139002.00 GHz处理器，配备24GB显存的高性能NVIDIA GeForce 4090显卡，以及32GB内存。在训练过程中，我们使用了AdamW优化器，学习率设置为0.0001。对于第4-1节中提到的两个特征提取器，我们使用的批量大小为512，训练周期为100轮。而训练扩散模型和ControlNet时，批量大小则为8

结论与未来工作

在本文中，我们介绍了一种名为“素描扩散优化”的新方法，用于优化肖像素描。我们通过比较和预训练两个特征提取器，开发出一种创新的特征提取技术，随后将其与扩散模型训练相结合，以此提升肖像素描的质量。基于大量真实数据得出的实验结果表明，我们的方法能够有效生成优化后的素描肖像，并展现出

CRediT作者贡献说明

Huaning Liu：文章撰写——初稿完成。Jing Guo：方法设计。Kai Wang：方法设计。Shuai Yang：方法设计。Wen Guo：研究调研。Yongzhen Ke：方法设计。

利益冲突声明

作者声明，他们不存在任何可能影响本文研究结果的已知财务利益关系或个人关系。

Huaning Liu于2023年在中国天津科技大学获得软件工程学士学位，目前在中国天宫大学攻读计算机技术硕士学位，研究方向为计算机视觉和视觉计算。