SmartTracer：基于交互式追踪的复杂线稿描边提取技术

《Computer Aided Geometric Design》：SmartTracer: Interactive tracing-based stroke extraction for complex line art

　　黄正宇|关中月|王泽宇
广州民航学院，中国广州，510403

**摘要**
笔触是理解和编辑绘图的基础，因为它们构成了艺术家用来创建线稿的基本单元。然而，由于不同的用户可能对同一张具有复杂拓扑结构的高质量线稿中的笔触分割模式有不同的解读，现有的方法无法有效地支持与用户意图相一致的交互式编辑。在本文中，我们解决了笔触分割的问题，旨在从具有复杂拓扑结构的栅格线稿中生成自然且高质量的笔触掩码。给定一个笔触提示（如一个点或一个短标记），我们的方法使用卷积神经网络（CNN）来预测具有合理连接性的相应笔触。在这个单笔触提取模型的基础上，我们进一步提出了一种基于图的算法，可以在保持用户对拓扑复杂区域控制的同时分割绘图中的所有笔触。我们还开发了一个交互式系统SmartTracer，以展示我们的单笔触和多笔触分割方法的有效性。定量比较和用户研究表明，SmartTracer在笔触分割质量上优于现有方法，同时提供了比商业软件更便捷和高效的笔触提取操作。

**引言**
线稿是一种表达力强且灵活的视觉媒介，广泛应用于插图、动画、建筑和产品设计中。尽管笔触是艺术家创建线稿的基本单元，但大多数绘图仍然以栅格格式表示，因此缺乏明确的矢量笔触信息。从栅格线稿中提取自然且高质量的笔触非常有价值，因为这些笔触对于理解和编辑绘图至关重要。然而，传统的笔触提取方法（例如曲线参数化）通常需要手动追踪，这些方法劳动强度大且无法保证一致的分割质量。虽然这些方法可以对细节进行细粒度控制，但所需的时间和努力使得它们不适用于大规模或拓扑结构复杂的绘图，这突显了需要更有效解决方案的必要性。

尽管笔触提取非常重要，但它仍然是图形研究中的一个未解决问题，存在两个主要挑战。首先，笔触提取本质上是模糊的，通常取决于用户的意图：对于同一张线稿，不同的用户可能倾向于以不同的方式将线条分组为笔触，从而导致多种可能的提取结果。其次，线稿的拓扑复杂性使得从二值图像中重建笔触特别困难。这种困难主要源于复杂绘图中频繁出现的不可预测的交点、重叠和连接模式。如图1(a)所示，一个有效的笔触提取方法不仅应该恢复自然的笔触结构，还应该支持多种用户指定的结果。

最相关的研究领域是笔触分割和线稿矢量化。已经开发了几种主要用于汉字的自动笔触分割方法（Kim等人，2018年），但由于汉字笔触的复杂性，这些方法通常处理时间较长。此外，这些方法通常对图像分辨率敏感，这限制了它们在更详细和拓扑结构复杂的线稿中的适用性（Ito等人，2022年）。而且，它们产生的分割笔触往往难以编辑，从而限制了它们在基于笔触的下游应用中的实用性。

线稿矢量化方法面临一个不同但密切相关的挑战。由于从栅格输入预测正确的笔触连接性本质上是模糊的，这些方法通常优先考虑整体重建质量而不是单个笔触的分割质量。例如，Egiazarian等人（2020年）提出了一种基于深度学习的矢量化方法用于技术线稿，而Mo等人（2021年）使用神经网络将栅格图像拟合到连续参数曲线的段中，直到没有像素剩余。尽管有这些努力，直接矢量化往往由于笔触结构的模糊性和笔触之间的复杂关系而导致细节缺失和笔触连接不合理。图1(b)还展示了几个典型的矢量化错误。

对于交互式提取，像Adobe Illustrator这样的矢量图形软件允许用户使用参数曲线手动追踪笔触。虽然这种方法可以绕过笔触分割模式的模糊性和拓扑复杂性带来的挑战，但它严重依赖于精确的用户输入。因此，即使在追踪过程中手部轻微颤抖（或任何其他因素）也可能引入不准确性和错误，导致我们所说的“涂鸦追踪问题”（图2a）。

受这些限制的启发，我们提出了一种交互式笔触提取方法，该方法专注于分割完整的单个笔触并恢复正确的拓扑结构，允许用户进行调整，从而作为提高矢量化质量的预处理步骤。本文提出了一种自下而上的解决方案，通过结合手动交互性和自动分割的优势，缩小了用户涂鸦输入（或提示）与用户希望提取的高质量笔触之间的差距（图2b）。如图3所示，我们首先训练两个神经网络ClickNet和TraceNet进行单笔触分割，它们可以从点或短标记提示中预测笔触掩码。然后我们设计了一个提示模拟算法，并在从输入线稿构建的图上迭代应用这些网络以实现多笔触分割。在这些笔触分割方法的基础上，我们开发了一个名为SmartTracer的交互式系统，允许用户方便地细化自动分割结果并获得他们喜欢的笔触的掩码。我们的笔触分割框架和SmartTracer系统共同实现了与用户意图更一致的自然、高质量笔触的提取，从而促进了矢量化和笔触级图像编辑等下游应用。

**总结**
我们做出了以下贡献：
• 我们引入了一个AI辅助的交互式框架，将不精确、手抖的输入转换为高质量的笔触，通过基于提示的公式解决了笔触提取的未定性问题。
• 我们开发了SmartTracer，这是一个交互式系统，允许用户从提示中方便地提取笔触或细化自动结果，最终获得与他们在复杂线稿中喜欢的笔触模式相匹配的掩码。
• 定量和定性评估表明，SmartTracer提供了更可定制和高效的笔触提取，同时在笔触恢复方面优于现有方法和商业软件。

**相关工作**
本节回顾了与笔触级线稿分析、笔触分割和矢量化相关的先前研究。

**问题定义**
从数学上讲，我们将栅格绘图上的笔触分割问题视为寻找一个函数的参数解。考虑一个干净的线稿I=∪i=1msi，其中si表示每个笔触的掩码，m是笔触的总数。笔触分割的目标是使用函数Fθ获得一个笔触序列，定义为：
Fθ(I)={s^1,s^2,…,s^n}，
其中s^i表示每个分割笔触的掩码，n是分割笔触的总数。

**交互式系统**
基于我们的单笔触分割方法，我们使用Python和Qt开发了一个名为SmartTracer的交互式系统，供用户进行细化。为了设计界面函数Uγ(x^i)（方程（3），我们的UI支持以下四种笔触分割模式，如图7所示：
- 手动模式（M）：我们的笔触提取方法不起作用。用户绘制的自由手稿将被忠实地转换为笔触掩码。
- 追踪模式（T）：追踪模式允许用户提取相应的笔触。

**多笔触分割**
由于要求用户为每个笔触输入提示仍然是一个耗时且费力的过程，我们设计了一种模仿人类观察的算法来从具有固定模式γ^的栅格绘图中提取所有笔触。如图9所示，我们首先使用SK（Zhang和Suen，1984年）的方法从输入绘图中提取骨架作为图G=(V,E)。图G是通过迭代遍历像素的八连通邻居构建的。

**结果和评估**
在本节中，我们评估了我们的自动笔触分割方法和我们的交互式系统SmartTracer的用户体验。我们的评估包括以下部分：第6.1节评估分割结果的质量，比较多笔触分割算法和由自动生成的线索引导的矢量化算法的性能；第6.2节提供了在涉及用户场景中对SmartTracer的主观用户评估。

**结论**
本文提出了一种使用基于提示的神经网络和基于图的提示模拟来提取具有复杂拓扑结构的干净线稿的笔触的新方法。通过解决笔触提取的挑战，特别是用户特定的模式模糊性和线稿的拓扑复杂性，我们的方法为单笔触提取提供了稳健的解决方案。我们的框架利用了高分辨率输入和交互式用户界面，实现了个性化和精确的控制。

**作者贡献声明**
黄正宇：撰写——审阅与编辑、撰写——原始草稿、可视化、验证、监督、软件、资源、方法论、调查。
关中月：可视化、调查、数据管理。
王泽宇：撰写——审阅与编辑、资金获取、概念化。

**利益冲突声明**
作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。

**致谢**
本工作得到了中国国家自然科学基金（编号62502410）的支持。我们感谢所有编辑、审稿人和参与者的贡献。
黄正宇是广州民航学院民航电子信息工程学院的讲师。他获得了日本先进科学技术大学的博士学位，导师是宫田一纪教授；获得了西北农林大学的硕士学位，导师是胡少军教授；获得了济南大学的学士学位，导师是唐杰远教授。他的研究兴趣包括计算机图形学、人机交互、人工智能和AIGC。