TransDiffuser：一种由Transformer引导的用于少样本字体生成的扩散模型

《Expert Systems with Applications》：TransDiffuser: A Transformer-Guided Diffusion Model for Few-Shot Font Generation

　　

• •
  Transformer引导的扩散模型用于少样本字体生成。
• •
  物理信息神经网络通过物理约束实现真实的笔画形成。
• •
  动态多尺度卷积模块捕捉全局结构和局部字形细节。
• •
  无需重新训练即可实现跨语言字体生成。
• •
  在质量和结构准确性方面优于现有最先进方法。

引言

字体在现代设计、广告、数字媒体以及文化创意产业中扮演着至关重要的角色。随着深度学习技术的发展，尤其是扩散模型的兴起，字体生成领域取得了突破性进展。然而，在计算机视觉和排版领域，使用有限数据创建高质量字体仍是一项具有挑战性的任务。现有的技术在生成复杂字符（如汉字）时仍面临诸多挑战，例如笔画结构的准确性、风格迁移的多样性以及生成结果的自然性Li, Taniguchi, Lu, Konomi, & Nagahara (2023)。此外，传统方法难以同时满足高效和高质量的要求。

如图1所示，TransDiffuser生成的样本字符展现出清晰的结构完整性、流畅的笔画过渡以及一致的风格外观。传统字体生成方法主要依赖于基于图形的方法和基于深度学习的方法。基于图形的方法通常通过提取和重构字形笔画来生成字体，虽然此类方法可以生成结构精确的字体，但在捕捉整体风格和个性化特征方面表现不佳。基于深度学习的方法，尤其是生成对抗网络（GAN），可以通过学习字体的全局特征来生成风格多样的字体。然而，GAN的训练过程通常不稳定，生成的字体往往存在模糊和扭曲等问题。近年来，扩散模型在图像生成任务中取得了显著进展，通过逐步去噪生成高质量图像，逐渐成为字体生成领域的研究热点。然而，现有的扩散模型在处理复杂字形时仍存在局限性，尤其是在捕捉字体局部细节与全局结构之间的关系方面。

为了解决上述问题，本文提出了TransDiffuser，一种一次性字体生成的新框架。TransDiffuser的核心思想是通过引入物理信息神经网络、动态多尺度卷积模块和Transformer架构来增强模型对字体结构和风格的学习能力。具体而言，我们首先通过物理信息神经网络引入物理约束（如笔尖运动规律和墨迹扩散规律），确保生成的字符符合手写规则，从而增强生成结果的物理合理性。其次，我们提出了动态多尺度卷积模块，该模块可以自适应地捕捉字体的全局结构和局部细节，从而提高生成字体的结构准确性。最后，我们结合Transformer架构，通过自注意力机制增强模型对长距离依赖关系和风格特征的学习能力，从而生成风格多样的字体。

所提出的方法在现实世界的多媒体和人机交互应用中展现出巨大潜力。通过从极少量样本中生成精确且风格一致的字体，TransDiffuser减少了手动设计工作量，支持移动和数字内容平台的个性化字体定制。其跨语言泛化能力进一步实现了多语言文本渲染和视觉通信，惠及跨文化界面、数字出版和教育工具。在低资源场景下，我们的框架提供了可扩展的按需字体生成的高效解决方案，使TransDiffuser既是一个具有竞争力的技术框架，也是智能设计和数字文化保护的实用工具。

实验结果表明，TransDiffuser在生成字体的视觉质量、风格一致性和结构准确性方面均优于现有方法，尤其在一次性字体生成任务中表现突出。

本文的主要贡献如下。

• •
  引入物理信息神经网络，通过物理约束增强生成字体的物理合理性。
• •
  提出动态多尺度卷积特征提取模块，可自适应捕捉字体的全局结构和局部细节。
• •
  结合Transformer架构，通过自注意力机制增强模型学习长距离依赖关系和风格特征的能力。

章节摘要

风格迁移

风格迁移是一种计算机视觉技术，旨在将一种风格融合到另一种内容中，不同阶段的原理各有特点。早期，研究人员采用传统图像处理方法和简单统计模型，如匹配颜色直方图来改变颜色风格，或将图像的高频和低频分量分离后重组，但这些方法不擅长迁移复杂风格。在深度学习的推动下，Gatys等人Gatys,

方法

所提出的TransDiffuser框架如图2所示，由三个主要组件组成：风格编码、结构建模和字体生成。给定单个参考字形图像xr和目标内容字符图像xc，模型分别通过风格编码器和内容编码器提取风格和特征特征。随后整合三个核心模块以协同建模字体结构：物理信息神经网络引入结构先验

字体数据集与方法比较

为开展实验，我们构建了一个包含多种字体的综合数据集。具体而言，该数据集包括400种字体（称为"已见字体"），每种字体包含900个字符（称为"已见汉字"）作为训练集。为评估方法的有效性，我们在两个测试集上进行了实验：(1) 已见字体集，包含400个随机选择的样本，包括300个训练期间观察到的字符；(2) 未见字体集

结论

所提出的TransDiffuser框架在单次汉字字体生成任务中展现出卓越的结构保真度和风格一致性。通过整合物理信息约束、动态多尺度特征提取模块和基于Transformer的架构，模型有效提升了生成质量和泛化性能。大量实验验证了其相对于现有最先进方法在多个指标和挑战性

作者贡献声明

吴松水：概念构思、方法论、软件、数据管理、验证、可视化、形式化分析、写作——初稿、写作——审阅与编辑。

贾天乐：调查研究、数据预处理、验证以及写作——审阅与编辑。

蒋涛：形式化分析、监督以及写作——审阅与编辑。

郑广庸（通讯作者）：项目管理、监督、资源、写作——审阅与编辑以及经费获取。

资助

本研究得到了国家自然科学基金（批准号61772179）、衡阳师范学院智能信息处理与应用湖南省重点实验室开放基金（批准号IIPA20K01）以及衡阳师范学院横向研究项目（批准号HXKY2022006）的资助。

利益冲突声明

作者声明不存在可能影响本文所述工作的已知经济利益冲突或个人关系。

吴松水|贾天乐|蒋涛|郑广庸