《Computers & Graphics》：FC-Font: Few-shot diffusion-based font generation via frequency-domain style compensation
编辑推荐：
少样本扩散字体生成框架FC-Font通过频域建模解决传统网络高频细节缺失问题，采用频域风格补偿模块和对比学习风格优化网络，实现跨语言风格迁移与结构保真。
肖海鹏|方月月|傅俊哲|关立新|李梦山|袁新迪|周文毅|朱继红
赣南师范学院物理与电子信息学院，中国江西省赣州市，341000
摘要
少样本字体生成仍然是一个重大挑战，尤其是在实现精确的风格转换的同时保持结构完整性的方面。传统的卷积架构往往难以有效提取和建模复杂的风格信息。此外，如U-Net这样的深度神经网络本质上对低频信号存在偏好，导致在重建过程中高频风格细节被抑制。为了解决这些问题，我们提出了FC-Font，一种基于扩散的少样本字体生成框架，该框架结合了频域建模。具体来说，引入了一个频谱增强风格编码器来加强风格表示。此外，设计了一个频域风格补偿模块（FSCM），并与注意力机制相结合，以在迭代去噪过程中补偿风格细节。另外，我们使用对比学习策略开发了一个风格细化网络，从而在确保结构正确性的同时提高风格保真度和视觉质量。实验结果表明，FC-Font在字体生成任务中优于现有方法。值得注意的是，即使仅在中国数据上进行训练，该模型也能在未见过的字体（例如日文、韩文和英文字母）上表现出显著的跨语言泛化能力。
引言
作为信息传输和视觉美学的基本媒介，汉字在艺术设计、古代文献修复和数字媒体等领域发挥着关键作用[1]。然而，由于汉字的字符集庞大且结构复杂，传统的字体设计严重依赖手工制作。这一过程不仅耗时且劳动密集，而且难以满足个性化应用的日益增长的需求。近年来，深度生成模型的突破为这些挑战提供了有效的解决方案，使得汉字的自动生成在风格上一致且视觉上可信。
早期的字体生成主要采用了图像到图像（I2I）转换范式。经典方法[2]、[3]、[4]通过监督学习建立了源字体和目标字体之间的映射。后续研究[5]、[6]、[7]、[8]引入了笔画建模或书写轨迹来增强结构完整性。然而，这些方法严重依赖于大量的配对数据集，并且在遇到未见过的风格时泛化能力有限。为了降低数据获取成本，研究人员引入了非配对生成范式[9]、[10]。虽然这些方法减轻了对数据的依赖，但它们经常存在结构不完整或变形的问题。因此，少样本字体生成成为解决这些限制的主要范式。这类方法[11]、[12]旨在仅使用少数参考字符来实现高质量的风格转换，从而显著提高了模型的实用性。
尽管在少样本字体生成方面取得了显著进展，但现有的基于深度神经网络的方法（例如U-Net）仍然存在频谱偏置[13]。这些模型倾向于优先处理低频结构成分，使得难以有效恢复高频风格细节。因此，在重建过程中，对于表示风格特征至关重要的高频信号经常被减弱或丢失。这种缺陷阻碍了解码器恢复细节的能力，最终导致生成的字体出现模糊、风格扭曲或细节缺失等视觉问题，从而降低了字体的视觉保真度。
为了解决这些挑战，我们提出了FC-Font，一种基于扩散的少样本字体生成方法，该方法结合了频域建模。其核心思想是利用频域信息来增强风格特征表示，并通过频域风格补偿机制指导扩散去噪过程，有效减轻高频风格细节的损失。具体来说，在风格编码阶段，我们采用频谱增强策略来改进风格信息提取。同时，我们设计了一个频域风格补偿模块（FSCM），并与注意力机制相结合，动态地将缺失的风格细节注入去噪过程中。此外，我们采用基于对比学习的风格表示策略来构建风格细化网络。该网络强制风格一致性，并优化生成结果的细节保真度。如图1所示，我们的方法生成的字体图像具有丰富的风格细节和自然的视觉质量，同时保持了结构完整性。
我们的主要贡献如下：
(1) 我们提出了FC-Font，一种结合频域建模的少样本扩散字体生成方法。它通过频谱增强风格编码器增强风格建模，在去噪过程中通过频域风格补偿模块实现精确的风格细节补偿，并使用风格细化网络进行优化，从而显著提高生成质量。
(2) 我们设计了一个频域风格补偿模块（FSCM）。通过集成注意力机制，该模块在去噪重建过程中有效补偿高频风格细节，提高了生成风格的视觉保真度。
(3) 我们采用基于对比学习的风格表示策略并构建了一个风格细化网络。该网络监督扩散模型，优化生成字符的结构完整性和风格自然性。
(4) 尽管仅在中国数据集上进行训练，我们的方法仍表现出强大的跨语言泛化能力。它能够在未见过的字体（例如日文、韩文和英文字母）上有效进行风格转换，无需额外训练即可产生高质量的结果。
部分摘录
多样本字体生成
早期的字体生成任务[2]、[14]、[15]主要被构建为图像到图像（I2I）转换问题[3]、[9]、[16]、[17]。为了确保生成质量，这些方法通常依赖于大量的配对数据进行训练。一些研究[2]、[3]、[4]使用卷积神经网络（CNN）或条件生成对抗网络（cGAN）来学习源字体和目标字体之间的映射。在Zi2Zi框架的基础上，DCFont[5]引入了一个风格分类器
方法论
问题陈述。 本文旨在生成受内容图像的内容和风格图像的风格双重控制的汉字图像。对于任何给定的内容图像和风格样本，生成的汉字图像应继承风格样本的独特风格，同时保留内容图像的内容。现有方法通常直接采用传统的卷积神经网络处理风格图像，导致风格提取效果不佳。
实验
在本节中，我们系统地验证了我们提出的模型在少样本字体生成方面的有效性。首先描述了数据集、评估指标和实现细节。然后进行定性观察和定量评估，并将我们的模型与八种代表性的现有字体生成方法进行比较。此外，我们还进行了扩展实验，包括消融研究、跨语言生成和向量化，以全面调查
结论
本文提出了FC-Font，一种基于扩散的少样本字体生成方法，该方法结合了频域建模。通过显式建模和补偿频域中的风格细节，FC-Font有效减轻了深度神经网络（例如U-Net）固有的频谱偏置，这种偏置通常会阻碍高频风格信息的重建。具体来说，风格编码器利用频域增强来增强风格表示。
CRediT作者贡献声明
肖海鹏：撰写 – 审稿与编辑、撰写 – 原始草稿、可视化、验证、软件、方法论、数据整理。方月月：可视化、验证、软件、调查、概念化。傅俊哲：可视化、验证、软件、调查。关立新：监督、资源管理、项目行政、资金获取。李梦山：监督、资源管理、项目行政、调查、资金获取。袁新迪：监督、资源管理
利益冲突声明
作者声明他们没有已知的可能会影响本文报告工作的财务利益或个人关系。
致谢
作者衷心感谢国家自然科学基金（资助编号：52063002, 42061067）、江西省教育部门的科技项目（资助编号：GJJ2201210）以及赣南师范学院博士研究基金（BSJJ202261）的支持。
