ScDiff：一种具有自适应拓扑监督的空间约束扩散算法，用于定制语义排版

《Pattern Recognition》：ScDiff: Spatially-constrained Diffusion for customized semantic typography with Adaptive Topological Supervision

　　

• •
  ScDiff为定制语义排版提供了一种解决方案，实现了语义与字形之间的 finely-grained（精细粒度的）匹配。
• •
  我们提出了一个基于标记的空间约束模块，该模块使用掩码来引导注意力，以实现精确的语义绑定。
• •
  我们引入了一种自适应的拓扑监督机制，以保持结构一致性，平衡可读性和样式化。
• •
  广泛的实验表明，ScDiff能够实现出色的多语义排版效果。

引言

艺术排版是一种通过字体和样式等视觉元素增强文本意义的设计实践[1]。其中一种高级形式是语义排版，它将单词转化为视觉上的隐喻性表示，从而在保持可读性的同时强化语义信息[2]，[3]。这种设计方法不仅赋予文本更直观的视觉表达，还提高了信息传递的有效性。在实际应用中，语义排版被广泛用于商业广告、社交活动和品牌推广等领域[4]。

传统的语义排版设计方法[5]，[6]虽然在一定程度上提供了创造力，但往往依赖于手动调整，导致设计效率低下，难以满足多样化的需求。近年来，研究人员利用预训练扩散模型的强大生成能力[7]来推进设计进程。例如，DS-Fusion[8]结合了对抗学习[9]和扩散模型，利用扩散模型的强大生成能力，并引入了判别器[10]作为“批评者”，以确保生成的艺术排版与输入字体保持风格一致性。Word-as-Image方法[11]则依赖于大规模预训练语言视觉模型的强大能力[12]，在预训练的稳定扩散模型的指导下优化每个字母的轮廓，以更有效地传达目标概念。

尽管当前的方法在单语义排版方面取得了一些成果，如图1的第一行所示，但当目标词不是具体实体或存在较大的语义-形状差异时，现有方法通常会面临语义表达不足的问题，以及语义内容与字母结构之间的不自然、僵硬的连接。例如，如图1(b)所示，当仅使用“岛屿”这一单一语义概念时，虽然生成的图像包含了岛屿的概念，但它看起来很生硬和不自然，为了适应字母N的形状而牺牲了视觉流畅性。这种限制源于主流方法通常将整体语义强制映射到几何形状高度受限的完整字形上。这种僵化的映射限制了语义与字母形状之间的灵活融合，导致当语义意义和字形拓扑显著不同时，生成结果不够理想。然而，如果我们将“岛屿”这一单一概念扩展为“岛上有叶子的两棵棕榈树”这一定制语义，则基于扩展后的定制语义生成的图像不仅更接近字符“N”的形状，而且看起来更加自然、合理且美观。

基于以上分析，我们尝试提出一种定制语义排版方法。与以往直接使用单词整体语义作为生成指导的方法不同，我们的方法对字母的几何结构进行了详细分析，并将其与主题概念相结合，通过大型语言模型（LLM）实现了定制语义的扩展。这使得语义与字母形态之间的映射更加精细。具体来说，我们通过“双重分解与重建”过程构建了一个更加灵活的语义-结构映射机制：一方面，将每个字母的几何结构分解为几个相对独立的拓扑子区域；另一方面，将目标词的整体语义划分为多个具有隐喻潜力的细粒度语义子概念。通过分析几何特征，我们建立了语义子概念与拓扑子区域之间的对应关系，使得语义元素能够适应性地嵌入到空间结构中，实现了语义意义与字母形态之间的自然和谐融合。

为了实现更加合理的语义排版，我们提出了一个空间受限扩散（ScDiff）机制，以实现可控的定制语义排版。首先，我们利用LLM[13]提取与输入词相关的语义概念，并将这些概念与字母的几何特征结合起来，生成与字形结构相匹配的语义表达。为了解决预训练扩散模型在高维空间自由采样时的固有随机性导致的难以建立目标词的语义子部分与其字母拓扑子区域之间稳定对应关系的问题，我们设计了基于标记的空间约束机制，将每个语义词与其对应的空间区域绑定起来，确保语义意义与几何结构的高度一致性。接下来，我们引入了注意力优先策略，确保注意力优先关注与目标区域相关的标记，从而对生成的语义概念的空间分布进行精细控制。此外，我们还提出了自适应拓扑监督机制，该机制在容忍局部边界位置的小偏差的同时，强调保持全局拓扑一致性，从而在保持结构完整性的同时赋予生成形式更大的灵活性。本工作的主要贡献如下。

• •
  我们提出了一种新颖的空间受限扩散模型ScDiff，用于定制语义排版，它将传统语义排版的刚性映射转变为语义子概念与字形子区域之间的灵活匹配，实现了更细粒度的语义-拓扑对齐。
• •
  我们提出了一种基于标记的空间约束机制，能够实现可定制的主题排版，同时结合目标区域的注意力评估，确保概念的适当优先级，并有效缓解语义排版中的语义冲突。
• •
  我们提出了自适应拓扑监督机制，强调全局拓扑一致性，同时减弱局部干扰，进一步减少了可读性与语义样式化之间的不一致性。

章节片段

相关工作

在本节中，我们回顾了一些与我们方法密切相关的相关工作，包括语义排版、向量语义图像生成以及布局引导和保持拓扑的视觉生成。

初步研究

我们简要介绍了用于向量图形优化的分数蒸馏方法，重点介绍了基于向量的粒子分数蒸馏（VPSD）[19]。

分数蒸馏采样（SDS）[29]将预训练扩散模型的采样过程转化为可微参数化表示的优化目标。变分分数蒸馏（VSD）[30]从变分推理的角度进一步改进了这一方法，通过优化粒子分布来实现优化。

方法

在本节中，我们首先概述了整个优化流程，然后详细介绍了定制语义映射、基于标记的空间约束和自适应拓扑监督机制的具体设计。

实验

为了评估ScDiff在语义排版任务中的性能，我们构建了一个多领域数据集，并进行了广泛的实验，包括比较实验、消融研究和语义布局结果分析。

结论

本文首次提出了一种基于空间受限扩散模型的可控定制语义排版方法。我们利用LLM结合字母的几何特征来进行定制语义设计。通过引入基于标记的空间约束机制，语义标记与预定义的空间边界框对齐，精确指导扩散模型的跨注意力分配，确保生成结果的空洞性别对齐。

CRediT作者贡献声明

刘文轩：撰写——原始草案，软件，方法论。史坤聪：可视化，验证，数据管理。张静：撰写——审稿与编辑，监督，形式分析，概念化。

利益冲突声明

作者声明他们没有已知的可能会影响本文工作的竞争性财务利益或个人关系。

刘文轩|史坤聪|张静