FG-Text-SD：无需训练的可控场景文本-图像生成技术，适用于资源匮乏的东南亚语言 作者：宁石（Ning Shi）、吴春雷（Chunlei Wu）和张永珍（Yongzhen Zhang）

《Applied Sciences》：FG-Text-SD: Training-Free Controllable Scene Text–Image Generation for Low-Resource Southeast Asian Languages Ning Shi, Chunlei Wu and Yongzhen Zhang

　　摘要：场景文本-图像生成旨在合成包含可读且视觉上连贯文本的自然图像。尽管基于扩散的最新方法已经取得了有希望的结果，但由于复杂的字形结构、有限的语言资源以及生成文本与背景载体之间的弱对齐，它们在处理资源匮乏的东南亚语言时往往遇到困难。为了解决这个问题，我们提出了FG-Text-SD，这是一个基于Stable Diffusion的无训练可控场景文本-图像生成框架。该框架以实例级的方式组织多个文本实例，将渲染的字形结构先验注入去噪过程以稳定复杂的字符形状，通过具有载体意识的掩码调节交叉注意力来改善文本与表面的对齐，并采用OCR引导的局部重绘来纠正残余的局部错误。实验在AnyText-benchmark、CVTG-2K以及一个新的评估集上进行，该评估集涵盖了泰语、老挝语、高棉语和缅甸语。所提出的方法在公共基准测试和资源匮乏的语言子集上都表现出了强大的性能，提高了文本的准确性、可读性和空间一致性，而无需对模型进行额外训练。这些结果表明，FG-Text-SD为资源匮乏的多语言环境中的可控场景文本-图像生成提供了一个有效的解决方案。

1. 引言
场景文本-图像生成的目标是合成包含可读且视觉上连贯文本的自然场景图像。与一般的图像生成相比，这项任务不仅需要真实的背景合成，还需要准确的文本内容、完整的字符结构以及生成文本与其支撑表面之间的适当对齐[1,2]。这种能力对于广告设计、包装模型制作、虚拟场景构建以及场景文本理解系统的合成数据生成等应用非常有价值[3]。基于扩散的最新图像生成模型在开放领域图像合成方面取得了显著的成功[4,5]。然而，可控场景文本生成仍然具有挑战性，尤其是在需要在复杂视觉环境中准确生成多个文本实例时。现有方法常常遭受多文本条件混淆、字符结构不稳定以及生成文本与背景载体之间空间一致性不足的问题[6,7,8]。在资源匮乏的语言环境中，这些问题更加严重，因为字形样本、标注数据和语言特定资源相对有限。与英语和中文等资源丰富的语言相比，许多东南亚的低资源语言具有更复杂的字形特征，包括弯曲的笔画、密集的局部结构、丰富的变音符号组合以及更强的非线性词级排列[9]。因此，基于扩散的模型更容易出现字符遗漏、局部笔画粘连、拼写错误和可读性下降的问题。此外，场景文本-图像生成要求合成文本在视觉上与背景纹理、光照、视角和载体几何形状保持一致，这进一步增加了在这些语言中生成的难度。

受此启发，我们提出了FG-Text-SD，这是一个基于Stable Diffusion的、适用于资源匮乏的东南亚语言的无训练可控场景文本-图像生成框架。FG-Text-SD通过四个方面增强了推理过程：首先，引入了实例级条件组织策略来结构化多文本生成；其次，结构先验注入机制将渲染的字形先验纳入去噪过程以提高复杂脚本的字形稳定性；第三，具有载体意识的交叉注意力调节机制加强了生成文本与其支撑表面之间的空间对应关系；最后，采用OCR引导的局部重绘策略来检测和纠正生成文本区域中的残余错误。通过这些组件，所提出的框架在资源匮乏的多语言场景文本生成中提高了文本的准确性、可读性和视觉一致性。

本研究的主要贡献如下：
- 我们提出了一个适用于资源匮乏的东南亚语言的无训练可控场景文本-图像生成框架FG-Text-SD，无需对扩散模型进行额外训练。
- 我们引入了结构先验注入策略和具有载体意识的交叉注意力调节机制，以提高字形稳定性和文本与载体的空间一致性。
- 我们进一步整合了OCR引导的局部重绘来纠正残余错误，并在公共基准测试和专门为资源匮乏的多语言设计的评估集上验证了所提出的方法。

2. 相关工作
2.1. 文本到图像模型
近年来，文本到图像（T2I）生成取得了前所未有的进展，这主要得益于向扩散模型的范式转变[4,5]。早期的突破，如Stable Diffusion [4]、DALL-E 2 [10] 和 Imagen [11]，展示了迭代去噪在将文本提示映射到高质量潜在表示和视觉内容方面的强大能力。这些模型的迭代速度迅速加快。后续的高级框架，包括SDXL [12]、Stable Diffusion 3 [13] 和 FLUX [14]，显著推动了开放领域图像合成的边界。这一演变主要体现在架构升级上——例如从传统的U-Net主干网络转向Diffusion Transformers，以及集成更强大的文本编码器，从CLIP迁移到T5或大型语言模型（LLMs）。这些改进使现代T2I模型具备了更好的提示遵循性、美学质量以及多语言理解的新能力。尽管它们在建模复杂数据分布方面具有很强的能力，但要实现对生成内容的精确、细粒度控制仍然是一个关键挑战。仅依赖基于文本的指导通常不足以定义精确的空间布局、结构语义或对象关系。为了弥合这一差距，提出了各种可控生成方法。基于训练的方法，特别是ControlNet [15] 和 GLIGEN [16]，引入了额外的适配器模块或接地令牌来适应边界框、边缘图和关键点等空间条件。虽然这些方法提供了强大的控制能力，但通常需要大量的配对数据集和计算成本高昂的模型重新训练。因此，无训练的可控生成方法获得了显著的发展势头。通过直接操作交叉注意力图或在反向扩散推理阶段注入结构指导，这些方法灵活地利用了预训练模型的固有先验，而无需改变它们的原始权重[17,18]。这种无训练的范式为局部内容编辑和条件生成提供了一个高效的蓝图，这也启发了我们提出的框架的基础设计。

2.2. 场景文本-图像生成
场景文本-图像生成专注于在自然图像中合成视觉上连贯的可读文本，这对于丰富数据集和推进下游文本分析任务至关重要。早期的主流方法主要依赖于传统的图像合成技术，其中数字文本前景直接渲染并覆盖在背景图像上。SynthText [1] 等开创性工作展示了合成大规模文本图像以启动场景文本检测器的可行性。为了提高环境融合度和真实性，后续的进步利用了3D空间信息；例如，SynthText3D [19] 和 UnrealText [3] 使用3D图形引擎在模拟的3D场景中无缝渲染文本，而CurveSynth [20] 则专门解决了任意形状文本的生成和检测问题。在这些基于渲染的方法之后，基于学习的方法，特别是那些利用生成对抗网络（GANs）[2,21] 的方法，出现了，以提高文本外观的风格一致性。然而，这些早期方法在生成多样性和稳定性方面经常面临挑战，尤其是在参考数据范围有限的情况下。最近，扩散模型的出色生成能力重塑了视觉文本生成。当前的研究主要集中在优化文本编码和空间控制机制上，以提高渲染文本的保真度和可控性。为了克服标准CLIP分词器引起的固有拼写不准确性，广泛采用了考虑字符的机制。例如GlyphDraw [7]、GlyphControl [22] 和 AnyText [6] 将显式的字形或OCR特征嵌入到条件输入中，而TextDiffuser-2 [23] 则利用字符级分词来提高对齐性。同时，通过引入显式的布局条件来解决精确的空间控制问题。TextDiffuser [8] 依赖于分割掩码，而UDiffText [24] 和 Diff-Text [25] 通过细化注意力层来强制严格的区域级对齐。此外，将这些能力扩展到多语言渲染已成为最近的研究焦点。高级迭代，包括AnyText2 [26]、Glyph-ByT5-v2 [27] 和 JoyType [28]，尝试使用专门的字形编码器来处理非拉丁字母脚本。尽管取得了这些令人难以置信的进步，但在两个主要方面仍然存在重大挑战。首先，大多数现有的基于扩散的文本生成器需要在庞大的配对文本-图像数据集上进行计算成本高昂的模型重新训练或微调，这限制了它们的灵活性。其次，对于资源匮乏的东南亚语言，渲染质量显著下降，这些语言具有复杂的非线性布局、密集的局部结构和丰富的变音符号。将这些复杂的脚本与背景载体几何形状无缝融合仍然是一个巨大的障碍。受这些限制的启发，我们的工作脱离了重度训练的范式，提出了一个无需训练的框架，该框架利用结构先验注入和具有载体意识的注意力调节，专门针对资源匮乏的多语言场景文本生成的复杂需求。

3. 方法
3.1. 框架概述
本研究提出了FG-Text-SD，这是一个基于Stable Diffusion的、适用于资源匮乏语言的无训练场景文本-图像生成框架。FG-Text-SD通过四个方面增强推理过程，即条件组织、结构约束、空间对齐和结果校正，以提高生成场景文本的准确性、可读性和视觉一致性。整个框架如图1所示。图1展示了FG-Text-SD的总体架构。热图表示用于具有载体意识调节的空间注意力响应。垂直省略号?表示为了紧凑的可视化，省略了和中之间的中间文本实例。为了在多语言和多文本场景中实现更稳定的可控生成，首先将输入条件组织成统一的实例级形式。具体来说，生成条件包括一个场景级描述和一组文本实例。场景级描述提供了全局背景语义，如街道、咖啡馆、菜单板或LED屏幕，而每个文本实例明确指定了目标文本内容、空间区域、载体和外观属性。对于一个文本实例，条件定义为（1），其中表示目标文本字符串，表示文本区域约束，由像素级掩码表示，表示描述文本应附加到的对象或材料的载体语义短语，表示外观属性，如大小、颜色、字体样式和笔画厚度，这些属性用于控制生成文本与背景之间的视觉一致性。在这种统一的表示下，文本结构先验注入模块从、和构建局部字形约束，以提高扩散生成过程中复杂脚本的轮廓稳定性。具有载体意识的交叉注意力调节模块使用实例条件中的区域信息和载体语义来建立文本与其支撑表面之间的空间对应关系，从而提高文本与载体的对齐性和视觉一致性。在初始图像生成后，OCR引导的局部重绘模块根据实例约束检测和纠正错误的文本区域。该模块用于修复局部错误，如缺失的字符、异常的变音符号、笔画粘连或模糊的文本区域，同时尽可能保留整体背景和场景内容。

与现有方法相比，FG-Text-SD不需要额外的训练或参数微调。基于统一的实例级条件表示，该框架通过文本结构先验注入、具有载体意识的交叉注意力调节和OCR引导的局部重绘逐步增强扩散推理过程。这些组件共同构成了一个适用于资源匮乏语言的可控场景文本-图像生成框架。

3.2. 实例级条件组织
在可控场景文本-图像生成中，多文本场景中的一个主要失败来源是条件模糊。当通过松散组织的提示提供多个目标文本时，扩散模型可能会混淆哪些文本应该出现在哪个区域、应该附加到哪个载体上以及应该遵循哪种视觉风格。在资源匮乏的语言环境中，这个问题更加严重，因为轻微的结构错误就可能导致可读性降低。因此，在引入结构和空间指导之前，应首先将输入条件组织成清晰的实例级形式。为此，生成条件表示为一个全局场景描述和多个局部文本实例的组合。在这种表述中，指定要生成什么文本，指定文本应该出现在哪里，指定文本应该附加到的表面或对象，以及指定文本应该看起来如何。这种表示在条件阶段明确分离了文本内容、空间位置、载体语义和外观属性，从而减少了不同文本实例之间的干扰。更具体地说，空间条件表示为一个像素级二进制掩码，指示目标文本放置区域。在交互式或可控生成中，这个掩码可以由用户直接提供，这也是实现细粒度空间控制的关键机制。如果用户没有指定目标区域，框架会通过在图像区域内随机采样自动初始化一个有效的掩码。载体语义短语描述了目标文本应附加到的对象或表面，如标志、广告牌、标签、白板或徽标。为了确定这一元素，我们构建了一个预定义的与载体相关的短语词汇表，并通过基于规则的简单匹配从提示中提取匹配的载体标记。外观属性控制了在构建字形之前文本应呈现的外观，包括字体样式和颜色等属性。当用户明确指定了这些属性时，渲染过程将遵循提供的设置。否则，将使用默认的字体和颜色配置。这种实例级别的表述也为后续模块提供了一个统一的接口。具体来说，一对属性用于构建第n个文本实例的结构先验，另一对属性用于派生出对载体敏感的空间调制，而第三对属性则作为OCR在相应区域检测到错误时进行局部重绘的条件。因此，所提出的实例级别组织不仅仅是一种提示格式化策略，而是整个框架的条件支柱。通过明确区分全局场景语义和局部实例条件，所提出的表示方法提供了输入条件与生成文本区域之间更清晰的映射。这种设计提高了多语言和多文本场景中的可控性，并为后续的结构感知和载体感知细化模块奠定了坚实的基础。

3.3 结构先验注入
在资源匮乏的东南亚语言的场景文本生成任务中，当文本仅基于文本提示生成时，扩散模型可以在语义层面感知目标文本内容，但仍缺乏对局部笔画、轮廓拓扑和字形排列的明确约束。对于通常具有复杂字形结构和有限训练数据的资源匮乏的东南亚文字系统来说，仅靠语义提示不足以保证生成字符的结构完整性。因此，在生成过程中更容易出现字符部分缺失、局部笔画粘连和字形变形等问题，从而降低合成文本的准确性和可读性。因此，有必要将显式的文本结构先验引入扩散推理过程中，以增强模型生成复杂字形结构的能力。为此，本文设计了一个文本结构先验注入模块，如图2所示。该模块基于目标文本内容、其对应的区域以及外观属性，首先通过可控渲染生成目标文本的草图。然后将草图编码为潜在的结构表示，并在扩散推理过程中注入生成过程，从而为目标文本提供显式的轮廓约束。该模块的核心目标是通过结合文本结构先验来提高资源匮乏文本生成的稳定性和可读性。

3.3. 结构先验注入
在资源匮乏的东南亚语言的场景文本生成任务中，当文本仅基于文本提示生成时，扩散模型可以在语义层面感知目标文本内容，但仍缺乏对局部笔画、轮廓拓扑和字形排列的明确约束。对于通常具有复杂字形结构和有限训练数据的资源匮乏的东南亚文字系统来说，仅靠语义提示不足以保证生成字符的结构完整性。因此，在生成过程中更容易出现字符部分缺失、局部笔画粘连和字形变形等问题，从而降低合成文本的准确性和可读性。因此，有必要将显式的文本结构先验引入扩散推理过程中，以增强模型生成复杂字形结构的能力。为此，本文设计了一个文本结构先验注入模块，如图2所示。该模块基于目标文本内容、其对应的区域以及外观属性，首先通过可控渲染生成目标文本的草图。然后将草图编码为潜在的结构表示，并在扩散推理过程中注入生成过程，从而为目标文本提供显式的轮廓约束。该模块的核心目标是通过结合文本结构先验来提高资源匮乏文本生成的稳定性和可读性。

3.4 载体感知的交叉注意力调制
在场景文本-图像生成中，合成文本应内容正确、结构清晰，并自然地附着在背景载体上。在典型的场景中，如广告牌和路标，文本的位置、方向、比例和样式都受到载体的约束。如果没有对载体信息进行显式建模，生成的文本可能会显得漂浮、空间错位或与背景融合不足，从而降低视觉真实感。在字形结构复杂且布局紧凑的资源匮乏的东南亚文字系统中，这个问题更为严重，因为文本和载体之间的不稳定空间关系可能导致边界模糊和可读性下降。因此，除了使用文本结构先验来稳定字形轮廓外，还需要引入面向载体的空间约束来改善文本布局和背景的连贯性。为了解决这个问题，在扩散模型的去噪阶段引入了一个载体感知的交叉注意力调制模块。该模块在U-Net的交叉注意力层上执行区域感知的调制。主要思想是通过基于规则的匹配从文本提示中提取与载体相关的描述符，然后从空间布局约束先验中获取相应的区域掩码。在我们的实现中，载体词汇表包括代表性的文本承载对象和表面，如“标志”、“广告牌”、“公告板”、“黑板”、“白板”、“海报”、“横幅”、“标签”、“徽标”、“屏幕”、“显示器”、“菜单”、“包装”、“贴纸”、“墙壁”和“商店标志”。然后使用匹配的与载体相关的标记进行载体感知的交叉注意力调制。如果在提示中找不到与载体相关的短语，则调制仅使用空间掩码，而不引入额外的载体语义调制。与这些描述符相关的交叉注意力映射随后在目标载体区域内受到约束。通过这种方式，模型可以在去噪过程中明确建立生成文本与背景载体之间的对应关系，从而缓解文本漂浮和文本位置与载体不一致的问题。整个过程如图3所示。

3.5 OCR引导的局部重绘
尽管文本结构先验和载体感知的交叉注意力调制改善了字符结构的保持和文本布局，但最初生成的图像可能仍然包含局部字符错误和笔画粘连问题。对于字形结构复杂且组件高度耦合的资源匮乏的东南亚文字系统来说，这个问题尤为严重，因为局部结构偏差往往会直接降低字符级别的可读性。重新采样整个图像可以部分缓解这个问题，但会引入较高的计算成本，并可能破坏已经合理的背景和文本布局。为了解决这个问题，引入了一个OCR引导的局部重绘模块作为轻量级的错误校正单元。该模块使用PaddleOCR-VL（支持多语言文本识别）来检测和识别生成图像中的文本。然后将识别结果与目标文本进行匹配，以定位错误区域，并构建一个局部修复掩码进行轻量级重绘。该模块包含两个部分：第一部分执行OCR检测和一致性评估，以识别生成图像中的错误文本实例；第二部分执行错误区域定位和局部重绘，以修复检测到的错误文本区域。整个工作流程如图4所示。

3.5.1 OCR检测和一致性评估
首先将OCR应用于最初生成的图像，以获取每个文本实例的识别结果。为了减少无关背景内容的干扰，OCR识别被限制在对应于文本实例的受限区域内。让 `OCR_result` 表示 OCR 识别结果。它被定义为 `(7)`。这里，`OCR_operation` 表示 OCR 操作，`recognized_text` 表示在受限区域内获得的识别文本。为了量化 OCR 结果与目标文本之间的一致性，采用了归一化编辑距离（NED）作为评估指标：`(8)`。这里，`Levenshtein_edit_distance` 表示莱文斯坦编辑距离，`string_length` 表示字符串长度。如果一致性得分不满足阈值约束，则相应的实例被视为错误的：`(9)`。这里，`error Instances` 表示错误实例的集合。在实验中，使用 `NED` 来平衡错误召回率和假阳性控制。经过 OCR 检测和一致性评估后，模块获得了需要局部修复的错误文本实例集合，这为后续的错误定位和局部重绘提供了基础。

3.5.2 错误区域定位和局部重绘
一旦文本实例被识别为错误，就会进一步定位相应的错误区域以进行局部重绘。具体来说，根据受限区域生成一个初始修复掩码。由于硬边界掩码可能会在修复区域和背景之间的边界处造成不连续性，因此对掩码应用形态学膨胀操作以获得带有缓冲区的修复掩码：`(10)`。这里，`morphological dilation` 表示形态学膨胀操作。该操作适当地扩展了修复区域，并为后续的局部重绘提供了更平滑的边界过渡。在获得修复掩码后，使用基于 Stable Diffusion 的局部重绘机制来纠正错误文本区域。与重新生成整个图像不同，此过程仅重新生成被 `OCR_result` 覆盖的区域，同时尽可能保留未修复区域的背景结构、视觉风格和整体布局。让 `repaired_image` 表示修复后的图像。修复后的图像表示为 `(11)`。这里，`local_repainting_operation` 表示局部重绘操作，`sceneprompt` 表示场景提示，`target_text_content` 表示实例的目标文本内容，`attribute_constraints` 表示该文本实例的属性约束。这个过程本质上是推理阶段的局部重采样，不涉及任何额外的参数训练。由于 Stable Diffusion 的扩散和反向扩散过程都在潜在空间中进行，因此局部重绘也在潜在空间中进行。让 `latent_representation` 表示由编码器获得的原始生成图像的潜在表示，让 `noisylatent_variable` 表示扩散步骤中的噪声潜在变量。在修复掩码降采样到潜在空间分辨率后，在修复掩码下进行局部噪声初始化：`(12)`。这里，`element-wise multiplication` 表示逐元素乘法。这种公式将噪声注入需要修复的区域以触发局部再生，同时尽可能保留未修复区域的原始潜在表示。随后，在目标文本、场景提示和属性约束的联合条件下对 `repaired_image` 进行局部去噪。由于直接采用了 Stable Diffusion 的标准采样机制，更新过程表示为 `(13)`。这里，`noise_prediction_network` 表示噪声预测网络，`conditional_information` 表示用于局部修复的条件信息，`sampling_update_function` 表示与主模型中使用的相同采样更新函数。经过几轮局部去噪后，通过解码器解码最终的潜在变量以获得修复后的图像：`(14)`。为了进一步提高修复的稳定性，在实验中最多采用两轮局部重绘。如果第一次修复后的检测结果仍然显示错误，则触发第二轮修复。进一步增加迭代次数会导致额外的内容偏移并降低整体图像质量。因此，为了平衡文本准确性和图像保真度，最大重绘次数限制为两次。

通过 OCR 检测、一致性评估和局部重绘，所提出的模块可以有效地修复错误文本区域，而不会显著损坏原始场景结构。因此，生成文本的可读性和正确性得到了进一步提高。

4. 实验
4.1 实施细节
为了全面评估所提出的 FG-Text-SD 框架在场景文本-图像生成方面的有效性，实验重点关注两个方面：生成图像的整体语义一致性和视觉质量，以及生成文本的正确性和完整性。FG-Text-SD 使用 Diffusers 框架实现，采用了 Stable Diffusion 2.1-base 作为预训练的骨干网络。与所提出框架的无训练设计一致，预训练的骨干网络在整个推理过程中保持冻结状态。没有对泰语、老挝语、高棉语或缅甸语数据进行额外的微调、LoRA 适应或语言特定重新训练。所有推理实验都在 NVIDIA RTX 3090 GPU 上进行。除非另有说明，输出图像分辨率设置为 512 × 512，采样步数固定为 30。为了公平比较，所有竞争方法都使用它们的官方实现和相应的预训练权重进行评估。为了确保文本相关的评估一致性，所有生成图像的文本识别和指标计算都统一使用 DeepSeek-OCR [33]。

4.2 数据集和评估指标
实验在两个公共基准测试上进行，即 AnyText-benchmark [6] 和 CVTG-2K [34]，以及一个为资源匮乏的东南亚语言自构建的评估集。之所以引入这个自构建的集，是因为目前没有适用于这种设置的公共基准测试。它涵盖了四种代表性的资源匮乏语言，即泰语、老挝语、高棉语和缅甸语，这些语言的特点是笔画弯曲、字形紧凑和复杂的变音符号组合。目标文本是从两个公共多语言语料库中收集的，即 Leipzig Corpora Collection (LCC) [35] 和 OSCAR [36]。对于每种语言，在过滤掉过于简单的样本并保留字符结构相对复杂的单词后，选择了 100 个代表性目标单词。场景提示是根据 AnyText-benchmark 的提示模板改编和扩展的，涵盖了现实世界的场景，如街道标志牌、餐厅菜单、产品包装和海报。所有样本都经过手动检查，以去除语义不适当或拼写无效的情况。评估集的示例样本显示在图 5 中。图 5. 评估数据集的样本图。在评估中，同时考虑了图像质量和文本正确性。CLIPScore [37] 用于测量图像-文本的语义一致性。Word_Acc 用于测量完全正确识别的目标文本的比例。NED 用于评估识别文本与目标文本之间的字符级差异。Recall 用于测量检测模型成功定位的目标文本的比例，反映了生成文本在场景中的可见性和结构完整性。

4.3 与现有方法的比较
4.3.1 在公共基准测试上的结果
所提出的 FG-Text-SD 与两组场景文本-图像生成方法进行了比较：基于训练的方法，包括 TextDiffuser-2 [23]、AnyText2 [26] 和 EasyText [38]；以及无训练的方法，包括 Diff-Text [25] 和 TextCrafter [34]。Stable Diffusion (SD) [4] 被用作基线。所有方法都在 AnyText-benchmark 和 CVTG-2K 上使用相同的协议进行评估。为了进一步分析文本密度的影响，CVTG-2K 根据每张图像的文本实例数量被分为四个子集。表 1 报告了在 AnyText-benchmark 上的结果。在英语子集上，大多数方法都取得了良好的结果，这与英语在扩散模型预训练数据中得到充分表示的事实一致。在无训练设置下，FG-Text-SD 取得了最佳的 NED 和 Recall，同时保持了具有竞争力的 CLIPScore 和 Word_Acc，表明在字符级保真度和可检测性方面表现强劲。在中国语子集上，方法之间的差异变得更加明显。FG-Text-SD 取得了最佳的 Word_Acc、NED 和 Recall，以及具有竞争力的 CLIPScore，表明所提出的细粒度条件指导改善了字符结构控制，并在更具挑战性的条件下稳定了文本区域的生成。

表 1. 在 AnyText-benchmark 上的定量结果。CVTG-2K 的整体结果显示在表 2 中。与 AnyText-benchmark 相比，CVTG-2K 更强调在更复杂的视觉场景中的多文本生成，因此对文本定位、实例间解耦和字符保留提出了更强的要求。在这个基准测试上，FG-Text-SD 取得了最佳的 NED 和 Recall，同时在 CLIPScore 上也与最强的基线相当。这表明所提出的方法通过实例级条件组织、文本结构先验指导和载体感知调制，在复杂场景中更好地保持了多个文本实例之间的对应关系。

表 2. CVTG-2K 全数据集的定量结果。表 3、表 4、表 5 和表 6 分别报告了 CVTG-2K 的 2-文本、3-文本、4-文本和 5-文本子集的结果。在 2-文本和 3-文本子集上，FG-Text-SD 取得了最佳的 Word_Acc、NED 和 Recall，以及强大的 CLIPScore，表明它在实例间干扰相对有限的情况下能够有效平衡文本准确性和场景一致性。随着文本实例数量增加到 4 和 5，所有方法的性能都有所下降，证实了密集多文本生成的难度增加。在这些更具挑战性的设置中，FG-Text-SD 仍然取得了最佳的 NED，并保持了具有竞争力的整体性能，尽管 TextCrafter 在 4-文本和 5-文本子集上获得了略高的 Word_Acc 和 Recall。实证结果表明，所提出的框架在不同文本密度水平上有效地增强了鲁棒性。然而，高度拥挤的多文本场景仍然存在相当大的挑战，为未来的算法改进留下了充足的空间。

4.3.2 在资源匮乏的东南亚语言上的结果
尽管公共基准测试有助于评估一般的场景文本生成性能，但它们主要关注高资源语言，因此无法完全反映模型在资源匮乏条件下的行为。为了解决这一限制，我们还在一个涵盖泰语、老挝语、缅甸语和高棉语的自构建基准测试上进一步评估了所有方法。表 7 和表 8 的结果显示，所有方法在这些资源匮乏的东南亚语言上都经历了明显的性能下降，表明对于复杂字体的场景文本生成仍然具有很高的挑战性。对于所有四种语言，基线扩散模型和大多数现有方法的文本准确性都很低，字符级偏差较大，检测召回率也有限。这表明，仅使用自然语言提示和通用训练分布不足以稳定生成结构复杂的资源匮乏字体。

表 7. 泰语和老挝语的定量分析结果。表 8. 缅甸语和高棉语的定量分析结果。相比之下，FG-Text-SD 在所有四种语言上都取得了最佳的整体性能。对于泰语和老挝语，所提出的方法在 Word_Acc、NED 和 Recall 方面显著优于其他方法，表明引入的结构先验有效地缓解了缺失的变音符号、局部笔画粘连和字符变形。对于缅甸语和高棉语，尽管由于字体复杂性较高，整体分数较低，FG-Text-SD 仍然在 Word_Acc、NED 和 Recall 方面排名第一，显示出对更复杂字形的良好适应性。总体而言，尽管所有方法在资源匮乏的东南亚语言上的性能都有所下降，但 FG-Text-SD 的性能下降相对较小。这些结果表明，明确的字形结构约束和生成后的局部校正对于在复杂字体、资源匮乏条件下改善场景文本生成非常重要。

4.4 消融研究
为了评估每个组件的贡献，在所有评估集上进行了消融实验，并在表 9 中报告了平均结果。在这个表中，`w/o Structure` 表示没有文本结构先验注入模块的变体，`w/o Anchoring` 表示没有载体感知交叉注意力模块的变体，`w/o OCR` 表示没有 OCR 引导的局部重绘模块的变体，`Ours (Full)` 表示完整模型。表 9. 消融研究结果。如表 9 所示，完整模型在所有四个指标上都取得了最佳性能。移除结构先验会导致最大的性能下降，特别是在 Word_Acc、NED 和 Recall 方面，表明该模块对于保持字形稳定性和提高文本正确性最为重要。这一结果证实了明确的结构指导对于场景文本生成至关重要，特别是对于字符组合复杂的字体。移除 OCR 引导的局部重绘模块也会导致三个文本相关指标的明显下降，而 CLIPScore 的下降幅度较小。这表明 OCR 引导的细化主要在生成后提高了局部文本的正确性，对整体场景语义的影响较小。相比之下，移除考虑载体的交叉注意力调制模块会降低CLIPScore和与文本相关的性能，这表明该模块有助于视觉语义的一致性，并提高了生成文本与其支撑载体之间的空间对齐。图6进一步说明了考虑载体的调制效果。在没有载体区域限制的情况下，关键词“sign”的交叉注意力响应相对分散，部分扩散到周围背景中，从而削弱了生成文本与载体之间的空间对应关系。引入调制后，注意力更加集中在目标标志区域内，使得文本放置更加准确，与载体边界的对齐也更好。图6. 交叉注意力调制可视化分析。

4.5. 超参数分析
为了进一步评估关键超参数的影响，我们对局部重绘迭代次数和考虑载体的调制强度进行了敏感性分析。前者影响对局部生成错误的校正能力，而后者控制生成文本与背景载体之间的空间约束程度。结果显示在图7中。如图7左侧列所示，将重绘迭代次数从0增加到2次，可以明显提高Word_Acc、NED和Recall，表明两轮重绘足以纠正初始生成中的大多数局部错误。当迭代次数进一步增加时，CLIPScore持续下降，表明重复的潜在空间扰动开始损害整体图像的保真度。右侧列显示了考虑载体的调制强度的效果。随着调制强度从1.0增加到4.0，与文本相关的指标持续改善，表明更强的考虑载体调制有助于将生成文本与目标载体区域对齐。然而，当调制强度过大时，过度的注意力干预会破坏原有的扩散分布，导致CLIPScore降低和Recall减少。

基于这些观察结果，最终模型将重绘迭代次数设置为2次，并使用默认的调制强度。

4.6. 定性分析
为了直观比较所提出方法与现有方法的性能，我们在高资源语言场景和东南亚低资源语言场景中选取了代表性样本，其定性结果分别显示在图8和图9中。比较重点关注文本正确性、字形完整性以及生成文本与场景载体之间的空间一致性。图8. 高资源语言场景的视觉比较。图9. 东南亚低资源语言场景的视觉比较。如图8所示，FG-Text-SD在英语和中文场景中都实现了良好的生成质量。生成的文本通常更准确，结构更完整，并且与标志牌和手持板等场景载体对齐得更好。相比之下，一些基线方法仍然存在拼写错误、字符不完整、字形扭曲或与目标载体结合不充分的问题。这些问题在中文生成中尤为明显，因为复杂的笔画和紧凑的字符结构使得准确合成更加困难。

在图9所示的东南亚低资源语言场景中，所提出方法的优势更加明显。对于泰语、老挝语、高棉语和缅甸语，大多数现有方法仅生成视觉上相似的字符片段，并且经常出现字符替换、拼写错误、字形变形或字符顺序不稳定等问题。这些结果表明，当训练数据中目标脚本代表性不足且结构模式更复杂时，场景文本生成仍然具有挑战性。相比之下，FG-Text-SD在这些低资源脚本上保持了更好的生成稳定性。生成的文本在整体字形轮廓、字符排列和局部结构上更接近目标内容，同时也与标志牌等场景载体对齐得更好。尽管一些高度复杂的字符仍有改进空间，但所提出方法在可读性和场景适应性方面优于其他方法。总体而言，定性结果与定量发现一致，进一步证实了FG-Text-SD在多语言场景文本-图像生成中的有效性，尤其是在资源匮乏的情况下。

4.7. 效率和实际成本分析
除了生成质量外，实际部署还取决于推理效率和该方法的整体适应成本。由于FG-Text-SD的一个主要特点是避免任何额外的模型重新训练，我们在本小节进一步分析了其运行时间和实际成本。具体来说，我们在512 × 512分辨率和30个采样步长的目标设置下，比较了不同方法的平均每张图像的推理时间。所有报告的推理时间都是在相同的实验设置下使用单个NVIDIA RTX 3090 GPU测量的。总体结果总结在表10中。表10. 不同方法的效率比较。√表示需要额外训练或微调；表示不需要额外训练。如表10所示，原始的SD基线方法每张图像需要2.3秒，而我们的方法由于结构感知控制和OCR引导的局部重绘而增加了额外开销。随着重绘迭代次数从0增加到1次和2次，FG-Text-SD的运行时间分别增加到4.4秒和5.6秒和6.9秒。这一结果证实了所提出的校正机制引入了渐进且可控的推理成本增加。与代表性基线方法相比，FG-Text-SD并不旨在绝对最小化延迟；相反，其实际优势在于避免特定任务的重新训练，同时保持竞争力的可控性和生成质量。特别是，我们的方法（0次重绘）仍然比Diff-Text稍快，即使是我们的方法（2次重绘）也比EasyText和TextCrafter等计算密集型方法更高效。这些结果表明，所提出的框架在推理效率和部署成本之间提供了合理的平衡。

5. 讨论
实验结果表明，FG-Text-SD提供了一种有效的无需训练的场景文本-图像生成解决方案。在公共基准测试和自构建的东南亚评估集上，所提出的方法一致提高了文本准确性、字符级一致性和可检测性。在资源匮乏的脚本和复杂的多文本场景中，这种改进尤为明显，表明细粒度的推理阶段控制对于处理不稳定的字形结构、弱文本与载体的对齐以及残余的局部文本错误非常有效。消融实验进一步表明，所提出的三个模块发挥了互补作用：结构先验注入对文本正确性和字形稳定性贡献最大，考虑载体的交叉注意力调制提高了文本与载体之间的空间对齐，OCR引导的局部重绘进一步纠正了局部错误，对全局场景语义的影响有限。然而，在密集的多文本场景和高度复杂的脚本中，性能仍然会下降，表明实例之间的空间竞争和细粒度的字符渲染仍然具有挑战性。这些观察结果表明，更强的大型实例解耦和更稳健的脚本感知细化是未来工作的有希望的方向。

同时，所提出的框架并不是为了实现最低的推理延迟而设计的。由于在推理过程中引入了结构先验注入和OCR引导的局部重绘，它们不可避免地增加了最终生成流程的计算成本和实现复杂性。因此，FG-Text-SD的主要实际优势不在于最小化运行时间，而在于在不需要额外模型重新训练或语言特定参数调整的情况下保持竞争力的生成质量。对于资源匮乏的东南亚脚本来说，这种权衡尤为重要，因为收集足够的适应数据和反复重新训练生成器可能成本高昂或不可行。从这个角度来看，FG-Text-SD在效率、可控性和部署成本之间提供了实用的折中。

6. 结论
本文提出了FG-Text-SD，这是一种无需训练的可控场景文本-图像生成框架，适用于资源匮乏的东南亚语言。该框架基于Stable Diffusion构建，在实例层面组织条件，并通过三个组件改进扩散推理：文本结构先验注入、考虑载体的交叉注意力调制和OCR引导的局部重绘。在AnyText-benchmark、CVTG-2K以及涵盖泰语、老挝语、高棉语和缅甸语的自构建评估集上的实验表明，所提出的方法在通用场景文本生成基准测试中保持了竞争力，并在资源匮乏的东南亚评估集中取得了最佳性能。消融实验进一步证实了这三个组件在提高文本正确性、空间对齐和局部错误纠正方面的有效性。

总体而言，FG-Text-SD的核心贡献不仅仅是在标准基准测试中追求边际改进，而是一个实用的无需训练的框架，它在一般任务上保持良好的性能，并且在资源匮乏的东南亚脚本中无需额外训练或参数微调即可取得特别强的结果。这使得所提出的方法成为多语言场景文本-图像生成中的一个有用解决方案，特别是在语言特定重新训练成本高昂、数据有限或不切实际的情况下。