基于扩散的文本到图像模型中的语义保真度挑战综述

《Information Fusion》：Semantic Fidelity Challenges in Diffusion-Based Text-to-Image Models: A Survey

　　

• 首个专注于文生图扩散模型中语义保真度挑战的全面综述。
• 针对基于扩散模型的文生图模型中的语义保真度挑战、根本原因、解决方案策略、评估指标及提示数据集的分类体系。
• 对近期研究成果的系统性分析，涵盖关键语义保真度挑战，以及现有方法论之间的比较洞察。
• 针对评估基于扩散模型的文生图模型中语义保真度而定制的基准提示数据集和评估指标的全面总结。
• 识别当前方法的关键局限性，并概述推进基于扩散模型的文生图模型中语义保真度的有前景方向。

**引言**

生成模型近年来取得了显著进展，扩散模型已成为生成高质量、照片级真实图像的首选方法。与早期的生成框架如生成对抗网络（GANs）[1] 和变分自编码器（VAEs）[2] 不同，现代基于扩散的模型通过学习逆转噪声扰动过程来生成数据，通常通过去噪、得分匹配或流匹配目标进行表述。这种表述方式提供了更好的训练稳定性，并能够生成多样化的高质量样本。去噪扩散概率模型（DDPMs）[3] 的先驱性工作及其后续改进[4] 奠定了概率基础，而潜在扩散模型（LDMs）[5] 通过在压缩的潜在空间中操作引入了计算效率的提升。通过基于 Transformer 的文本编码器（如 CLIP [6]）实现的自然语言条件控制，将文本提示映射为丰富的语义嵌入以指导图像生成过程，而 ControlNet [7] 等架构扩展通过引入结构先验（如边缘图、深度或姿态）提高了可控性。这些发展使得 GLIDE [8]、DALL·E [9]、Imagen [10] 和 Stable Diffusion [5] 等大规模文生图系统的训练和部署成为可能，将生成模型的图像生成带入了主流应用。

尽管基于扩散模型的文生图模型取得了显著进展，仍存在若干挑战，尤其是在实现语义保真度方面。语义保真度与视觉保真度不同，后者关注感知真实性和整体图像质量；语义保真度指的是生成图像在多大程度上准确反映了输入文本提示所表达的含义和意图。与语义保真度相关的常见问题出现在对象级别[11]、属性级别[12]、数值级别[13] 或关系级别[14]。这些不一致通常与以下因素有关：图像潜变量与文本嵌入交互过程中交叉注意力行为的不当[15][16]、预训练文本编码器中的偏差[17][18]，或训练数据集中空间关系表征不足[19]。因此，解决语义保真度问题对于提高文生图模型在实际应用中的可靠性至关重要。近期研究提出了多种策略来解决文生图生成中的语义挑战。一些方法在推理过程中修改模型的内部机制以引导生成过程[11][20]，另一些则通过额外训练或微调调整模型参数来提升性能[21][22]。另一类技术专注于增强模型对文本提示的理解，以更好地捕捉预期语义[23][24]。此外，某些策略引入结构化引导[25] 或外部推理组件以提高组合准确性和空间关系。

然而，增强图像生成能力只是第一步；可靠的评估需要既能衡量图像真实性又能衡量与预期文本语义对齐程度的指标。这一需求推动了文生图生成模型评估框架的并行发展。经典视觉保真度指标如 Inception Score（IS）[26] 和 Fréchet Inception Distance（FID）[27] 捕捉了真实性和多样性，但忽略了提示对齐。更近期的方法利用视觉-语言嵌入，如 CLIPScore [28]、视觉问答如 BLIP-VQA [29]，或采用检测框架如 VISOR [14]。这些基准指标专门测试组合正确性、空间关系、对象存在性和对象-属性绑定，反映了在衡量视觉质量的同时也越来越重视语义保真度的趋势。为支持这一评估，还开发了提示数据集来评估文生图生成模型在特定语义挑战方面的表现。在文生图生成的背景下，提示数据集[10][30] 通常由精心设计的提示组成，用于评估模型将文本描述转化为视觉内容的准确性。

**相关综述：** 尽管在确保语义保真度和评估严谨性方面取得了显著进展，文生图生成研究中方法和指标的多样性为系统性理解和比较带来了巨大挑战。若干综述已探索了文生图扩散模型架构[31][32]及其应用[33]，另有综述专注于特定领域如通用视觉任务[34]或底层视觉[35]。近期研究还考察了图像质量评估[36]和可控文生图生成[37]等方面，但很少有研究解决语义保真度这一关键问题，或评估该问题所需的评估指标和提示数据集。因此，对语义保真度改进方法、评估指标以及评估文生图所需的提示数据集的最新进展进行系统全面的综合日益迫切。

**贡献：** 本文的主要贡献总结如下：

- **语义保真度挑战的结构化分类体系：** 我们引入了文生图生成中语义保真度挑战的结构化分类体系，包括对象级别、属性级别、数值级别和关系级别，并根据现有方法所解决的具体挑战对其进行了系统组织。

- **缓解策略的比较性概述：** 我们提供了针对对象、属性、数值和关系语义保真度失败的训练时和推理时策略的结构化比较，分析了其底层假设、引导信号、监督需求和模型依赖性。

- **文本-图像对齐的全面分析：** 我们系统考察了文本信息如何通过文本嵌入和注意力机制整合到基于扩散的 T2I 模型中，并指出了 CLIP 等广泛使用的编码器在处理复杂组合提示时的关键局限性。

- **评估指标和基准提示数据集的综述：** 我们概述了用于衡量文生图生成中视觉质量和语义保真度的现有评估指标和基准提示数据集，并对它们的优缺点进行了比较讨论。

- **研究空白和未来方向的识别：** 我们强调了当前方法的关键局限性，并概述了改善文生图扩散模型中组合推理的有前景研究方向。

本综述回顾了文生图扩散模型中语义保真度的最新进展，涵盖 2022 年 1 月至 2026 年 6 月发表的文献。综合文献检索于 2026 年 5 月至 6 月使用多个学术数据库进行，包括 IEEE Xplore、Google Scholar、ACM 数字图书馆、SpringerLink、arXiv、Semantic Scholar、CVF Open Access 和 ACL Anthology。检索结合了扩散模型、语义保真度和组合图像生成相关的关键词。代表性检索查询包括"文生图"或"扩散模型"以及"语义保真度"或"组合"或"属性绑定"或"计数"或"空间推理"或"注意力"或"可控性"或"图像生成"，并结合相关术语的额外组合以最大化覆盖面。

检索到的研究经过多阶段筛选。首先，删除重复记录和非英文出版物。然后检查标题和摘要，识别解决文生图扩散模型语义保真度挑战的研究。其余论文通过全文审阅进行评估。符合条件的研究包括：(i) 提出、分析或评估了改进或衡量文生图扩散模型语义保真度的方法，(ii) 引入了与语义保真度相关的基准数据集或评估指标，或 (iii) 提供了与文本和生成图像之间语义对齐直接相关的架构或方法见解。专注于无关任务（如图像编辑、视频生成、图像修复或不含语义相关性的通用扩散加速）的研究被排除。

经过筛选过程，101 篇出版物被保留进行详细分析。这些研究发表在领先的计算机视觉、机器学习和自然语言处理会议和期刊上，包括 CVPR、ICCV、ECCV、NeurIPS、ICML、ICLR、AAAI、WACV、EMNLP、ACL、ACM TOG、TMLR、IJCV 以及相关期刊和会议。保留的研究构成了本综述中分类体系、比较分析、基准回顾和讨论的基础。

**章节摘要**

**基本原则**

扩散模型的核心思想是通过逆转一个渐进的噪声添加过程来建模数据分布。在文生图任务中，扩散模型以自然语言提示为条件，通常使用基于 Transformer 的文本编码器进行编码。本节介绍扩散模型的基本概念，从基础出发，涵盖注意力机制的作用、文本嵌入、ControlNet 等结构化引导的关键进展，以及潜在扩散模型。

**文生图生成中的语义保真度**

设 T 表示文本提示，I 表示由文生图模型基于 T 条件生成的图像。语义保真度定义为 T 所传达的语义内容在 I 中被正确保留和表示的程度。形式化地，如果 S(T) 表示提示所隐含的语义约束集，S(I) 表示从生成图像中提取的语义信息，则语义保真度刻画了 S(T) 和 S(I) 之间的一致程度。与视觉保真度不同，语义保真度关注的是

**文生图生成中的语义保真度挑战**

如上所述，语义保真度关注在文生图生成过程中保留文本提示中表达的语义约束。这些约束可能在不同层级上被违反，从无法实例化单个实体到错误绑定属性、数量或关系。如图 5 所示，我们将语义保真度失败组织为四个主要维度：对象级别、属性级别、数值级别和关系级别。

**对象级别失败**

对象级别失败涉及语义保真度最基本的要求：即提示中提到的每个实体都必须作为单独、清晰分离的实例出现在输出中。我们在这一层级下归组了两种失败模式。第一种，缺失对象[11]，出现在提示指定的对象被完全省略或仅部分渲染时。例如，如图 6 所示，对于提示"一个碗和一个窗户"，在 (a) 部分生成的图像中出现了这一问题：提示中描述的碗

**属性级别失败**

属性级别失败出现在生成图像未能正确保留提示中指定的属性或将它们错误地与对象关联时。此类失败反映了语义绑定的失效，即对象在生成过程中未能维持其预期属性或关系。如图 8(a) 所示，给定提示"一个棕色表盘蓝色指针的时钟"，生成的图像未能正确地将属性"蓝色"与时钟指针关联。

**数值级别失败**

当前文生图扩散模型的另一个基本局限性是数值推理能力受损，我们将其称为计数错误[13][98][99][100]。如图 10(a) 所示，给定提示"一张六只小猫坐在树枝上的照片"，在不对齐的图像中模型未能生成恰好六只小猫。

**关系级别失败**

基于扩散的生成模型仍然难以将自然语言表达的关系约束可靠地转化为准确的视觉表示，导致我们所说的关系级别失败。虽然这些模型擅长单独生成照片级真实的物体，但它们通常无法保留提示中指定的关系、交互和动作。如图 12 所示，给定提示"一台电视右边的一只狗"，生成的图像违反了

**定量评估指标**

评估指标在评价文生图生成模型性能方面起着至关重要的作用，通过量化视觉质量和与输入提示的语义对齐来衡量模型表现。大致上，这些指标可分为两类：视觉保真度指标和语义保真度指标。视觉保真度指标评估生成图像的感知真实性和整体质量，常用指标如 Inception Score（IS）[26] 和 Fréchet Inception Distance（FID）[27]。In

**评估提示数据集**

评估提示数据集在衡量文生图生成模型的真实能力方面起着核心作用，因为它们决定了测试的推理和指令遵循行为类型。早期研究主要使用图像描述数据集，其中提示较简单，能够评估基本的文本-图像对齐，但无法深入了解模型是否正确处理组合、关系或约束。更新的评估提示数据集已经发展

**未来方向**

对语义保真度缓解策略的分析表明，当前进展主要通过日益明确的语义引导形式来实现，范围从修改的文本表示和基于注意力的干预到空间布局、辅助视觉-语言模型和任务特定监督。然而，这些策略带来的益处仍伴随着基本局限性。直接干预去噪过程的方法可以改善语义

**结论**

尽管扩散模型带来了快速进展，但实现一致的高语义保真度仍是生成模型中的关键挑战。当前模型通常无法准确反映文本提示，导致对象级别、属性级别、数值级别和关系级别失败。解决这些失败对于确保生成系统能够在需要文本提示和视觉输出之间精确对齐的领域中被信任至关重要。近期进展
生成式人工智能声明
在准备本手稿期间，作者使用了ChatGPT（OpenAI）来辅助语法修正、语言润色以及提升书面文本的清晰度。所有生成的建议均由作者仔细审查、编辑和验证。作者对最终手稿的内容承担全部责任。

CRediT作者贡献声明
Saket Pandey：写作——审阅与编辑、写作——原稿、可视化、软件、方法学、调查、形式分析、概念化。Pranav Singh Chib：写作——审阅与编辑、概念化。Pravendra Singh：写作——审阅与编辑、概念化。

利益冲突声明
作者声明，他们不存在已知的可能影响本论文所报告工作的竞争性经济利益或个人关系。

Saket Pandey | Pranav Singh Chib | Pravendra Singh