基于两阶段分层优化的解耦式视觉概念令牌学习

《Neurocomputing》：Decoupled visual concept token learning via two-stage hierarchical optimization

　　

摘要

从多物体场景中学习视觉概念标记面临着特征纠缠这一核心挑战，即这些标记会无意中捕获彼此的信息，从而导致物体真实性下降以及组合生成的可靠性降低。我们发现其根本原因在于训练过程中缺乏层次化学习策略和明确的解耦约束。为解决这些问题，我们提出了基于两阶段层次化优化的解耦式视觉概念标记学习框架。在第一阶段，通过将新标记整合到预训练的文本嵌入分布中，并利用“标记空间概念分离与对齐损失”来强制实现标记间的分离，从而在嵌入层面进行标记学习。在第二阶段，我们在图像生成过程中运用“视觉概念语义对齐损失”来施加注意力层面的解耦，以抑制标记间的相互干扰。为确保训练的稳定性并保留先验知识，我们还引入了由视觉语言模型引导的自适应数据增强模块，该模块能够提升训练多样性，同时减少语言漂移并保留预训练的知识。这种层次化设计使得视觉概念标记能够作为独立的语义单元发挥作用，从而实现精细的属性控制及可靠的组合生成。此外，我们还提出了基于文本结尾嵌入的标记级评估指标，用于直接衡量所学视觉概念标记的语义质量。大量实验结果表明，所提出的框架具有很强的有效性，在视觉概念标记学习任务上取得了优异的性能。

引言

可控的视觉生成技术[15]、[44]、[53]要求能够精确操控复杂多物体场景中的各个物体。这一能力依赖于将场景分解为独立的语义组件，这些组件既能保留物体的特定特征，又能实现灵活的组合与精细的属性控制。这样的需求超出了传统的物体检测[33]、[40]、[55]或分割技术[1]、[9]的能力范畴，而是需要学习能够支持组合生成的解耦式视觉概念。

近年来，视觉概念标记学习作为一种极具前景的研究范式逐渐兴起，通过从参考图像中学习特定的标记嵌入，从而表示不同的视觉概念，以便用于后续的生成任务。尽管这一方法具有巨大潜力，但现有的视觉概念标记学习方法仍面临一个核心问题：特征纠缠。当多个概念被共同学习时，标记会无意中捕获不同物体之间的信息，从而导致语义表达模糊，进而降低单个物体的真实性以及组合生成的可靠性。

现有方法在单物体和多物体标记学习场景下存在明显的局限性。诸如文本反演[12]、DreamBooth[42]和CustomDiffusion[23]之类的单物体方法，虽然对于孤立概念的表现较为出色，但本质上每次训练只能学习一个物体。若要将这些方法扩展到多物体场景，就需要单独的训练流程，这会导致标记表示不一致，且嵌入在不同的语义空间中。相比之下，Break-A-Scene[2]、ConceptExpress[16]和ICE[7]等多物体方法虽然能够从多物体场景中进行联合学习，但往往存在严重的特征纠缠问题。在联合优化过程中，由于现有的损失函数缺乏强制标记间保持语义独立的机制，标记会捕获来自多个物体的混合视觉属性[4]、[37]，这就从根本上限制了组合控制的精度，也无法实现可靠的多物体生成。

为解决这些局限性，我们提出了一种系统的两阶段层次化优化框架，用于实现解耦式的视觉概念标记学习。我们的核心思路是，必须在学习的多个层面强制实现有效的标记解耦。在第一阶段，我们通过将新的视觉概念标记整合到预训练的CLIP文本嵌入分布中，并利用“标记空间概念分离与对齐损失”来确保标记空间的一致性及标记间的分离，从而在嵌入层面进行标记学习。在第二阶段，我们通过“视觉概念语义对齐损失”在图像生成过程中实现注意力层面的解耦，该损失函数能够限制标记间的注意力关联，避免视觉概念之间的语义干扰。为进一步保障训练的稳定性并保留先验知识，我们还引入了由视觉语言模型引导的自适应数据增强模块，该模块能够提升训练多样性，同时减少语言漂移并保留预训练的知识。综上所述，这些组件共同作用，使得视觉概念标记能够作为独立的语义单元发挥作用，从而实现精确的属性控制及可靠的组合生成，如图1所示。我们的贡献可总结如下：

• •
  提出了一种用于解耦式视觉概念标记学习的系统化两阶段层次化优化框架，其中“标记空间概念分离与对齐损失”用于规范标记空间的一致性与分离，“视觉概念语义对齐损失”则用于抑制注意力层面的标记间干扰。
• •
  引入了由视觉语言模型引导的自适应数据增强模块，该模块能够提升训练多样性，同时减少语言漂移并保留预训练的知识。
• •
  提出了基于文本结尾嵌入的评估指标，用于全面衡量视觉概念标记的质量。
• •
  大量实验表明，与现有的视觉概念学习基准方法相比，该方法在物体真实性、标记级语义质量以及组合控制能力方面均取得了显著提升。

章节节选

文本到图像生成

随着大规模生成模型的发展，文本到图像生成技术取得了显著进展。早期的研究探索了自回归模型和生成对抗网络[14]、[18]、[27]、[34]，为基于自然语言的条件图像合成奠定了基础。最近，基于扩散模型的方法[20]、[25]、[31]、[56]已成为文本到图像生成领域的主流技术，它们具有更出色的稳定性和图像质量。一些重要的研究成果

方法论

给定一张输入图像$$以及一组由用户指定的目标实例点，我们的目标是学习一组解耦式的视觉概念标记，这些标记既能捕捉各实例的特定语义，又能保持彼此之间的独立性。如图2所示，所提出的框架包括用于实例分离和构建实例级数据的准备阶段，以及用于实现标记解耦的两阶段层次化优化过程。此外，我们还在标记层面引入了

实验

本节将对所提出的用于解耦式视觉概念标记学习的双阶段框架进行评估。我们不仅进行了定性比较，还与一些代表性的基准方法进行了定量对比。除了常规的图像级指标外，我们还报告了所提出的标记级相似度指标$$，该指标可用于直接评估嵌入空间中的语义对齐程度。最后，我们通过实验分析来探讨该框架的可控性、组合行为以及各项设计决策的合理性。

局限性与未来工作

尽管所提出的框架提升了多物体视觉概念标记学习的性能，但它仍然依赖于区域级监督数据及语义描述的质量。如果SAM算法生成的掩码不够准确，就可能会带来噪声干扰，尤其是对于那些体积非常小、被严重遮挡或外观相似的物体而言。而用于ADA以及相关任务的视觉语言模型生成的描述，可能会遗漏某些细微的属性，或者包含无关的细节。此外，当场景中包含大量需要识别的概念时，也可能会给处理带来困难

结论

本文提出了一种用于多物体场景中解耦式视觉概念标记学习的双阶段层次化优化框架。通过在嵌入层面规范标记空间的一致性与分离，同时在注意力层面减少标记间的相互干扰，该框架能够学习出更加独立且具备良好组合性的视觉概念标记。结合由视觉语言模型引导的自适应数据增强机制以及基于文本结尾嵌入的标记级评估指标，我们的框架进一步提升了物体的真实性

CRediT作者贡献说明

张一博：撰写——初稿、可视化、验证、软件实现、方法设计、研究分析、形式化分析、概念构思。杨敏熙：撰写——审阅与编辑、方法设计。高大华：撰写——审阅与编辑、项目监督、资金筹集。谢峰：撰写——审阅与编辑、验证、研究分析。刘瑞超：撰写——审阅与编辑、项目监督。

利益冲突声明

作者声明，他们不存在任何可能影响本文研究结果的已知利益冲突或个人关系。

张一博目前是中国西安电子科技大学人工智能学院的硕士研究生，他的研究兴趣包括文本到图像生成、扩散模型、视觉概念学习以及可控图像合成技术。

张一博|杨敏熙|高大华|谢峰|刘瑞超