ShowFlow：从稳健的单一概念到无条件多概念生成

《Neurocomputing》：ShowFlow: From robust single concept to condition-free multi-concept generation

　　摘要
在可控图像合成领域，自定义图像生成仍是一项核心挑战。在单概念生成中，同时实现身份保留与提示对齐十分困难。而在多概念场景下，若仅依赖提示而无需布局框或语义掩码等额外条件，往往会导致身份丢失和概念遗漏。本文我们提出了ShowFlow这一综合性框架，旨在解决这些难题。其中ShowFlow-S用于单概念图像生成，ShowFlow-M则用于处理多概念场景。ShowFlow-S引入了KronA-WED适配器，该适配器结合了克罗内克适配器与权重和嵌入分解技术，并通过一种新颖的语义感知注意力正则化（SAR）训练目标来提升单概念生成效果。在此基础上，ShowFlow-M直接复用ShowFlow-S训练出的稳健模型，无需额外条件即可支持多概念生成，同时还加入了主体自适应匹配注意力（SAMA）和布局一致性引导模块作为即插即用组件。大量实验和用户研究证明了ShowFlow的有效性，其在广告和虚拟试穿等实际应用中具有巨大潜力。我们的源代码将公开发布在https://htrvu.github.io/showflow上。

引言
个性化文本到图像生成旨在根据自然语言描述合成特定主题的定制化图像。尽管大规模扩散模型[11]、[21]、[33]已取得显著进展，但要在捕捉用户提供的概念本质的同时保持模型固有的生成灵活性仍是一大挑战。这项任务可分解为两个主要目标：稳健的单概念获取与无缝的多概念组合。在单概念生成中，核心难点在于身份重建与基于提示的可编辑性之间的权衡。虽然像DreamBooth[33]这样的全参数微调方法能够实现高保真度，但它们往往存在灾难性遗忘和语言漂移问题。相反，基于LoRA[17]、[18]的参数高效微调技术则受限于低秩假设，其有限的能力常常无法体现复杂的主题细节，从而导致如图1（顶部）所示的“身份模糊”现象，生成的图像要么缺乏黄色时钟的概念，要么颜色关联错误。为弥补这一缺陷，我们在ShowFlow-S模块中引入了KronA-WED适配器。该适配器通过结合克罗内克分解与权重分解后的低秩适配，实现了高秩参数空间，既能捕捉精细的视觉特征，又能保持较小的模型规模。为进一步保障可编辑性，我们还提出了一种新颖的语义感知注意力正则化（SAR）训练目标。与以往主要关注嵌入层的解耦方法[2]、[3]、[6]、[36]不同，我们的目标是根据新引入的概念标记的作用来优化交叉注意力图，确保它们始终具有空间定位性，从而避免在复杂提示中出现信息泄露问题。在多概念生成中，挑战更为严峻，单纯合并模型往往会导致身份丢失或概念遗漏（见图1底部）。目前的先进方法[14]、[20]、[22]、[28]、[39]试图通过引入边界框等外部空间先验来解决这一问题。最近的一些可控且具备组合能力的文本到图像方法则进一步研究了无训练控制的多概念定制方案以及针对相似主题的注意力引导机制[24]、[29]、[43]。然而，这些“依赖布局”的方法限制了用户的创造力，且在处理复杂交互时表现不佳。因此，迫切需要一种“无条件”框架，能够仅通过文本就能协调多个主题。为解决这一问题，我们提出了ShowFlow-M，它采用了主体自适应匹配注意力（SAMA）模块。该模块旨在确保在测试时涉及多个主题时仍能保持身份一致性。此外，我们还加入了布局一致性引导机制，该机制在潜在空间中发挥作用，确保提示中提到的每个概念都能得到有效呈现，从而解决“概念缺失”问题。如图2所示，我们统一的ShowFlow框架在两项任务中均展现出卓越的性能。我们的源代码将公开发布在https://htrvu.github.io/showflow上。

我们的贡献如下：
• 我们提出了ShowFlow，这是一种统一的、无条件的框架，无需手动空间引导即可实现从稳健的单概念获取到高保真度多概念组合的过渡。
• 我们引入了KronA-WED适配器以及语义感知注意力正则化（SAR）训练目标，这种高容量更新机制能够在不牺牲提示可编辑性的前提下保持主题身份的完整性。
• 我们设计了主体自适应匹配注意力（SAMA）模块和布局一致性引导机制，使得在生成多个相互作用的主体时仍能保持各自的身份特征，同时避免概念遗漏。
• 大量评估和用户研究证明，ShowFlow在保真度和组合精度方面均显著优于现有的基准方法。

章节节选
单概念生成
尽管取得了诸多进展，但对于基于优化的方法[11]、[21]、[33]、[36]而言，如何在重建能力与可编辑性之间取得平衡仍是一个挑战。基于LoRA[18]的参数高效微调方法[14]、[17]大幅降低了微调成本，但由于其低秩假设，这类方法往往难以捕捉复杂的概念细节。为解决这一问题，LyCORIS[41]采用了克罗内克适配器（KronA）[9]来微调扩散模型。然而，若直接整合该适配器，则…

预备知识
参数高效微调。基于微调过程中所做的更新具有较低内在秩的假设，低秩适配（LoRA）[18]通过使用低秩分解来表示权重更新，即，其中，，且。经过微调后的权重可表示为：其中为预训练的权重矩阵，下划线标出的参数是在微调过程中需要训练的。在LoRA中，的秩为…

问题描述
设为一个由参数化的预训练文本到图像扩散模型。给定一组新的概念，其中每个概念由少量参考图像定义，个性化多概念生成的整体目标就是仅基于一个联合文本提示，合成一幅能够无缝融合所有概念的高保真度图像。常见的解决方法是为以下生成目标寻求最优解：其中为从训练数据中学习到的综合参数更新值。

实验设置
数据集。虽然DreamBench[33]和CustomConcept101[21]数据集仅包含显著的物体和动物，但我们还加入了角色概念，以便在单概念和多概念场景下进行更全面的评估。我们的数据集包括12种物体、5种动物以及7种角色（5个普通人类和2个特殊人类），如图9所示。普通人类与特殊人类的关键区别在于，对于后者，我们同样需要保留其…

ShowFlow-S的组件有效性。我们一致采用了解耦学习方法[6]，并评估了我们提出的KronA-WED适配器及语义感知注意力正则化（SAR）训练目标的有效性。KronA-WED的有效性是通过分析其克罗内克适配器（KronA）[9]和权重分解（WED）组件来评估的。如表3(a)所示，用KronA[9]适配器替代LoRA[18]适配器后，显著提升了ShowFlow-S的重建能力。此外，…

ShowFlow的计算效率
我们评估了ShowFlow在单概念和多概念生成方面的计算效率。对于单概念场景，我们记录了所有方法获取适配器权重所需的训练时间和内存占用。对于多概念场景，我们则考虑了适配器融合成本、生成时间以及相应的内存使用情况。在单块NVIDIA A100 40GB GPU上的详细对比结果如下：单概念学习。值得注意的是，ShowFlow-S采用了图像适配器…

用户研究
我们邀请了来自研究社区和高校的20名参与者（16名男性，4名女性），年龄在18至25岁之间参与这项研究。其中一半人具有人工智能背景，部分人熟悉我们的评估指标。他们为评估过程带来了多元化的视角，有助于确保评估的客观性。我们从参与者那里收集了1000份反馈，每份反馈的评分范围为1（非常差）到5（非常好）。为确保评估的公平性和一致性，我们…

潜在应用
ShowFlow的高保真度和无条件组合能力使其能够广泛应用于实际的现实场景，如图19所示。在虚拟试穿领域，ShowFlow可以轻松地将特定服装合成到不同的人类主体和姿态上，从而实现逼真的试穿体验，而无需手动添加空间掩码。此外，在产品广告领域，ShowFlow能够在复杂的组合布局中依然保持主体特征的清晰度，从而实现…

局限性与讨论
在本节中，我们从两个方面分析ShowFlow的局限性：（i）ShowFlow-S中的单概念属性与风格修改功能；（ii）ShowFlow-M的组合行为。

结论
在本文中，我们提出了ShowFlow，这是一个用于个性化图像生成任务的稳健框架。ShowFlow由两个部分组成：用于单概念学习与生成的ShowFlow-S，以及用于多概念生成的ShowFlow-M。ShowFlow-S通过引入KronA-WED适配器以及新颖的语义感知注意力正则化（SAR）训练目标，实现了重建能力与可编辑性之间的平衡。ShowFlow-M则通过引入SAMA和布局一致性引导机制，实现了多主题的协同生成。

CRediT作者贡献声明
Trong-Vu Hoang：撰写——初稿、方法论、概念设计。Quang-Binh Nguyen：撰写——初稿、方法论、概念设计。Thanh-Toan Do：撰写——审阅与编辑、方法论。Tam V. Nguyen：撰写——审阅与编辑、概念设计。Minh-Triet Tran：撰写——审阅与编辑、验证工作。Trung-Nghia Le：撰写——审阅与编辑、监督工作、项目管理、概念设计。

利益冲突声明
作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。

致谢
本研究得到了越南胡志明市国立大学（VNU-HCM）的资助，项目编号为B2026-18-17。Trong-Vu Hoang于2024年获得越南科学大学的计算机科学学士学位，目前仍是该校的研究生。

Trong-Vu Hoang|Quang-Binh Nguyen|Thanh-Toan Do|Tam V. Nguyen|Minh-Triet Tran|Trung-Nghia Le
越南胡志明市科学大学