基于隐式-显式身份解耦与混合专家特征融合的文本到图像主体驱动生成方法

《IEEE Transactions on Image Processing》：Implicit–Explicit Decoupling and Mixture-of-Experts Fusion for Subject-Driven Text-to-Image Generation

　　

摘要：

大规模文本到图像（T2I）模型的近期进展推动了主体驱动的 T2I 生成发展，其旨在合成与文本提示对齐且保留主体身份的定制图像。然而，现有方法仍难以将身份相关信息与身份无关细节解耦，导致过拟合或主体身份保留不足。在本工作中，我们提出了一种新颖的方法，增强了身份相关与身份无关特征的分离，并引入特征融合机制以提高图像质量和文本对齐度。我们的方法由两个关键组件组成：隐式 - 显式前景 - 背景解耦模块（IEDM）和基于混合专家的特征融合模块（FFM）。IEDM 使用可学习适配器进行隐式特征级解耦，并使用修复技术进行显式前景 - 背景分离。这一解耦过程由三个互补的损失函数促进。FFM 自适应地整合身份无关和身份相关特征，实现更精细的特征表示。大量实验证明了我们的方法在提高图像质量、增强场景适应性和增加各种文本提示下输出多样性方面的有效性。