RAM-时尚：面向时尚图像生成的检索增强多模态扩散

《Pattern Recognition》：RAM-Fashion: Retrieval-augmented multimodal diffusion for fashion image generation

　　

- RAM-Fashion通过检索机制解决可扩展性和预处理方面的局限性。
- 双重一致性检索改善了跨模态对齐和语义一致性。
- 分层引导机制平衡了全局语义与精细视觉细节。
- 多粒度融合增强了属性与风格的精确控制能力。

引言

时尚图像生成已成为计算机视觉领域的一个重要研究方向，旨在生成在语义上一致且在视觉上逼真的服装图像[1]、[2]。通过实现属性对齐、风格感知的高质量且多样化的服装生成，该技术支撑了广泛的应用场景，包括电子商务产品可视化、个性化推荐和虚拟试穿系统。除了提升用户体验之外，它还能为数字时尚设计和内容创作提供可扩展的解决方案，从而推动时尚产业向智能化和交互化平台转型。

早期基于生成对抗网络（GANs）[3]、[4]的研究在图像生成方面取得了初步成功。然而，其实际应用受到持续的训练不稳定性、生成多样性受限以及细粒度视觉属性恢复不足等问题的阻碍。近年来，基于扩散模型的文本到图像生成模型[5]、[6]在通用图像生成方面取得了显著进展。然而，将这些模型直接应用于时尚场景仍面临挑战[7]、[8]。一个根本性局限在于它们严重依赖文本描述，而文本描述往往稀疏或语义模糊，导致几何不准确或复杂纹理和材质属性的重建不一致。为缓解这些问题，近期研究通过跨模态融合引入了视觉模态。尽管这些方法实现了多模态引导，但许多现有方法[9]、[10]、[11]依赖于简单的拼接或单阶段对齐策略，这往往会纠缠异质特征，限制对互补语义和视觉信息的有效利用。此外，一些多条件框架[12]、[13]、[14]引入了轮廓图、深度图或姿态图等辅助输入。虽然这些信号提供了显式的结构约束，但通常需要复杂的预处理流程和额外的标注，从而降低了可扩展性和实际应用性。

检索增强生成近年来作为一种有前景的替代方案出现[15]，利用视觉-语言模型从大规模数据库中检索与文本相关的图像作为视觉先验。当检索数据库足够大且多样时，此类方法可以提供丰富的风格和外貌参考，补充文本描述并增强所生成时尚图像的可控性。与依赖额外标注和预处理的复杂多条件流程相比，基于检索的方法利用现成的图文对来提供逼真的视觉线索，无需额外的结构监督。然而，现有的检索增强框架[16]、[17]仍然存在一些局限。首先，大多数方法仅依赖检索过程中文本查询与候选图像之间的跨模态相似度。这种策略缺乏模态内语义一致性验证，引入了弱对齐或语义模糊的候选项，从而损害了风格引导的可靠性。其次，检索到的图像通常仅使用全局特征来表示，这限制了对细粒度外观信息的利用。这些问题限制了检索信号在引导可控时尚图像生成方面的有效性。

为了解决这些局限性，我们提出了RAM-Fashion，一种专为属性对齐和风格引导的时尚图像生成而精心设计的检索增强多模态扩散框架。该框架由两个关键阶段组成：(1) 跨模态检索模块，采用一种新颖的双重一致性检索优化策略，通过联合建模跨模态对齐和模态内语义一致性，检索在视觉上相关且在语义上一致的参考服装。据我们所知，这是首次将这种双重一致性检索范式引入检索增强的时尚图像生成中，为下游生成提供了更可靠的视觉先验；(2) 检索分层引导模块，通过外观上下文编码器和上下文适配器分别从检索到的图像中提取细粒度外观特征和高层全局语义表示。这些多粒度特征随后通过专门的特征融合机制被整合到生成流程中，实现了全局语义与局部外观细节之间的有效协作，同时缓解了跨模态干扰。在Dress Code Multimodal和VITON-HD Multimodal数据集[18]、[19]、[20]上的大量实验表明，我们提出的RAM-Fashion在视觉真实感、语义一致性和人类感知偏好方面均表现优越。此外，全面的消融实验和泛化实验进一步验证了所提框架的有效性和鲁棒性。

RAM-Fashion的主要贡献可总结如下：

- 我们提出了RAM-Fashion，一种面向时尚图像生成的检索增强多模态扩散框架，该系统性地将检索到的视觉先验融入生成过程，实现了对文本语义和服装外观的统一建模。
- 我们引入了一种双重一致性检索优化策略，通过联合建模跨模态相似度和模态内语义一致性来提高检索参考的可靠性。据我们所知，这是首次将此类检索范式整合到时尚图像生成中。
- 我们设计了一种分层多粒度特征融合机制，以有效融合全局语义引导和细粒度外观线索，增强属性对齐和视觉质量。
- 在公开基准上的大量实验表明，RAM-Fashion在语义一致性、属性保留和视觉真实感方面均优于现有的最先进方法。

本文其余部分组织如下：第2节回顾相关工作。第3节详细介绍所提出的RAM-Fashion框架。第4节通过综合实验评估RAM-Fashion的有效性。第5节讨论局限性和未来研究方向。第6节总结全文。

相关工作片段

多模态条件图像生成

近期基于文本到图像的扩散模型，如Stable Diffusion（SD）[6]、DALL-E2 [21]和Imagen [22]，在照片级真实感图像生成和跨模态对齐方面取得了显著进展。在此基础上，多模态条件图像生成通过引入文本提示之外的辅助条件，进一步提升了可控性和保真度，实现了对细粒度属性的更精确建模。

为了进一步增强可控性，各种多模态

方法论

本节首先介绍Stable Diffusion的基本概念，然后呈现RAM-Fashion框架，详述其核心组件：跨模态检索模块（CMRM）和检索分层引导模块（RHGM）。最后，阐述训练目标和推理过程。

实验

在本节中，我们首先介绍数据集、评价指标和实现细节。随后，我们将RAM-Fashion与九种最先进的方法进行定性和定量比较以及效率分析。最后，我们进行消融研究和模型分析，以验证双重一致性检索优化策略、跨模态融合策略、组件有效性和泛化性能。

讨论

虽然RAM-Fashion取得了令人瞩目的性能表现，并展示了检索增强生成在保留细粒度服装外观和提高语义保真度方面的实用价值，但在某些条件下仍面临不可忽视的局限性。如图9所示，当输入文本提示涉及检索数据库中代表性不足的罕见服装属性或高度复杂的纹理图案（如珠饰、镶板提花）时，模型可能会遇到困难。

结论

本文提出了RAM-Fashion，一种专为时尚图像生成而设计的检索增强多模态扩散框架。为了解决仅文本条件带来的局限性，我们引入了跨模态检索模块，从相关的服装范例中提供外观先验。为进一步缓解大规模检索中的语义模糊性，我们提出了一种双重一致性检索优化策略，通过联合强制跨模态相似度和文本语义一致性，

作者贡献声明

Xuan Zhou：初稿撰写、方法论、软件、可视化、数据整理。Kaibing Zhang：审阅与编辑、资金获取、监督指导。Hui Zhang：概念构思、软件、验证。Kaixuan Liu：监督指导、验证、资源。Fei Gao：项目管理、调查研究。Long Wu：形式化分析、资源。

利益冲突声明

作者声明不存在已知的可能影响本文所报告工作的竞争性经济利益或个人关系。

致谢

本工作部分由国家自然科学基金（资助号62036007、U22A2096和61971339）、陕西省重点研发计划（资助号2024GX-ZDCYL-02-07）以及西安理工大学研究生创新基金项目（资助号chx2026007）资助。

Xuan Zhou | Kaibing Zhang | Hui Zhang | Kaixuan Liu | Fei Gao | Long Wu