IGR：基于层级引导扩散的身份保持服装修复

《Neurocomputing》：IGR: Identity-preserving garment restoration via hierarchically guided diffusion

　　

摘要：服装恢复是虚拟试衣的逆操作，旨在从人物图像中恢复出平面服装。核心挑战在于忠实地保持服装身份特征，特别是细粒度细节和全局结构连贯性，同时避免幻觉或不一致的重建。由于目前可用的训练数据集与真实服装恢复所需的实际数据分布之间存在严重的域不匹配，这一问题进一步加剧。为了应对这些挑战，我们提出了一种基于扩散的框架，将服装恢复表述为分层表示建模和保持身份恢复的联合问题。具体来说，我们将服装分解为互补的微观纹理和宏观语义组件，从而能够准确提取精细细节和结构线索。这些多层次表示随后被纳入作为指导，以调节去噪轨迹，确保恢复过程忠实于身上穿着的服装身份特征。关键在于，我们将这种建模和生成机制与渐进分布细化相结合，后者利用大规模噪声数据和精选的高质量数据，使我们的框架能够逐渐减少噪声监督的影响，并适应标准服装表示。实验结果表明，在定量指标和视觉质量方面，所提方法始终优于现有的最先进方法，在遮挡、视点变化和复杂设计等挑战条件下，产生了忠实且高保真的服装恢复结果。

引言：扩散模型 [1], [2], [3] 的快速发展显著拓宽了数字时尚应用 [4], [5], [6], [7] 的范围。然而，大多数现有的生成流水线从根本上依赖于平面服装作为必要输入，而在现实场景中，服装通常仅在人物穿着、处于不同姿态、遮挡和背景下的情况下被观察到，这往往无法获得。这一限制将服装恢复推向了前台。与虚拟试衣（VITON）任务 [8], [9], [10], [11], [12], [13], [14], [15] 不同，后者用给定的平面服装为目标人物着装，服装恢复 [16], [17], [18], [19], [20] 解决的是逆问题，即从自然场景中的人物图像中重建平面服装。

除了作为图像检索 [16], [17] 的辅助步骤的传统角色外，服装恢复已成熟为具有重大独立价值的基础生成目标。这种必要性在人对人 VITON 中尤为突出，如图 1(a) 所示，这是一种用户寻求参考人物身上观察到的服装而非依赖平面服装的场景。虽然一种直接的方法可能涉及使用分割模型 [21] 提取扭曲的服装，但这种策略本身有限。提取结果往往保留姿态引起的扭曲和严重遮挡，这与现有 VITON 模型所需的平面服装分布有很大偏差。这种域不匹配不可避免地会降低下游性能，导致纹理保真度受损和结构不一致，从而产生视觉上令人难以信服的试衣输出。因此，重建高质量平面服装的能力已成为推进时尚领域生成流水线的主要瓶颈。

尽管服装恢复在多个时尚应用中具有广阔潜力，但在现有文献中仍相对缺乏探索。该领域的初步尝试 [17], [22] 主要依赖于基于生成对抗网络（GANs）[23] 的框架。然而，有限的生成能力和固有的训练不稳定性严重限制了它们在高质量服装恢复中的应用。最近，潜在扩散模型（LDMs）[3] 的快速发展催化了以时尚为中心的应用生态系统的繁荣，并有效地促成了对服装恢复的关注重现。虽然这些新兴的基于扩散的框架 [18], [19], [20], [24] 在定性方面相比基于 GAN 的方法取得了显著飞跃，但在从人物图像重建平面服装时，它们仍然难以忠实地保持身份感知特征。总体而言，这些方法存在一个根本局限性。在严重遮挡、姿态变化和背景杂乱的情况下，忠实地保持细粒度细节和全局结构连贯性仍然是该领域持续存在的瓶颈。

除了模型设计之外，我们进一步观察到，服装恢复的有效性强烈受训练数据的质量和分布影响。尽管服装恢复和 VITON 在概念上是逆任务，但它们的数据集在内容上存在部分重叠。然而，广泛使用的 VITON 数据集（包括公共基准 [25], [26] 和互联网自然场景图像）并不直接适用于服装恢复。在输入方面，如图 1(b) 左侧面板所示，虽然身上穿着的服装可以有轻微遮挡，但遮挡身份关键细节（例如定义图案或标志）会破坏语义对应，迫使模型进行任意幻觉。鉴于 VITON 数据集对此类严重遮挡没有限制，直接在其上训练对于鲁棒的服装恢复来说是高度次优的。在输出方面，如前所述，服装恢复的主要目标是重建一个无遮挡、框架良好且正面的平面服装表示。然而，这些属性在 VITON 数据集中无法保证，其中店中服装可能以斜视视角出现或表现出极端的框架变化。使用此类数据作为监督可能导致模型学习到的分布偏离所需的平面服装表示。

为了解决这些挑战，我们提出了一个基于分层引导扩散的身份保持服装恢复框架，称为 IGR。由于幻觉或不一致的恢复源于服装表示建模不足和训练监督模糊，IGR 通过结合分层扩散架构和渐进分布细化策略，在统一框架中解决了这两个因素。IGR 的核心在于分层表示建模和保持身份恢复的联合执行。具体而言，服装表示被分解为互补组件，包括高级语义和低级纹理，分别由宏观语义适配器（Macro-Semantic Adapter）和微观纹理提取器（Micro-Texture Extractor）捕获。这些表示随后通过服装融合块（Garment Fusion Blocks）无缝集成到身份保持去噪器（Identity-Preserving Denoiser）中，其中利用交叉注意力机制和自注意力机制 [27] 来联合恢复平面服装的全局结构连贯性和细粒度细节。同时，为了提供更可靠的监督并减少由噪声或模糊训练对引起的幻觉重建，我们构建了一个特定任务数据集并引入了渐进分布细化。模型首先从大规模粗数据中学习一般的服装重建先验，然后逐步适应精选的服装恢复监督，这更好地匹配标准平面服装表示并强调身份关键细节。通过这种统一的架构和监督设计，IGR 产生了忠实保留源身份、与身上参考保持一致并达到最先进性能的平面服装。

我们的贡献总结如下：
• 我们通过提出 IGR 推进了服装恢复，这是一个具有保持身份恢复的基于扩散的框架，在忠实地保持身上服装的结构和细节的同时，合成逼真的平面服装。
• 我们提出了一种分层表示建模范式，通过分层服装提取器将服装线索解缠为宏观语义和微观纹理，并引入专用的服装融合块，以显式地集成这些特征以实现可控恢复。
• 我们引入了一套高质量的服装恢复数据集，并提出了渐进分布细化，它将大规模粗训练与来自精选数据的更清洁的监督相结合，以实现鲁棒和高保真的恢复。

章节片段
条件扩散模型
最近，以稳定扩散 [3] 为代表的 LDMs 的快速发展推动了文本到图像生成 [3], [28], [29], [30] 的显著进步。为了增强对生成输出的空间和语义控制，几种通用控制器应运而生 [31], [32], [33]。IP-Adapter [32] 赋予 LDMs 强大的图像提示调节能力，而 ControlNet [33] 和 T2I-Adapter [31] 则使用特定属性的条件（如姿态、边缘图）来强制结构对齐。

方法
本节首先在 3.1 节介绍 LDMs 的预备知识，并在 3.2 节概述 IGR。3.3 节随后介绍分层服装提取器，包括宏观语义适配器和微观纹理提取器，而 3.4 节描述身份保持去噪器。最后，3.5 节详细说明渐进分布细化，3.6 节描述数据集构建和预处理。

实验设置
实现细节。我们提出的框架建立在稳定扩散 v1.5 [3] 之上。在训练期间，IGR 的核心组件，包括 MaSA、MiTE 和 IdPD，被优化为可训练模块，以使预训练的扩散先验适应服装恢复。遵循 ProDR 策略，我们首先在粗数据集上训练模型 20,000 步，以学习一般的服装外观和结构先验，然后在精选数据集上进一步微调 5000 步以细化。

局限性与未来工作
尽管 IGR 在服装恢复方面表现前景广阔，但仍存在几个局限性。首先，如图 4 下身躯行中的标准恢复对列所示，模型可能会将人物图像中的光照效果与服装的内在外观混淆，这可能导致恢复的产品图像中出现色彩偏移。其次，对于高度复杂或非现实的身上服装，如图 4 的最后一行和最后一列所示，模型可能仍然难以

结论
在本文中，我们提出了 IGR，一个基于分层引导扩散的身份保持服装恢复框架，作为标准 VITON 任务的逆操作。我们的方法利用稳定扩散作为基础去噪器，以提供强大的先验能力。为了全面提取服装特征，我们设计了一个 HiGE，通过 MaSA 和 MiTE 捕获高级语义和低级纹理。为了确保生成的服装严格与

CRediT 作者贡献声明
Le Shen: 撰写 – 原稿，可视化，软件，方法学，调查，数据整理。Rong Huang: 撰写 – 审阅与编辑，验证，监督，概念化。Zhijie Wang: 撰写 – 审阅与编辑，监督，资源，项目管理，资金获取，概念化。

利益冲突声明
作者声明，他们没有任何已知的竞争性财务利益或个人关系，可能会影响本文报告的工作。

致谢
本工作得到了国家重点研发计划（编号 2019YFC1521300）的支持。

Le Shen 于 2021 年获得中国东华大学自动化工学学士学位。他目前是中国东华大学信息与智能科学学院控制科学与工程专业的博士研究生候选人。他的研究兴趣包括用于数字人的基于扩散的图像和视频生成。

Le Shen|Rong Huang|Zhijie Wang