RFG-VTON：基于扩散模型的奖励函数引导型高保真虚拟试穿方法

《Neurocomputing》：RFG-VTON: Reward function-guided high-fidelity virtual try-on method based on diffusion model

　　张淑芳|张梅|丁文欣|李雅轩中国天津天津大学电气与信息工程学院，邮编300072摘要基于扩散模型的虚拟试穿方法旨在将服装图像与人物图像结合，以实现逼真的合成效果。然而，现有方法往往缺乏精细特征。这是因为扩散模型仅依赖内部损失函数，这可能会模糊细粒度细节，导致高频信息未能得到充分利用。因此，我们提出了一种新型的基于奖励函数的高保真虚拟试穿方法（RFG-VTON）。该方法借鉴了强化学习中的“环境-智能体-奖励”范式，将去噪过程重新定义为单步马尔可夫决策过程。具体而言，环境模块通过预处理输入图像来建立初始试穿条件。智能体模块生成试穿图像并更新试穿策略，同时从生成的图像和目标图像中捕捉细粒度特征以供后续评估。奖励模块生成混合奖励信号，该信号整合了内部损失函数和外部评估指标，然后通过策略梯度机制将此混合奖励信号反馈给智能体模块，从而有效监督试穿生成过程。在VITON-HD和DressCode数据集上进行的定性和定量实验表明，RFG-VTON的性能显著优于现有的先进模型，尤其是在生成逼真的人体特征和精确的服装细节方面。引言虚拟试穿技术旨在让用户无需复杂流程即可查看试穿结果，这大大降低了退货率，在电子商务领域具有很高的价值。虚拟试穿任务需满足以下要求：（1）保持人物的原始姿势和体型以及其个体特征；（2）完整保留服装的纹理细节，同时确保其变形与人的姿势一致；（3）保持生成的人体特征在语义上的一致性。为满足上述标准并实现逼真的试穿效果，高质量的单色服装先验信息至关重要。除了直接从数据集中获取单色服装外，如TryOffDiff[1]和TryOffAnyone[2]之类的虚拟试穿方法还可以从带衣图像中提取标准服装纹理，从而获得用于虚拟试穿的单色服装图案。早期的虚拟试穿方法[3][4][5][6]主要依赖于生成对抗网络（GANs）[7]，这类网络能够高效且可控地实现服装迁移，并产生高质量的试穿结果。然而，基于GAN的虚拟试穿方法[8][9][10][11][12][13]存在细节保留不足以及对未见数据的泛化能力较弱的问题。近年来，随着扩散模型（DM）[14][15][16][17][18][19][20]的发展，出现了许多基于DM的虚拟试穿方法[21][22][23][24][25]。最初的基于DM的虚拟试穿方法[26][27][28]使用单个U-Net[29]逐步融合服装和人体特征，生成全局连贯的试穿图像。即便如此，由于缺乏明确的局部细节约束，这些方法常常会导致高频纹理模糊，试穿效果不真实。为解决这些问题，基于双U-Net框架的虚拟试穿方法[30][31][32]使用两个并行的U-Net模块分别处理服装特征并生成试穿结果，有效解决了高频纹理模糊的问题。然而，仅依靠内部损失函数，这种方法容易使细粒度特征变得平滑。在此基础上，基于差分变压器的虚拟试穿方法[33][34][35]采用扩散变压器（DiT）[36]替代U-Net，通过全局注意力机制有效地注入高分辨率细节。不过，DiT侧重于长距离依赖关系，可能会忽视局部特征，从而导致在去噪过程中无法精确恢复高频噪声，使得服装细节和人体特征出现模糊或伪影。总之，目前的基于DM的虚拟试穿方法仍面临缺乏精细特征的挑战，其主要原因在于未能充分利用高频信息。近年来，强化学习已成为文本到图像生成中微调DM的主流方法[37][38][39][40][41]。通过在序列决策框架中设置每步奖励约束，强化学习能够将高频对齐目标明确地引入去噪过程，从而减轻全局重建损失所带来的细节丢失问题，进而保留细粒度特征。尽管强化学习在文本到图像生成方面具有优势，但将其应用于虚拟试穿任务却面临着巨大挑战。目前的强化学习微调DM框架[42][43]主要依赖人类反馈来生成奖励信号。然而，这种“美学对齐”主要确保全局语义和整体美观的一致性，无法保证像素级的精确度。而虚拟试穿任务则需要基于服装图像的像素级精度，这超出了简单的语义引导范畴。鉴于上述情况，迫切需要开发一种将强化学习与DM相结合的定制化虚拟试穿框架。因此，我们提出了一种新型的基于奖励函数的高保真虚拟试穿方法（RFG-VTON），该方法通过将去噪过程重新定义为单步马尔可夫决策过程，将强化学习融入虚拟试穿任务中。具体而言，环境模块通过预处理输入图像来建立初始试穿条件。智能体模块优化试穿策略，以生成语义一致的人体特征和精确的服装纹理，同时捕捉生成图像和目标图像的局部特征以作为进一步指导。为了监督生成过程，奖励模块整合上述局部和全局特征，评估生成图像与目标图像之间的差异，并通过梯度机制反馈混合奖励信号。该混合奖励信号能够有效优化生成试穿图像的细粒度特征。我们在VITON-HD[4]、DressCode[44]、DeepFashion-MultiModal[45]、Shopping100k[46]和DeepFashion2[47]数据集上进行了全面实验。如图1所示，实验结果表明，我们的方法具有出色的稳定性，尤其是在生成具有精细纹理细节和语义一致性的高质量试穿结果方面。我们方法的主要贡献如下：（1）我们提出了一种名为RFG-VTON的创新方法，它建立了首个针对虚拟试穿任务的定制化强化学习框架，能够有效利用高频信息生成具有细粒度特征的精确试穿图像。（2）我们提出了奖励模块，该模块利用整合了内部损失函数和外部评估指标的混合奖励信号，解决了仅依赖内部损失会导致高频信息被平滑的问题。（3）我们在多个数据集和场景中验证了RFG-VTON的优越性能，其表现明显优于基准方法和其他先进方法，尤其是在生成语义一致的人体特征和精细的服装纹理方面。段落摘录基于扩散模型的虚拟试穿虚拟试穿技术的主要目标是在保持模型身份及其他人类特徵的前提下，合成模型身上目标服装的图像。许多研究方向为保持身份的生成技术做出了贡献[48][49]。例如，在人类动画和合成领域，PHiD[49]提出了姿态驱动的面部变形模块、遮罩面部适配器以及面部身份保持损失函数，从而在保持面部身份方面取得了优异成果。类似的，现有的基于DM的虚拟试穿方法为提高可读性，表1定义了文中后续使用的符号及其含义。如图2所示，RFG-VTON的框架由三个模块组成。环境模块以目标试穿图像、目标服装图像、未知图像以及人体姿态信息作为输入，经过预处理后输出初始试穿状态信息。智能体模块利用这些信息生成一系列去噪后的图像及其对应的局部特征。数据集为评估有效性，我们在VITON-HD[4]和DressCode[44]数据集上进行了对比实验和消融实验。VITON-HD数据集包含13,679对半身视图和上身服装图像，分辨率为1024×768。DressCode数据集则包含超过50,000对高分辨率图像对，分辨率为1024×768，涵盖连衣裙、上装和下装。我们从VITON-HD和DressCode的训练集中选取了1500对图像用于实验。结论本文介绍了RFG-VTON，该方法将强化学习框架引入虚拟试穿任务中。具体而言，环境模块负责将输入图像预处理为初始试穿状态，而智能体模块则提取细粒度特征，为生成详细的服装纹理和人体特征提供更好的指导。奖励模块则通过引入混合奖励信号来监督试穿结果的生成。该混合奖励信号有助于有效利用高频信息。CRediT作者贡献声明张淑芳：写作——审阅与编辑、验证、监督、软件、方法论、概念设计。张梅：写作——审阅与编辑、初稿撰写、软件、方法论、研究。丁文欣：写作——审阅与编辑、初稿撰写、方法论、研究、概念设计。李雅轩：写作——审阅与编辑、方法论、研究、概念设计。利益冲突声明作者声明不存在任何可能影响本文工作的已知财务利益或个人关系。张淑芳分别于2004年和2007年在中国天津大学获得硕士和博士学位，目前是天津大学电气与信息工程学院的副教授。她的研究兴趣包括深度学习、虚拟试穿以及服装推荐。