一种基于图像的虚拟试穿系统中的人体布局一致性框架

《Image and Vision Computing》：A human layout consistency framework for image-based virtual try-on

基于人类布局一致性提升的图像虚拟试衣框架提出并验证

　　图像虚拟试穿技术近年来在电子商务和零售行业引起了广泛关注。随着在线购物的普及，消费者越来越倾向于在购买前通过数字方式查看衣物的穿着效果。这一技术不仅能够提升用户的购物体验，还能有效提高线上零售商的销售效率。传统的虚拟试穿方法通常依赖于3D扫描设备来获取人体模型和衣物信息，然而这些设备成本高昂且操作复杂，限制了其在实际应用中的可扩展性。因此，研究人员开始探索基于2D图像的虚拟试穿方法，这种方法主要通过深度学习模型来生成衣物在人体上的穿着效果，而无需使用3D扫描设备。

基于图像的虚拟试穿通常被归类为生成式图像到图像的翻译任务，其中最常用的方法包括图像修复和循环一致性框架。图像修复方法通过移除原始图像中与目标衣物相关的部分，然后利用目标衣物图像作为条件来重建图像。这种方法在一定程度上能够实现自监督训练，但其局限性在于只能处理相同属性的衣物，例如相同袖长、领型和整体轮廓的衣物。因此，当需要将不同属性的衣物（如从短袖到长袖、从圆领到V领等）试穿在同一个人身上时，图像修复方法常常无法生成高质量的试穿结果，容易出现边界对齐错误和视觉伪影，特别是在手臂和颈部区域。

相比之下，循环一致性框架通过构建两个相互关联的网络来实现自监督信号的生成。其中一个网络用于生成试穿结果，另一个网络则用于重建原始图像。这种方法能够支持任意选择目标衣物进行训练，从而具备一定的跨属性适应能力。然而，循环一致性框架的缺点在于需要两个独立的网络，这不仅增加了计算负担，还可能导致参数共享问题。此外，在实际部署时，通常只使用其中一个网络，而另一个网络则被丢弃，这在一定程度上造成了资源浪费。

为了解决上述问题，本文提出了一种新的框架，称为“人体布局一致性”（Human Layout Consistency）。该框架的核心思想是，高质量的虚拟试穿结果应与人体的布局保持一致。具体而言，框架包括三个主要模块：上游的人体布局生成器（Human Layout Generator, HLG）、下游的人体布局解析器（Human Layout Parser, HLP）以及试穿网络。上游的人体布局生成器用于预测人体布局图（Human Segmentation Map, HSM），该图表示如果一个人穿着选定的目标衣物，其身体各部分的布局情况。下游的人体布局解析器则用于解析试穿网络生成的试穿结果，提取出实际的人体布局图。通过比较上游和下游生成的人体布局图，可以构建出基于人体布局一致性的监督信号，而无需依赖真实的图像对。

该框架的优势在于，它允许在训练过程中任意选择目标衣物，从而增强了模型对跨属性试穿任务的适应能力。同时，由于框架中仅使用一个试穿网络，避免了参数共享问题，提高了模型的效率和灵活性。此外，这种方法在实际部署时只需要一个网络，从而节省了计算资源和存储空间。

为了验证该框架的有效性，本文在VITON数据集上进行了广泛的实验和对比研究。VITON是一个专门用于虚拟试穿任务的基准数据集，包含了大量真实人体图像和目标衣物图像。实验结果表明，基于人体布局一致性的框架在生成高质量试穿结果方面表现优异，相比现有的基线方法，其性能提升了0.75%到10.58%。此外，消融实验和可视化结果进一步证明了该方法在跨属性翻译任务中的优越性，展示了其在实际应用中的潜力。

在方法实现上，本文首先介绍了相关工作，包括基于图像修复和循环一致性的现有方法。然后详细阐述了提出的“人体布局一致性”框架，包括其结构、训练策略以及模块间的相互作用。在实验部分，本文对模型的性能进行了定量和定性分析，评估了其在不同任务和场景下的表现。最后，本文总结了研究的主要发现，并讨论了未来可能的研究方向。

总体而言，本文提出的“人体布局一致性”框架为图像虚拟试穿任务提供了一种新的解决方案，克服了现有方法在跨属性适应和参数共享方面的不足。该框架不仅能够生成高质量的试穿结果，还能有效减少计算资源的消耗，具有重要的实际应用价值。未来的研究可以进一步探索该框架在其他相关任务中的应用，如衣物推荐、个性化时尚设计等，以拓展其在数字时尚领域的影响力。