GS-VTON：基于高斯分裂技术的可控制3D虚拟试穿功能

《INTERNATIONAL JOURNAL OF COMPUTER VISION》：GS-VTON: Controllable 3D Virtual Try-on with Gaussian Splatting

2D扩散式虚拟试衣技术表现优异，但3D VTON发展滞后。现有方法存在文本描述服装细节不足、多视角生成结果不一致等问题。本文提出基于3D高斯溅射（3DGS）的图像提示式3D VTON方法（GS-VTON），通过LoRA微调实现个性化扩散模型，结合参考驱动多视角编辑确保一致性，并构建3D-VTONBench基准。实验表明该方法在服装细节保留和几何精度上显著优于现有方案。

　　

摘要

基于扩散的2D虚拟试穿（VTON）技术最近表现出了强劲的性能，而3D VTON的发展则相对滞后。尽管在文本引导的3D场景编辑方面取得了最新进展，但将2D VTON集成到这些流程中以实现逼真的3D VTON仍然具有挑战性。原因有二：首先，文本提示无法充分描述衣物的细节；其次，从同一3D场景的不同视角生成的2D VTON结果缺乏连贯性和空间关系，这常常导致外观不一致和几何变形。为了解决这些问题，我们提出了一种基于图像提示的3D VTON方法（称为GS-VTON），该方法利用3D高斯散射（3DGS）作为3D表示方式，实现了从2D VTON模型到3D模型的知识迁移，并提高了跨视图的一致性。(1)具体来说，我们提出了一个个性化扩散模型，该模型采用低秩适应（LoRA）微调技术将个性化信息融入到预训练的2D VTON模型中。为了实现有效的LoRA训练，我们引入了一种基于参考图像的编辑方法，该方法能够同时编辑多视图图像并确保一致性。(2)此外，我们提出了一个具有角色感知能力的3DGS编辑框架，以促进有效编辑，同时提升跨视图外观的一致性和3D几何质量。(3)另外，我们建立了一个新的3D VTON基准测试平台\(\textit{3D-VTONBench}\)，该平台支持全面的定性和定量3D VTON评估。通过大量实验和与现有方法的比较分析，所提出的GS-VTON展示了出色的保真度和先进的编辑能力，证明了其在3D VTON领域的有效性。