GTA：通过先处理几何形状再利用外观视频扩散技术，提升图像到3D世界生成的效率

《INTERNATIONAL JOURNAL OF COMPUTER VISION》：GTA: Advancing Image-to-3D World Generation via Geometry Then Appearance Video Diffusion

　　

摘要

生成模型和大规模数据集的最新发展极大地推动了3D世界生成技术，促进了包括空间智能、身体智能和自动驾驶在内的多个领域的发展。尽管取得了显著进展，但现有的3D世界生成方法通常更侧重于外观预测，而对底层几何结构的建模却较为有限，这导致了场景结构估计不可靠以及跨视图一致性降低等问题。为了解决这些限制，我们受到人类视觉感知从粗糙到精细的认知过程的启发，提出了一种名为GTA的创新图像到3D世界生成方法，该方法遵循“先生成几何结构，再生成外观”的范式。具体而言，给定一张输入图像，GTA采用两阶段框架：首先通过两个专门的视频扩散模型从新的视角生成粗略的几何结构，然后根据预测的几何结构合成精细的外观。为了进一步提高跨视图外观的一致性，我们在训练过程中引入了随机潜在数据混合策略，并在测试时采用了增强感知质量的方案，同时不牺牲定量性能。大量实验表明，我们的方法在真实感、视觉质量和几何准确性方面均明显优于现有方法。此外，GTA作为一种通用的增强模块，能够进一步提升现有图像到3D世界生成流程的质量，并支持多种下游应用，在模型训练过程中展现出良好的数据效率，体现了其多功能性和广泛的应用前景。项目页面：https://hanxinzhu-lab.github.io/GTA/