LN3DIFF++：可扩展的潜在神经场扩散技术，用于快速生成三维模型

《IEEE Transactions on Pattern Analysis and Machine Intelligence》：LN3DIFF++: Scalable Latent Neural Fields Diffusion for Speedy 3D Generation

神经渲染领域提出LN3DIFF++框架，通过3D架构与VAE编码构建潜在空间，结合Transformer解码器生成高容量3D神经场，实现ShapeNet、FFHQ及Objaverse上更优的快速3D生成。

　　

摘要：

神经渲染领域取得了显著进展，这得益于生成模型和可微分渲染技术的进步。虽然2D扩散技术已经取得了显著成果，但开发统一的3D扩散流程仍然是一个未解决的挑战。本文提出了一种新的框架LN3DIFF++，旨在填补这一空白，实现快速、高质量且多用途的条件式3D生成。我们的方法利用了具有3D感知能力的架构和变分自编码器（VAE）将输入图像编码到结构化、紧凑的3D潜在空间中。然后，基于Transformer的解码器将潜在表示解码为高容量的3D神经场。通过在具有3D感知能力的潜在空间上训练扩散模型，我们的方法在ShapeNet和FFHQ数据集上的特定类别3D生成任务中表现优异，并且在Objaverse数据集上实现了无类别图像/文本条件下的3D生成。此外，它在推理速度上也超过了现有的3D扩散方法，且无需针对每个实例进行优化。视频演示可以在我们的项目网页上找到：https://nirvanalan.github.io/projects/ln3diff。