ST-gaussian：基于稳定扩散和高斯溅射技术的改进型3D内容生成方法

《Scientific Reports》：ST-gaussian: improved 3D content generation based on stable diffusion and gaussian splatting

　　

摘要

为了解决3D模型获取成本高且效率低的问题，本文提出了一种基于扩散模型和高斯溅射技术的单视图3D模型生成方法。该方法输入单张图像，再通过扩散模型补充侧视图信息。在此基础上，引入了基于随机视图监督策略和局部点云自适应完成机制的3D高斯溅射重建方法，以提高重建质量。通过对重建模型进行离轴渲染，生成密集的视点图像，进而对这些图像进行编码，最终从单视图实现3D模型的生成。实验结果表明，改进后的3DGS在峰值信噪比、结构相似度以及学习感知图像相似度方面均优于传统的3DGS算法。