参考引导的高斯泼溅用于逼真且视角一致的3D场景补全

《Computer》：Reference-guided Gaussian splatting for realistic and view-consistent 3D scene inpainting

　　摘要：辐射场方法，如神经辐射场或3D高斯溅射，已成为合成逼真新视角的开创性3D表示方法。当前研究正致力于灵活的场景编辑技术以满足实际应用需求，其中物体移除是一项代表性任务。然而，移除物体会暴露被遮挡的区域，往往导致外观不自然。因此，研究者采用图像修复技术将此类区域替换为合理的内容，该任务被称为3D场景修复。然而，图像修复方法为每个视角生成众多可能完成结果之一，导致不同视角之间的不一致性。一种广泛采用的方法使用感知线索来平滑融合修复后的视图，但该方法容易导致细节丢失，且在视角间存在感知不一致时可能失效。本文提出了一种新颖的3D场景修复方法，通过使用参考视角，即使对于复杂场景也能可靠地生成真实且感知一致的结果。给定修复后的参考视角，我们估计其他视角的修复相似度，以调整其在构建针对参考视角的准确几何体时的贡献。随后，使用该几何体将参考视角的修复内容扭曲到其他视角作为伪真值，引导优化以匹配参考外观。对比评估表明，我们的方法提高了修复场景的几何保真度和外观一致性。我们的项目页面可在 https://repaintgs.github.io 查看。