GD-NeRF：用于一次性生成可泛化神经辐射场的细节补偿技术

《ACM Transactions on Multimedia Computing, Communications, and Applications》：GD-NeRF: Generative Detail Compensation for One-shot Generalizable Neural Radiance Fields

单视图合成中，我们提出GD-NeRF框架，通过GAN注入基础细节与扩散模型增强细节，同时保持三维一致性。该方法无需场景微调，合成结果兼具细节丰富性和真实感。

　　

摘要

在本文中，我们专注于一次性新视图合成任务，该任务的目标是在每个场景仅给定一张参考图像的情况下，合成逼真的新视图。以往的一次性通用神经辐射场（OG-NeRF）方法能够在无需微调的情况下完成这一任务，但由于其仅依赖编码器的架构且对参考图像的依赖性较高，因此存在图像模糊的问题。另一方面，基于扩散的图像到3D方法通过提取预训练的2D扩散模型能够生成生动且合理的图像，但需要针对每个场景进行繁琐的优化。为了解决这些问题，我们提出了GD-NeRF，这是一个既能生成生动合理的细节又能无需微调的生成式细节补偿框架。GD-NeRF采用从粗到细的策略，主要由一个阶段并行管道（OPP）和一个基于扩散的3D一致性增强器（Diff3DE）组成。在粗略阶段，OPP首先将GAN模型高效地集成到现有的OG-NeRF流程中，以注入主要的分布内细节；在精细阶段，Diff3DE进一步利用预训练的扩散模型来补充丰富的分布外细节，同时保持良好的3D一致性。在合成数据集和真实世界数据集上的广泛实验表明，GD-NeRF显著提升了图像的细节质量，同时消除了对每个场景进行微调的需求。