基于轮廓细化候选生成的主动视角选择方法提升神经辐射场新视角合成质量

《IEEE Transactions on Visualization and Computer Graphics》：Active Reconstruction of Radiance Fields with Expanded Silhouette Refinement

　　

摘要：

辐射场表示在新视角合成和 3D 几何重建方面取得了显著成功。然而，重建质量对输入图像的数量和场景覆盖程度都非常敏感，并且通常需要人工努力来获取拍摄条件良好的图像集合。为了在保持重建保真度的同时降低采集成本，主动视角选择方法旨在确定每次迭代中能够最大化信息增益的下一个最佳视角（NBV）。然而，现有方法通常会在 NBV 优化过程中限制相机姿态搜索空间，这可能导致视角选择次优且重建质量受限。在本文中，我们扩展了 NBV 候选采样空间，以识别能够同时兼顾局部表面细节和全局几何完整性的信息丰富的图像集合。我们提出了一个两阶段的轮廓细化候选生成（SRCG）框架，该框架利用构图良好的视点先验知识来生成具有改进对象覆盖率的候选视角。我们通过体积渲染以可微分的方式优化粗略相机候选，并由提出的扩展轮廓损失引导，该损失鼓励有效捕获轮廓。在合成和真实世界基准上进行的广泛评估，使用神经辐射场（NeRF）和 3D 高斯泼溅（3DGS）作为基础框架，证明了所提出的方法产生的候选视角具有卓越的表面覆盖率和像素密度，并持续改进各类物体中的新视角合成。