基于不确定性引导的神经辐射场算法，用于应对多种退化因素

《Neurocomputing》：Uncertainty-guided neural radiance fields against diverse degradation factors

　　

摘要

神经辐射场（NeRF）在受控条件下实现了逼真的新视角合成。通过将视角方向作为输入，NeRF能够模拟依赖于视角的反射效果。然而，这种依赖于视角的特性也使得NeRF容易受到数据质量下降的影响，因为在拍摄过程中无意中出现的模糊和遮挡可能被错误地建模为依赖于视角的外观。与之前针对特定类型数据退化设计的方法不同，我们提出了一种基于不确定性引导的NeRF算法，能够处理多种退化因素。具体来说，我们引入了一个视角一致性约束，以防止过度拟合于依赖于视角的退化伪影。此外，我们对输入图像的不确定性进行了建模，以减少退化像素对NeRF的负面影响。这两个组件与退化类型和网络架构无关，从而提高了现有基于NeRF的模型在多种退化条件下的鲁棒性。在多个退化数据集上的实验证明了我们方法的鲁棒性、泛化能力和可扩展性。

引言

给定一组从多个视角捕获的图像，新视角合成（NVS）的目标是渲染未见过的相机视角下的场景[40]、[47]、[48]。基于神经辐射场（NeRF）[22]及其变体[17]、[33]、[44]，NVS取得了显著进展。然而，这些方法的合成质量受到多种退化因素的严重影响，例如移动设备拍摄的因果多视图图像中的模糊和遮挡（见图1）[49]。例如，当相机移动或失焦时可能会出现意外模糊，摄影师可能会在目标表面投下不可避免的阴影。

为了处理上述退化问题，现有方法通过手动去除退化数据来进行去模糊[43]，利用视图间和空间信息进行去噪[27]，或将遮挡物建模为异常值进行去除[30]。然而，这些方法通常是为处理单一类型的退化而设计的。由于捕获的多视图图像中常常存在混合退化因素，因此需要开发一种能够处理多种退化形式的NVS方法。

在本文中，我们提出了一个鲁棒且具泛化能力的框架，旨在处理各种随意且不受控制的拍摄场景，从而在图像退化的情况下实现高质量的新视角合成。我们的关键观察是NeRF中的多种图像退化[22]可以统一视为依赖于视角的外观。具体来说，图像退化通常出现在某些输入视角中，这些视角下的观察到的外观与其他视角不一致。NeRF[22]能够模拟依赖于视角的外观。尽管这一特性为表示具有复杂反射率的场景提供了灵活性，但它也可能使NeRF容易受到退化图像数据的影响[4]、[51]，从而导致新的视角合成结果不佳。

受到这一观察的启发，我们引入了一个视角一致性约束，以确保所有视角下的颜色一致性，从而提高对多种退化因素的泛化能力。然而，这种约束在优化退化像素的图像重新渲染损失时可能会引入较大误差，可能导致网络收敛到次优解。为了减轻视角一致性约束引入的较大误差，我们进一步开发了一个不确定性估计算法，为每个渲染像素的重新渲染误差提供自适应权重。这个不确定性模块作为一种鲁棒机制，使神经辐射场能够抑制来自退化像素的异常值。通过将视角一致性正则化与来自不确定性估计的鲁棒机制相结合，我们构建了一个能够抵抗多种退化因素的神经辐射场。

总结来说，我们的贡献如下：

•

我们提出了一个鲁棒的神经辐射场框架，能够在各种退化因素（如模糊和遮挡）下生成高质量的新视角合成结果。

•

我们证明了不确定性估计算法结合视角一致性约束是NeRF在新视角合成中的鲁棒策略。

•

所提出的方法可以很容易地适配到不同的基于NeRF的模型中，以提高它们的鲁棒性。

与那些分别关注瞬态对象、模糊和遮挡的现有技术方法相比，所提出的方法在真实世界数据集的三种场景中都显示出有效性。

部分摘录

鲁棒的3D新视角合成

目前，一系列基于NeRF的方法[1]、[2]在生成逼真渲染方面展示了出色的能力。然而，当训练数据的质量不理想时，这些方法往往会出现明显的伪影。最近的研究已经扩展到处理异常输入，如噪声[5]、[21]、模糊[3]、[18]和遮挡[29]、[46]。

对于包含模糊的数据集，Deblur-NeRF[18]通过采用分析-合成方法从模糊的输入中重建出清晰的NeRF

提出的方法

针对包含部分退化因素（如模糊和遮挡）的多视图图像，本工作的目标是解决基于NeRF的方法的鲁棒性问题，从而恢复清晰的新视角。图2展示了所提出方法的概览。首先，从视角点发射光线，并沿着每条光线采样点。采样的3D位置被用作密度和颜色网络的输入，以预测体积密度和辐射度。

实验

我们的方法可以作为即插即用的模块应用，并扩展到各种基于NeRF的框架中。在本节中，我们选择了两种具有代表性的方法进行评估：NeRF[22]和NeuS[42]。NeRF是我们的基线，这使我们能够证明将我们的方法与NeRF结合使用可以有效应对多种退化因素，记为“我们的（NeRF）”。与通过神经辐射场表示场景的NeRF[22]不同，NeuS[42]采用了一种显式的表面表示。

结论

在本文中，我们提出了一种鲁棒的新视角合成方法，能够有效处理多种退化因素。我们的关键见解是，包括模糊、瞬态对象和意外遮挡在内的多种伪影可以被视为依赖于视角的异常值。通过引入视角一致性约束并设计一个不确定性网络来为清晰和退化的像素分配自适应权重，我们的方法能够抵抗各种类型的退化。在广泛的实验中……

CRediT作者贡献声明

杨栋瑜：撰写——审稿与编辑、撰写——初稿、可视化、验证、方法论、数据策划、概念化。郭恒：撰写——审稿与编辑、撰写——初稿、验证、监督、方法论、概念化。林星友：撰写——审稿与编辑、验证。松下康之：撰写——审稿与编辑、撰写——初稿。范欣：撰写——审稿与编辑、资金筹集。

利益冲突声明

作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。

杨栋瑜于2019年获得郑州大学网络科学与工程学院的学士学位，并于2022年获得大连海事大学信息科学学院的硕士学位。她目前正在大连理工大学软件学院攻读博士学位，导师是范欣教授。她的研究兴趣包括3D重建和实时渲染。

Tongyu Yang|Heng Guo|Xingyou Lin|Yasuyuki Matsushita|Xin Fan

大连理工大学软件学院，中国大连，116024