基于动态核估计的去模糊神经辐射场

《Signal Processing: Image Communication》：Deblurred neural radiance field with dynamic kernel estimation

　　

• •
  我们提出了一种处理多种模糊速度的模糊图像的方法。
• •
  我们整合了一个掩码卷积神经网络（Mask CNN），用于优化模糊核的初始尺寸掩码。
• •
  我们使用软掩码来优化初始化过程，并获取刚性掩码。

引言

自诞生以来，神经辐射场（NeRF）[1]经历了各种发展，近年来在新视角合成和复杂三维场景重建方面取得了重大进展。NeRF基于一种隐式表示，通过将三维位置和二维观察方向映射为颜色值和不透明度来对三维场景进行建模。它通过在三维空间中构建多条光线投影来模拟该过程。最终输出，如像素颜色或新视角，是通过体渲染[2]技术生成的。

在新视角合成中实现高质量结果通常需要明确定义的场景条件。例如，原始NeRF及其改进变体[3]侧重于受控环境。一些研究将此方法扩展到应对不同环境条件下的视角重建，例如具有快速视角或物体变化的动态场景[4]、[5]，户外环境[6]，或变化的光照条件[7]、[8]、[9]。其他改进[10]、[11]通过利用低分辨率输入来针对更高分辨率的输出，还有一些研究[12]、[13]、[14]、[15]致力于将NeRF推广到输入图像数量有限的场景中。

Deblur-NeRF [16]是第一种通过将盲模糊核估计集成到NeRF框架中来解决从模糊输入图像进行NeRF训练的方法。它将图像模糊建模为由相机运动或失焦引起，为多视角数据集中的每张图像估计一个模糊核，并将估计的核纳入NeRF优化中，以考虑模糊观测的图像形成过程。结合体渲染，这种表述使得能够从模糊的多视角输入中重建出清晰且细节丰富的三维场景。随后，DP-NeRF [17]引入了刚性模糊核表述以提高三维重建的一致性。通过利用物理先验和自适应加权策略，它旨在减少颜色重建误差，同时显式地考虑场景深度与模糊效果之间的相互作用，从而提高场景表示的准确性。

然而，据我们所知，当前工作中使用的模糊核大小通常是固定的。当不同场景以及同一场景的不同部分表现出导致模糊的不同运动速度时，这就成为了一个问题。例如，尽管DP-NeRF讨论了不同模糊核的影响，但最终在所有实验中使用的都是固定的参数值。在这些现实条件下，我们提出动态适应场景的模糊强度。为了解决非固定模糊核大小的问题，我们引入了一种基于动态核的去模糊神经辐射场，使模糊核能够适应不同场景和像素区域。我们的方法核心在于用于修复的模糊核大小的动态变化性。具体而言，我们首先整合一个掩码卷积神经网络，用于优化每个像素的模糊核初始尺寸掩码。该掩码可以动态调整模糊核大小，从而改变渲染的模糊光线数量。此外，我们增强了软掩码的初始化；我们最初将软掩码作为颜色合成的辅助权重，然后对其进行阈值处理以获得最终掩码，从而避免因过多的零值而导致梯度消失。与先前的工作类似，训练好的模型随后可以使用NeRF框架渲染清晰的新视角。

与Deblur-NeRF和DP-NeRF等采用固定核大小的工作相比，我们的方法在重建具有各种模糊速度和实际场景中不均匀模糊的图像方面具有显著优势。我们的方法能够具体捕获模糊严重的区域，同时减少对非模糊区域的干扰。我们在类似数据集上进行了大量实验，证明了我们的方法相比先前工作的优越性。

在这项工作中，我们引入了一个改进的框架，专门用于解决现实条件下场景中模糊速度变化的问题。我们的框架适应这些变化的模糊速度，从而实现更准确的场景重建。我们的贡献可以总结如下：

（1）我们整合了一个掩码卷积神经网络，用于优化每个像素的模糊核初始尺寸掩码。该掩码可以动态调整模糊核大小。

（2）我们使用软掩码来优化初始化过程，然后应用阈值处理以获得刚性掩码。

章节摘要

神经辐射场

神经辐射场（NeRF）[1]使用多层感知机（MLP）来参数化体积密度和与视角相关的辐射度，并通过使体渲染颜色与输入图像匹配来优化场景表示。它现在已成为该领域的经典技术，利用深度神经网络来表示体积场景属性，能够从二维图像合成高保真的三维场景，并支持从新视角进行真实感渲染。通常，NeRF使用多层

方法

在本节中，我们将描述基于动态核的去模糊神经辐射场方法。我们的方法建立在DP-NeRF [17]的基础之上。首先，我们回顾了利用反向光线投射和体渲染的经典神经辐射场方法，以及传统的去模糊技术。然后，我们解释了我们的增强动态模糊核策略，该策略将掩码网络与聚合光线集成。最后，我们介绍了网络架构和

实验细节

在本文中，我们的实现基于DP-NeRF [17]的框架，保持相似的参数配置以便进行比较。具体而言，每个场景训练$N_{iter}=200\mathrm{K}$次迭代，模糊核优化从$i_{iter}$ = 1200开始。使用的优化器是默认参数的Adam [47]。学习率在优化过程中指数衰减，从$5\times 10^{?4}$开始，衰减因子为$8\times 10^{?5}$。由于硬件内存限制，我们使用$N_{rand}$

讨论与局限性

掩码与连续加权。 所提出的门控机制并不旨在替代DP-NeRF的组权重。这两个变量构成了一个分解模型：$m_q$选择支撑区域，$w_q$在候选集内分配贡献。表6中的消融实验评估了在不同最大核尺寸下这一额外自由度的效果。

NeRF与3DGS。 我们的受控设计保留了DP-NeRF的主干网络，以便将改进归因于动态支撑而非场景的变化

结论

在本文中，我们提出了一种基于动态核的去模糊神经辐射场（NeRF）方法，将经典NeRF与去模糊算法相结合。我们的框架利用动态可变形核来模拟模糊过程，并将掩码网络与聚合光线集成，以准确地建模和优化不同的模糊区域。实验结果表明，我们的方法不仅提高了去模糊效率，还在图像质量上

CRediT作者贡献声明

陈舒：写作 – 审阅与编辑，资源，方法论，概念化。贾梦泽：写作 – 原始草稿。陈鹏：软件。

未引用参考文献

[48]

利益冲突声明

作者声明他们没有已知的竞争性经济利益或个人关系可能影响本文中报告的工作。

陈舒|贾梦泽|陈鹏