面向真实世界的神经辐射场：综述

《ACM Computing Surveys》：Neural Radiance Fields for the Real World: A Survey

　　

**摘要**

神经辐射场（NeRFs）自发布以来已重塑了三维场景表示领域。NeRFs能够从二维图像有效重建复杂的三维场景，推动了场景理解、三维内容生成和机器人等领域的进步与应用。尽管研究取得了显著进展，但目前仍缺乏对近期创新、应用及挑战的全面综述。本综述汇总了关键的理论突破与替代场景表示方法，并探讨了新兴挑战。文章进一步探讨了重建方面的应用，突出了NeRFs对计算机视觉和机器人的影响，并回顾了重要的数据集与工具包。通过识别文献中的空白，本综述讨论了开放性问题并提供了未来研究方向。

**AI摘要**

**AI生成的摘要（实验性）**

本摘要由自动化工具生成，未经论文作者撰写或审核。其目的是支持文献发现、帮助读者评估相关性，并协助相邻研究领域的读者理解本文内容。本摘要旨在补充作者提供的摘要，后者仍是论文的主要摘要。全文仍是权威的正式版本。[点击此处了解更多。]

[点击此处对此摘要的准确性、清晰度和实用性发表评论。您的反馈将有助于改进未来重新生成的版本。如需查看此AI生成的通俗语言摘要，您必须拥有Premium权限。]

---

**1 引言**

对三维（3D）空间的感知与解读从根本上塑造了人类与物理世界的互动方式。使计算机视觉系统能够理解并处理现实世界中的三维信息，对于众多应用（如机器人、远程医疗、沉浸式模拟等）至关重要。具备三维能力的系统的关键要素在于为对象和场景表示选择适当的三维基元。与像素作为二维图像的统一表示不同，三维表示存在多种选项，例如体素、网格和点云。有效的三维表示必须保持精确性和可扩展性，以高效地表示三维世界，同时具备可学习性，以便与深度学习框架和高级三维视觉系统相结合。

传统的三维表示在满足这些计算需求方面存在显著局限性。虽然体素和点云与基于深度学习的框架兼容，但它们存在离散化伪影问题——体素面临可扩展性限制，而点云缺乏连通性——且几何精度有限。网格擅长表示复杂几何结构；然而，其不规则的拓扑结构和元素形状阻碍了与深度学习框架的集成。

近期研究引入了隐式神经表示（INRs）[102, 113]以克服这些局限性。INRs通过神经网络实现连续隐式函数，从而实现对场景的精确且内存高效的表示。然而，高质量三维真值数据的稀缺对三维监督构成了重大挑战。为此，三维神经渲染已成为连接二维与三维的核心范式。它基于体积渲染，对物理成像过程进行建模，其中像素颜色通过对每条光线沿辐射场进行积分获得。将光传输建模为辐射场函数的概念可追溯到20世纪60年代[14]，并于1980年代末正式引入计算机图形学领域[67]。在2000年代，后续研究开始直接使用彩色体素网格表示三维场景[75, 146]。在计算机视觉领域，可微体积渲染开始在高质量新视角合成中获得关注。早期方法利用软三维体积[117]、多平面图像（MPI）[104]和体素网格解码器[97]等表示，融入深度线索或立体图像先验知识，但受到可扩展性限制。与此同时，多层感知机（MLP）和PointNet架构[120]已展现出从几何数据中学习三维场景表示的强大能力[102, 113]。后续研究[108, 155]通过使用基于图像的渲染损失来解决对真值几何的依赖问题，但未能考虑视角相关效应。

神经辐射场（NeRF）[105]正是在这些方法的交汇点上出现的，它将可微体积渲染与视角相关辐射场相结合，实现了照片级的三维场景合成。它引入了一个优雅的框架，将三维场景学习为一个连续体积函数，将三维位置和视角方向映射为RGB颜色与密度。通过体积渲染，NeRF仅从二维图像及相关相机姿态即可重建三维场景。NeRF公式在保留精确三维几何的同时，实现了真实场景的高质量新视角渲染，而MPI方法往往会引入镜面伪影。这一突破得益于几项设计创新，包括光线批处理、可微体积渲染和位置编码。

自2020年推出以来，NeRF在计算机图形学和三维视觉领域吸引了大量研究关注。基础研究增强了NeRF模型的效率和精度，解决了复杂现实场景带来的挑战，同时涌现出众多应用以推动各种三维视觉任务。随着数千篇最新的NeRF相关研究涌现，对该主题的全面综述既紧迫又关键。

**1.1 我们的贡献**

几篇早期综述已回顾了神经渲染的广泛图景[167]或二维/三维神经场[201]，它们将NeRF作为一个代表性方法涵盖，但仅考虑了少量早期进展；反之，[210]专注于2022至2024年间的进展，仅覆盖了NeRF发展的部分方面。然而，NeRF的广度与快速进步需要一份及时、专门且深入的综述。尽管[8]和[126]总结了多种NeRF改进，但它们缺乏连贯的分类体系，对将NeRF研究转化为实际部署至关重要的现实挑战和应用关注甚少。[229]和[41]回顾了NeRF的基础进展并讨论了几项应用。然而，它们并未分析影响NeRF在现实场景中表现的因素，且遗漏了不确定性量化、动态场景和室内环境等关键挑战。与现有综述相比，我们的工作提供了首个统一分类体系，将NeRF的技术发展与现实部署挑战及评估协议联系起来，如表1所示。鉴于2023年之后NeRF相关研究的爆发式增长，我们旨在提供一份及时的NeRF综述，使读者能够确定关键研究方向、将解决方案与具体挑战匹配、探索NeRF的多样化应用，并获得未来工作的洞见。

**表1. 我们的综述与其他相关综述论文的对比**

| | [41] | [167] | [201] | [229] | [126] | [210] | [8] | 本文 |
|---|---|---|---|---|---|---|---|---|
| 基本进展 | ? | ? | ? | ? | ? | ? | ? | ? |
| 框架 | | | | | | | | ? |
| NeRF无关增强 | | | | | | | | ? |
| 替代场景表示 | ? | | | Δ | | | ? | |
| 现实挑战——退化视角 | ? | ? | | ? | | ? | | ? |
| 稀疏训练视角 | ? | ? | | ? | ? | ? | | ? |
| 相机姿态不准确 | ? | ? | | ? | | ? | | ? |
| 复杂光照效果 | | ? | ? | | ? | | | ? |
| 野外NeRF | Δ | Δ | | | | | | ? |
| 复杂场景——动态 | ? | ? | | | ? | | | ? |
| 室内 | | | | | | ? | | ? |
| 无界 | ? | Δ | | | | ? | | |
| 不确定性量化 | | | | | | | ? | |
| 对未见场景的泛化性 | Δ | ? | | | | Δ | | ? |
| 应用——重建任务——三维表面 | ? | ? | ? | ? | | | ? | |
| 大规模场景 | ? | ? | | ? | Δ | | | ? |
| 医学图像 | | | ? | | ? | | | |
| 数字人 | ? | ? | ? | ? | ? | ? | | ? |
| 应用——超越重建——机器人 | Δ | | ? | Δ | | | ? | |
| 三维生成与编辑 | ? | ? | ? | ? | ? | ? | | ? |
| 识别 | ? | | | ? | | ? | | ? |
| 数据集 | ? | | | ? | ? | ? | ? | |
| 工具 | | | | | | | | ? |

（?：主要关注；Δ：提及）

为此，本综述独特地将基础与新兴研究整合到一个连贯的分类体系中。我们提炼了在提升NeRF渲染质量与效率方面的核心进展，并阐明替代场景表示如何从NeRF框架演化而来。除方法学进展外，我们还识别了影响NeRF在现实场景中稳健性和泛化性的因素，为其优势与局限提供了洞见。我们进一步将NeRF置于更广泛的应用背景中，从重建任务到计算机视觉和机器人流水线，突出了其作为多种三维任务中关键表示的日益增长的作用。为支持持续研究，我们汇编了大量公开的常用工具、数据集和基准评估协议。为将此分类体系进一步付诸实践，我们在补充材料E中引入了一份面向决策的综合分析，对代表性方法族进行比较。我们总结了它们的表示范式、核心机制、优势与局限、部署能力及典型应用场景。最后，我们识别了关键研究空白与开放挑战，为未来NeRF相关研究提供指导视角。

**1.2 范围与组织**

本综述的范围如图1所示。我们的综述涵盖NeRF在训练与渲染方面的主要进展、现实条件下的鲁棒性、跨多种应用的适用性，以及有益于学术界和工业界的支持性资源。基于其核心创新，NeRF衍生出多种替代场景表示，例如用于实时渲染的三维高斯泼溅（3DGS）[69]。鉴于NeRF作为神经场景表示统一框架的基础作用及其重大影响，本综述主要聚焦于NeRFs，从中可以系统地理解和比较大多数现代架构设计及应对实际挑战的核心机制。尽管3DGS崛起，本综述不涵盖这一快速发展的研究路线；3DGS的方法论已与NeRFs显著分化。我们将读者引向该主题的专门综述[35]。

**图1. 本文结构概览，概述了涵盖NeRF基础与改进策略、现实挑战及对应解决方案、多样化应用领域及实用资源的关键章节。图片改编自[9, 30, 36, 69, 105, 189]。**

本文组织如下：第2节概述NeRF并提供对渲染质量与效率的基本改进策略的深入回顾，随后在2.6节简要介绍替代场景表示。然后，第3节对关键现实挑战及其对应解决方案进行彻底分析。我们探索各种NeRF应用任务，包括重建（第4节及补充材料A）、机器人（5.1节及补充材料B）、识别（5.2节）以及三维生成与编辑（补充材料C）。此外，第6节汇编了常用工具和数据集（补充材料D）。为了促进基于NeRF技术的实际应用，我们在补充材料E中进一步提供了对关键NeRF方法的概念性与面向决策的综合分析。最后，我们在第7节中讨论开放挑战与关键研究方向并总结全文。

**2 NeRF基础**

NeRF [105]将三维场景定义为连续体积函数。给定世界坐标系中的三维位置 **p** ∈ ?3 和视角方向 **d** ∈ ?2，它输出体积密度 **σ** ∈ ? 和发射辐射度 **c** ∈ ?3。此处，体积密度表示光线在当前位置终止的概率。**??**_θ 表示这样一个可学习函数，正式定义为：

**??**_θ : (**p**, **d**) → (**c**, **σ**), (1)

其中 **σ** 仅取决于 **p**，而 **c** 取决于 **d** 和 **p**，以允许建模非朗伯效应。学习过程通过可微渲染程序进行：(a) 光线投射与采样，(b) 样本编码，(c) 辐射场估计，(d) 体积渲染，以及 (e) 优化。

**光线投射与采样。** 给定相机的内参和外参，为每个像素关联一条光线。所有光线与像素的并集用于NeRFs的监督，且每个训练步骤随机选择光线子集。为避免在空区域或被遮挡区域进行不必要的射线步进查询，采用分层体积采样对点进行采样。该过程涉及对预测粗略密度分布的粗模型 **??**_c 进行分层采样，随后从该分布中通过逆变换采样为精细模型 **??**_f 采样。

**样本编码。** 沿光线，对每个采样点应用位置编码，该点关联一个5D坐标（三个位置维度和两个视角方向维度）。5D坐标的每个元素 u 被归一化到 [-1, 1]。u 的位置编码是一个 L 级频率嵌入，通过 γ_L 函数实现，将 u 映射到更高维空间 [-1, 1]^(2L) 中。正式表达为：

γ_L(u) = (sin(2?πu), cos(2?πu), ..., sin(2^(L-1)πu), cos(2^(L-1)πu)). (2)

**辐射场估计。** 辐射场估计传统上通过两个MLP分别处理密度和颜色来实现。为简洁起见，本部分其余内容将使用[105]中提出的原始MLP公式。该骨干网络可替换为更高效架构或稀疏公式（参见2.3节和2.6节）。

**体积渲染。** 体积渲染[67]涉及通过时间参数化光线的连续积分过程。NeRF通过对这些积分进行数值近似来实现。给定沿光线 **r** 的一组离散化时间 {t_i}_{i=0}^N、预测颜色 **c**_i 和密度 **σ**_i；目标像素在 t? 到 t_N 之间的积分颜色由 ?(**r**) 近似并给出为：

?(**r**) = Σ_{i=0}^{N-1} **w**_i **c**_i,
其中 **w**_i = T_i(1 - e^(-σ_i δ_i)), δ_i = t_{i+1} - t_i, 且 T_i = e^(-Σ_{j=0}^{i-1} σ_j δ_j),

(3)

其中 δ_i 是连续样本 t_i 与 t_{i+1} 之间的距离，T_i 是累积透射率，衡量光线从 t? 行进到 t_i 而未被拦截的可能性。

**优化。**

利用每条光线 $\mathbf{r}$ 所对应的像素颜色 $\mathbf{C}(\mathbf{r})$，NeRF 模型通过最小化与重建颜色 $\hat{\mathbf{C}}(\mathbf{r})$ 之间的总平方误差来进行有监督训练。对于每个随机采样光线批次 $\mathcal{R}$，粗模型和精细模型的参数同时被优化：

$$\mathcal{L} = \sum_{\mathbf{r} \in \mathcal{R}} \left(\left\| \hat{\mathbf{C}}_c(\mathbf{r}) - \mathbf{C}(\mathbf{r}) \right\|_2^2 + \left\| \hat{\mathbf{C}}_f(\mathbf{r}) - \mathbf{C}(\mathbf{r}) \right\|_2^2 \right),$$

(4) 其中下标 $c$ 和 $f$ 分别代表粗模型和精细模型。

正如文献[105]中所讨论的，三维隐式神经表示（3D INRs）在三维视觉和新视角合成方面标志着重大突破。然而，该领域中最流行的方法 NeRF，即使在现代 GPU 工作站上也具有较长的运行时间。对原始 NeRF 管线在渲染质量和效率方面的改进包括采样（第2.1节）、编码（第2.2节）、辐射场估计（第2.3节）和体积渲染（第2.4节）。第2.5节总结了与骨干网络无关的渲染效率和质量的改进，第2.6节介绍了替代的场景表示方法。

### 2.1 采样

公式(3)中描述的蒙特卡洛采样近似在没有重建几何先验知识的情况下是计算密集型的。由于密度分布未知，采样必须是穷尽式的，才能正确近似像素颜色 $\hat{\mathbf{C}}$，并且近似误差的改进与采样点数呈线性关系，这使得计算代价高昂。

通过在场景非空空间中巧妙选择积分段，可以实现更高的采样效率。为此，NeRF 中的分层体积采样方案使用粗模型估计一个粗略的密度分布，以指导精细模型的采样并提高数值近似效率。然而，在公式(4)中，粗模型需要监督来渲染，但并不用于最终渲染图像。

两条研究路线旨在解决这种点采样方案的局限性：基于提议的方法和基于占用的方法。基于提议的方法，例如 Mip-NeRF 360 [4]，用一个小型提议模型替换粗模型，仅生成密度而不是同时生成密度和颜色。然而，由于这种新的公式化方式，提议模型的优化需要重新审视。Mip-NeRF 360 [4] 提出了一种在线蒸馏方法，即提议模型使用层级损失进行学习。该损失使提议模型与最终 NeRF 模型之间的预测权重直方图对齐。提议模型规模的减小允许使用更大的精细模型（$15\times$），仅需适度增加计算时间（$2\times$）即可实现更高的合成性能。与基于提议的方法不同，基于占用的方法能够高效地排除低密度采样点。例如，PlenOctrees [215] 引入了使用带有稀疏先验训练的辅助 NeRF-SH 网络，然后将其转换为稀疏 Plenoctree 数据结构以避免对场景空空间的计算。Hu 等人[56]分析了 NeRF 采样点的权重和密度分布，并在粗阶段引入有效采样，在精细阶段引入关键采样。他们所提出的采样策略允许仅在场景中对最终颜色贡献最大的部分采样，从而使训练时间减少 $80\%$。

最近，一些研究人员强调了像素和视角选择对 NeRF 训练的重要性，并通过光线级或视角级采样方法提高了 NeRF 训练效率。例如，Zhang 等人[223]通过聚焦于"颜色剧烈变化"的像素和渲染误差高的区域来增强训练收敛性。Xiao 等人[200]研究了视角采样在 NeRF 中的作用，并对不同的视角选择方法进行基准测试以评估其影响。他们的发现强调，使用选择更好的样本，NeRF 可以在更少的计算时间或监督下获得更高的渲染质量。

### 2.2 编码

公式(2)中的标准编码将每个频率信号同等对待，导致在不同分辨率下渲染时出现问题。高频位置编码特征可能产生混叠，导致被称为"锯齿"的伪影。此外，深层网络直接处理来自编码输入坐标的辐射场，这需要大型且计算昂贵的 MLP 来准确表示场景。后续关于高级编码方法的研究朝着抗混叠能力和高效率方向发展。我们将现有的编码方法分为集成位置编码、特征编码、抗混叠特征编码和紧凑特征编码。

**集成位置编码。** mipmapping 技术 [193] 是计算机图形渲染管线中广泛使用的抗混叠方法。为了消除低分辨率信号中的高频混叠细节，通过对纹理图进行下采样和预滤波来创建不同尺度的 mipmap，并选择合适的尺度进行渲染。受此思想启发，Mip-NeRF [3] 将 NeRF 扩展为使用连续尺度表示场景，通过追踪锥形而不是光线来进行像素渲染，有效地建模预滤波辐射场。Mip-NeRF 通过集成位置编码（IPE）为 MLP 输入编码一个锥台。锥台通过具有均值 $\mu$ 和协方差 $\Sigma$ 的多变量高斯分布进行近似，以便高效地进行积分计算，如图2(a)所示。由锥台覆盖的体积的 IPE 特征 $\gamma(\bullet)$ 可以通过均值和协方差矩阵对角线的高频函数的期望来计算，其数学表达为：

$$\gamma(\mu, \Sigma) = \mathbb{E}_{\mathbf{p} \sim \mathcal{N}(\mu_\gamma, \Sigma_\gamma)} \left[ \gamma(\mathbf{p}) \right].$$

(5) 锥形投射方案和 IPE 使 Mip-NeRF 能够将尺度信息编码到特征中并预滤波高频混叠，最终实现具有多尺度输入视图的抗混叠渲染。然而，IPE 和基于 MLP 的解码器的计算成本仍然很高。

图2. 不同的多尺度编码设计。

**特征编码。** 特征编码（FE）背后的思想是使输入特征可学习，从而在不使用大型 MLP 进行推理的情况下加速训练和渲染。这种方法使用辅助的基于网格的数据结构，如体素八叉树 [160]、哈希网格 [106] 或平面 [15]，来存储输入特征。这些特征在训练过程中通过梯度反向传播与模型参数一起迭代更新，以适应场景特征。Instant NGP [106] 是该领域的代表性工作。它将可学习特征排列成多级哈希网格，对应于不同分辨率的体素网格。Instant NGP 在每个层级 $l$ 从三维点 $\mathbf{p}$ 所在体素的顶点 $\mathcal{V}_l$ 中检索特征。这些多分辨率哈希编码使用三线性插值聚合形成层级特征 $f_l$，其形式化表达为：

$$f_l = \text{trilerp}(n_l \cdot \mathbf{p}; \mathcal{V}_l),$$

(6) 其中 $n_l$ 是网格的线性尺寸。用于渲染的紧凑 MLP 接收来自各层级的拼接编码作为输入。多分辨率哈希网格的设计和小 MLP 的使用成功实现了快速训练、高质量渲染和紧凑的内存占用。然而，FE 在处理具有尺度变化的场景时能力有限。

**抗混叠特征编码。** 编码领域的一个近期趋势是抗混叠特征编码（AAFE），它结合了 IPE 和 FE 的优势以实现高效的抗混叠渲染。IPE 由于依赖重量级 MLP 解码尺度信息而面临效率问题，而基于网格的 FE 则存在混叠伪影问题。实现高效抗混叠渲染的挑战在于使基于网格的数据结构具有尺度感知能力。为此，ZipNeRF [5] 将 Mip-NeRF 中使用的复杂多采样锥台适应到基于多分辨率哈希网格的编码中。如图2(b)所示，ZipNeRF 使用一组各向同性高斯对锥台进行多采样以编码尺度信息，并通过网格层级的三线性插值查询特征。这种尺度感知插值通过降权高频信号来减少伪影。ZipNeRF 在新视角合成中实现了最优性能。尽管相比 Mip-NeRF [3] 效率有所提高，ZipNeRF 的训练时间仍然慢于 Instant NGP [106] 等基于 FE 的架构。

其他方法，如 Mip-VoG [55] 和 Tri-MipRF [57]，使用跨尺度的网格结构通过尺度感知特征 mipmap 来预测颜色和密度。PyNeRF [173] 在不同网格分辨率处训练 NeRF 模型金字塔，访问与采样点对应的最近分辨率，然后插值它们的尺度感知输出来产生适用于任何基于网格的 NeRF 的抗混叠结果，如图2(c)所示。这些方法表现出抗混叠能力，但存在分辨率与内存的权衡，这是大多数基于网格的架构的共同问题。

**紧凑特征编码。** 考虑到基于网格的特征编码的内存成本，推动特征编码发展的一个关键趋势是提供更紧凑和准确的表示。量化和频率变换在 JPEG2000 [100] 等编解码器中的成功应用启发了某些工作 [137, 152] 将这些技术融入以增加特征稀疏性。二进制辐射场 [152] 对存储在网格中的编码参数施加二值化操作。因此，这些参数可以存储为 $+1$ 或 $-1$，而不是昂贵的 16 位或 32 位浮点数。类似地，Rho 等人 [137] 提出使用离散小波变换（DWT）和二值化掩码将高维特征转换为掩码小波系数网格。用于颜色和密度估计的特征通过逆 DWT 预测。游程编码和霍夫曼编码可以进一步应用于压缩小波系数和掩码位图，从而产生更紧凑的特征表示。

### 2.3 辐射场估计

辐射场估计的进步集中在更高的渲染质量、更快的训练和渲染速度以及更紧凑的模型上。在本小节中，我们将讨论四种主流的改进效率和紧凑性的技术。

#### 2.3.1 预缓存

预缓存（或烘焙）通过预先计算并将几何或外观数据表格式化存储到基于网格的数据结构（如体素网格）中来加速渲染。固有挑战在于以低内存占用存储与视角相关的颜色信息。

一些方法将视角相关外观分解为基函数的组合。例如，PlenOctrees [215] 使用球谐函数（SH）并将学习的密度和 SH 系数存储在八叉树网格的叶节点中。类似地，FastNeRF [42] 将外观分解为视角相关权重与位置相关深度辐射图的点积，后者可以独立缓存。

其他方法存储辐射场和特征的预计算部分信息，并使用小型 MLP 预测视角相关外观。SNeRG [52] 构建由预测的漫反射颜色、体积密度和镜面特征组成的三维纹理图集，这些存储在体素网格中。该三维纹理图集可以进一步使用 JPEG 等高级编解码器进行压缩。在渲染过程中，SNeRG 使用查找表查询累积颜色和特征向量，然后使用小型 MLP 评估视角相关分量。类似地，MERF [134] 将数据存储在低分辨率三维体素网格和三个高分辨率二维平面中，这些被参数化为多分辨率哈希编码。为了进一步提高渲染效率和模型紧凑性，MERF 采用二进制三维占用网格稀疏存储非零元素，并对每个条目应用量化。DVGO [160] 使用两个体素网格——一个用于几何的粗网格和一个用于细节重建的精细网格，结合小型 MLP 进行精细化。

#### 2.3.2 张量秩分解/因式分解

张量秩分解是一种将复杂特征向量分解为多个低秩张量分量的技术，从而增强训练效率并减少内存占用。例如，传统的 CANDECOMP/PARAFAC（CP）分解 [11] 将张量分解表示为多个秩一向量外积之和。

Chen 等人 [15] 将 CP 分解应用于将场景建模为由一组秩一张量分量组成的张量辐射场（TensoRF），其性能优于普通 NeRF 模型。该方法允许使用紧凑的 MLP 或 SH 从局部特征计算密度和方向颜色。为了捕获更复杂的场景元素，他们进一步引入了向量-矩阵（VM）分解，将张量分解为向量与矩阵外积之和。矩阵描述了三维坐标系中每个平面的几何和外观特征。K-Planes [37] 将三平面分解扩展到多平面分解，从而能够表示动态场景。不局限于简单的正交变换基，Dictionary Fields [16] 通过使用具有周期变换的基场和局部化系数场来增强表示能力，从而实现变换基的更大多样性。

#### 2.3.3 分而治之

为了提高 NeRF 模型的计算效率，一种常见策略是将复杂的 NeRF 模型分解为多个小型专业化单元，然后合并它们的渲染输出。利用这一策略，KiloNeRF [133] 将大型 NeRF 模型划分为数千个独立的小型 MLP，每个学习场景的特定子部分。

在体渲染过程中，这些微小MLP组成的网格沿光线投射方向被查询。这些小型NeRF的训练通过蒸馏实现。首先训练一个大容量NeRF模型作为教师模型，然后通过匹配教师模型与局部定义的小型学生NeRF模型之间的预测颜色和密度来进行蒸馏。类似的方法DeRF [131] 提出对场景进行Voronoi空间分解，然后利用画家算法高效地绘制每个Voronoi单元的渲染结果，并合成最终渲染图像。在相同质量下，该方法能有效提升渲染速度。当场景复杂度过高、无法用单一模型表示时，也会借鉴分治机制，这在附录A.1讨论的大规模场景重建场景中较为常见，允许通过一组小型模型的集成来表示大型场景。

2.3.4 替代架构

一些研究者重新审视了架构选择，利用近期大型模型或生成模型的进展来构建类NeRF模型并提升渲染性能，例如GNT [175] 和GANeRF [139]。与这些工作不同，Fridovich-Keil等人 [38] 声称场景学习无需依赖重型MLP。他们提出了Plenoxels，一种无MLP的解决方案，通过对邻近体素进行插值来高效学习辐射场的透明度和颜色估计。在该方法中，一个稀疏体素网格存储每个体素的密度和球谐系数，通过对邻近体素的预缓存信息进行三线性插值来建模连续的全光函数。

2.4 体渲染

经典体渲染 [67] 假设三维空间填充着能够吸收、发射和散射光的粒子，沿时间参数化的光线对辐射进行积分。NeRF通过仅考虑吸收和发射简化了该框架，将式(3)中的体渲染方程作为自监督训练的核心组成部分。这使得可以从二维图像高效优化三维隐式神经表示（INR），但在场景表示精度和效率方面仍存在问题。

采用求积规则时，式(3)假设在区间 $[t_i, t_{i+1})$ 内密度和颜色为分段常数。该假设可能导致采样和光线监督的不稳定性，从而产生模糊表面 [174]。PL-NeRF [174] 通过用分段线性积分规则替换分段常数积分规则，提供了更稳定的体渲染近似，其中权重 $\mathbf{w}_i$ 和透射率 $T_i$ 由下式给出：

$$\mathbf{w}_i = T_i \left(1 - e^{-\frac{(\sigma_{i+1} + \sigma_i)\delta_i}{2}}\right), \quad \delta_i = t_{i+1} - t_i, \quad T_i = e^{-\sum_{j=0}^{i-1} \frac{(\sigma_{j+1}+\sigma_j)\delta_j}{2}}$$

提高近似方案的阶数会增加每个区间内的采样点数，最终降低渲染效率。不同于第2.1节讨论的改进点采样策略，Lindell等人 [91] 通过直接学习密度和颜色的原函数来解决这一近似问题，以实现快速且准确的光线积分。具体而言，他们提出了一种高效的AutoInt [91] 框架来替代积分的数值近似，坐标网络在训练过程中对原始信号建模的导数可用于构建积分网络以实现自动积分。

2.5 NeRF无关增强

尽管取得了根本性进展，一些工作作为NeRF无关的插件来增强效率或渲染质量。例如，NerfAcc [83] 提供了灵活的API，将融合操作与CUDA内核结合，将高效采样方法引入NeRF。另一方面，NeRFLix [226] 通过后处理方式增强渲染质量，纠正NeRF风格的退化问题，如泼溅高斯噪声、光线抖动和模糊。

2.6 替代场景表示

NeRF启发了多种替代场景表示方法，超越了原始框架，旨在实现更高的跨场景泛化能力、效率和真实感。本小节回顾这些方法，重点阐述它们与原始NeRF框架的区别和优势，聚焦于基于图像的渲染、显式几何表示和可微光栅化。

在原始NeRF中，新视角中像素的颜色通过对辐射场沿对应光线积分来估计。或者，受基于图像的渲染启发，可以通过扭曲、重采样和混合其他视角的相关像素来获得像素颜色。基于这些思想，IBRNet [186] 和PixelNeRF [216] 等方法从源视角的图像特征中预测颜色和密度，使新场景渲染无需重新训练。后续方法如MVSNeRF [17] 和NeX [159] 进一步利用平面扫描代价体和对极关系细化多视角特征聚合。这些方法在生成未见场景的新视角方面优于传统NeRF，并通过场景特定微调可达到与SOTA单场景NeRF可比的结果。

NeRF的另一个问题是体积分计算的效率问题，因为在稀疏三维空间中的大量采样点上评估MLP会导致较长的训练和渲染时间。为缓解这一问题，可以采用层次采样 [105]、"烘焙" [25, 133] 和张量分解 [10, 15] 等技术。或者，一些方法通过利用显式几何结构来支持辐射推理，提供了不同的解决方案。例如，Point-NeRF [204] 利用点云表示配合多视角特征来引导光线行进过程中的辐射和密度采样与计算。类似的方法如NeuMesh [206] 和NSVF [94] 分别利用三角网格和稀疏体素网格。这些方法比NeRF [105] 提供更低成本的推理，并显式表示几何三维结构，这对于超越新视角合成的应用至关重要。

除了光线行进外，神经渲染还可以利用可微光栅化方法 [76, 96]，将三维基元直接投影到二维图像平面进行渲染。这些方法通常利用可微且GPU友好的显式基元，如行进四面体 [51]、纹理多边形 [25] 和视角提升点云 [73]，并利用优化和硬件加速的光栅化流程实现实时吞吐量。该领域的一个显著方法是3DGS [69]，它将场景表示为三维高斯的集合，通过将每个高斯投影到图像平面并通过alpha混合合成来渲染新视角。由于其实时渲染性能，3DGS已成为另一种代表性的高斯辐射场方法。

NeRF与3DGS的对比。NeRF和3DGS存在根本差异。NeRF是一种由神经网络参数化的隐式表示，光线追踪流程能够实现高质量的几何学习和视角相关外观的准确建模；然而，由于每根光线需要在数百个离散采样点上查询网络，渲染仍然较慢。相比之下，3DGS采用基于各向异性高斯基元的显式表示，在保持高质量视觉质量的同时实现了实时渲染。然而，在困难场景中，其几何精度和视角相关外观建模可能会退化，部分原因是光栅化时重叠高斯的深度排序模糊。此外，3DGS高度依赖高质量的运动恢复结构（SfM）点云进行初始化，使其重建质量对底层点云的准确性和完整性十分敏感。在紧凑性方面，NeRF通常比3DGS更节省内存，因为它使用连续神经隐式函数编码场景，而非大量集中在观测几何附近的显式几何基元。这也使得在重建体积内能够进行灵活建模。此外，隐式表示使NeRF能够灵活地引入额外的场景属性（如场景动态和语义信息），而扩展3DGS通常需要为高斯基元丰富新属性或采用专门的优化策略。

3 面向真实世界挑战的进展

NeRF方法在理想条件下（如密集分布的高质量训练视角、精确的相机位姿、简单光照、静态物体和控制背景）的视角合成方面表现出色。然而，真实场景往往挑战这些假设，导致合成视角出现伪影。关键挑战包括视角变化、相机位姿、场景复杂度、光照、不确定性和泛化能力。本节阐述了解决这些真实世界挑战的进展。

3.1 退化视角

传统NeRF模型通过最小化预测像素值与观测像素值之间的总平方误差进行优化，依赖于高质量训练视角提供的射线与其对应像素值之间的精确对应关系。然而，在真实场景中，训练视角往往遭受不同类型的退化，如（1）低光场景中的噪声和低动态范围（LDR），（2）运动模糊和离焦，（3）低分辨率，以及（4）大气雾霾。这些退化会导致像素值不一致，在用于训练时产生带伪影的低质量重建。本小节探讨上述退化类型对NeRF渲染性能提出的挑战，并讨论相关进展。

低光场景：噪声与低动态范围。图像（默认LDR）通常无法表示低光场景的高动态范围（HDR）信息，即最亮和最暗区域之间存在高对比度，缺乏高频细节。RawNeRF [103] 通过直接在HDR线性色彩空间的RAW数据上优化NeRF来解决这些问题，应用可变曝光调整和色调映射以实现更好的HDR信号学习。虽然RawNeRF可以产生噪声极小的HDR渲染，但其对RAW图像数据的需求存在内存占用大的局限性。其他HDR增强方法在HDR NeRF框架中加入物理成像过程来模拟LDR输出并匹配LDR输入视角。模拟成像过程通过色调映射将HDR输出转换为LDR输出，同时考虑图像元数据中的曝光信息 [60] 或白平衡 [65]。

模糊：运动模糊与离焦。由相机运动或离焦引起的图像模糊无法用静态光线建模，需要将由不同空间位置发出的清晰光线的加权求和来表示像素值。Deblur-NeRF [99] 通过将模糊像素值建模为清晰图像与稀疏模糊核的卷积来解决这一问题。该模糊核由一个规范稀疏核和学习的视角嵌入导出。另一种方法是模拟整个曝光时间内的物理成像过程，具体而言，渲染的模糊图像是在此期间沿相机轨迹拍摄的一系列预测清晰图像的加权求和。相机轨迹可以通过 $\mathbf{SE}(3)$ 的李代数 [99]、三次B样条曲线 [99]、Bezier曲线 [78] 近似，或通过螺旋轴参数化 [77]。DP-NeRF [77] 进一步引入了根据深度与离焦模糊之间关系的自适应清晰光线组合。此外，事件流在低光照和快速运动环境中保留了HDR细节，最近也被用于增强去模糊和低光场景 [121, 142]。

低分辨率。从一组低分辨率（LR）图像中学习场景的高分辨率（HR）三维表示构成一个超分辨率（SR）任务，可通过预处理、处理中或后处理的方式实现。HRNVS [214] 作为预处理方法，对可用训练视角进行过采样，为训练HR NeRF模型提供HR样本。处理中的NeRF SR方法 [179] 通过向每个像素内的每个子像素发射多条光线来模拟过采样方案。每个子像素光线的学习由每个预测子像素与对应真值整数像素之间的加权误差之和进行监督。进一步应用细化步骤以从HR参考帧中增强高频细节。在后处理方法中 [59, 89]，使用SR模块（基于单图像或参考图像）对渲染的LR视角进行过采样。基于块的细化使SR模块能够利用相关区域中嵌入的信息，如邻近光线之间或HR参考视角中的信息。

大气雾霾。训练视角中的大气雾霾在重建目标与光散射大气粒子之间引入了模糊性，使光线密度估计复杂化。为解决这一不适定问题，去雾方法 [21, 129] 将基于物理的散射模型引入体渲染方程。这些方法通过从环境粒子中解耦目标的真实外观和几何来从雾霾环境中恢复清晰场景。

3.2 稀疏训练视角

NeRF从一组带位姿的图像中训练。与多视角立体匹配类似，NeRF的训练严重依赖从不同视角融合信息以成功提取有意义的三维信息。视角方向的多样性不足提供了有限的正确几何信息，使NeRF训练的逆问题成为不适定问题。本小节回顾从稀疏视角甚至单视角学习三维场景的最新进展。

一种流行的研究方向致力于开发额外的几何约束来正则化欠约束的几何学习。例如，[138, 181] 利用深度先验来约束NeRF的训练。

考虑到外部几何先验并不总是可用的，一些研究基于信息论[71]、频率带[207]和密度估计[147]施加先验。手工设计的几何约束通常基于特定场景或架构假设，无法泛化。一些方法在未观测视图中生成训练样本，并利用预训练深度模型中学习到的先验。例如，DietNeRF [61]为观测和未观测视图生成伪标签，以半监督方式通过一致的语义约束所学到的几何。DiffusioNeRF [198]并非仅利用手工设计的或学习到的先验，而是学习几何的联合概率分布。基于正则化的方法有助于减少新视图生成中的视觉伪影。然而，当查询视图远离训练集时，这些方法泛化能力较差。并行的工作将NeRF视为解码器，以码本或图像特征为条件。码本条件方法[62, 132]为不同的场景组件保留隐式编码，例如形状和外观或前景和背景，它们以同一类别中共享的隐空间条件化一个NeRF。尽管具备类别级别的视图泛化能力，但这些方法局限于合成数据集，在处理复杂背景时存在困难。基于图像特征的方法[17, 53, 216]通过将3D点投影到2D平面上并聚合像素对齐的图像特征来条件化NeRF，例如第2.6节中介绍的PixelNeRF [216]和MVSNeRF [17]。ReconFusion [195]进一步将扩散先验与基于PixelNeRF的模型结合，用于对未观测的几何和纹理进行外绘。这些基于图像特征的方法能从少量视图甚至单张视图产生良好的新视图合成结果。然而，在复杂的真实场景中，它们容易产生模糊渲染或伪影。近期的趋势是将新视图合成重新视为一个生成任务，旨在通过有限的观测外推场景的外观和形状。为赋予NeRF生成能力，该方向的工作将NeRF场景表示融入生成模型中，如生成对抗网络（GAN）和扩散模型。使用GAN框架，早期方法构建了以场景组件[107]或图像特征[13, 47]为条件的NeRF模型。尽管效果显著，但这些方法可能产生不一致的渲染且缺乏精细细节。随着扩散模型在2D图像生成中的巨大成功，其他工作设法利用扩散先验来预测单视图/稀疏视图NeRF重建中未见的细节。它们通过用扩散模型生成特征编码[18, 151]、从视图条件的扩散模型中蒸馏3D场景[95, 227]，或将NeRF作为扩散解码器[205]来实现这一目标。尽管效果令人信服，但这些方法仍面临与扩散模型相关的共同局限，包括昂贵的优化时间、有限的渲染分辨率以及无法处理无界场景。

3.3 不准确的相机姿态

NeRF的训练需要准确的相机姿态以精确学习3D场景。近期的工作探索了如何在训练过程中估计或校正姿态信息。iNeRF [213]首次从已训练的NeRF中进行姿态估计，通过优化姿态参数来最小化公式(4)中的摄影测量损失。该方法可用于预测额外图像的姿态以扩展NeRF的训练集。NeRF-- [191]仅需一组未定位的图像，并允许在训练NeRF的同时计算相机参数。所提出的优化对高达20%的平移噪声和20°的旋转噪声具有鲁棒性，但其使用仅限于前向场景。SiNeRF [199]在NeRF-- [191]的基础上进行了改进，将NeRF的激活函数替换为SIREN [154]，并提出基于SIFT检测器的混合区域采样来选择射线，而非随机采样。

其他方法引入几何约束以更有效地学习相机参数。BARF [88]通过将2D图像对齐问题扩展到3D来解决，通过平面对齐最小化对应图像对之间的光度损失。为使方法对不良初始化具有鲁棒性，采用由粗到精的方法，在优化过程中逐步在位置编码中加入更高频率。GARF [29]解决了公式(2)中用于位置编码的正弦和余弦函数的频谱偏差问题（偏向低频函数）。为此，它使用高斯激活函数以更好地表示编码信号的一阶导数。L2G-NeRF [23]通过新的局部到全局方法紧随BARF [88]的步伐。通过结合灵活的逐像素对齐和逐帧约束的参数对齐，该方法提供了改进的相机姿态计算。

几何约束也为相机内参的估计提供支持，应对相机畸变和大位移带来的挑战。SCNeRF [63]能够恢复相机畸变参数。它引入了一个名为投影射线距离的几何损失。该重投影误差针对两个视图之间的3D对应关系进行计算。NoPe-NeRF [6]关注大相机位移问题。它证明通过尺度和平移参数校正单目深度先验可以带来更好的渲染效果。它利用单目深度网络获得深度图，从中提取点云用于点云损失和基于表面的光度损失。它报告了在BARF和SCNeRF上均取得了改进。最后，CamP [114]采用相机预处理方法来促进优化过程，与SCNeRF相比实现了更好的收敛性。

之前的方法假设密集的输入视图可用；当视图数量较少时，获取准确的相机外参变得更加困难。在此背景下，SPARF [172]引入了深度一致性损失，从训练视图中生成深度图，以伪深度监督方式条件化新渲染的几何。此外，它引入了基于射线透射率估计的可见性掩膜来考虑遮挡。SC-NeuS [58]通过实现有符号距离函数（SDF）方法来聚焦于重建准确的几何，允许将2D特征高效映射到3D空间。随后，使用视图一致的投影损失来计算重投影误差并校正相机姿态。此外，它定义了视图一致的块变形损失，利用单应矩阵以归一化互相关得分比较两个视图之间的图像块。

3.4 复杂光照效果

NeRF将期望颜色建模为位置和视图方向的函数，但往往难以捕捉物体在复杂真实光照下的外观。反射、遮挡和阴影等视觉效果还取决于表面特性，如材料属性、光滑度和环境光照。为建模这些效果，一些工作采用了基于物理的方法，使用渲染方程[66]。渲染方程将点$\mathbf{p}$处从方向$w_o$观测到的总辐射度$L_o(\mathbf{p}, w_o)$描述为表面发射辐射度$L_e(\mathbf{p}, w_o)$和反射辐射度$L_r(\mathbf{p}, w_o)$之和。数学上，

$$L_o(\mathbf{p}, w_o) = L_e(\mathbf{p}, w_o) + L_r(\mathbf{p}, w_o) = L_e(\mathbf{p}, w_o) + \int _{\Omega } B(\mathbf{p}, w_i, w_o) L_i(\mathbf{p}, w_i) (n \cdot w_i) \, dw_i, \quad (8)$$

其中反射辐射度是对所有入射方向$\Omega$的积分，入射辐射度$L_i(\mathbf{p}, w_i)$由函数B（双向反射分布函数，BRDF）和入射方向$w_i$与表面法线$n$之间角度的余弦值调制。进一步的建模还可以考虑发生在亚表层的光散射。然而，这在大多数计算机视觉应用中通常被忽略。

IDR [212]和PhySG [221]是首批在NeRF上下文中探索体素表示与外观解耦的方法。IDR关注以隐式方法建模场景BRDF，PhySG则显式估计光照分量，如反照率、镜面BRDF和环境贴图。两种方法都联合学习表面表示并利用良态法线进行外观估计。然而，两者都假设了一些近似条件并忽略了相互反射和遮挡等现象。NeRV [157]通过专门的MLP近似环境光照可见性，估计阴影图、表面粗糙度和相互反射。然而，它假设已知光照条件，这限制了其适用性。NeRD [7]则使用球面高斯建模光照，并将阴影与漫反射反照率一起隐式编码。Ref-NeRF [176]引入了反射方向参数化以简化外观建模。它将颜色估计为漫反射和镜面分量的线性组合。漫反射分量由NeRF模型估计，而镜面分量则来自一个方向性MLP，该MLP编码了表面粗糙度、表面法线和视图方向。Ref-NeuS [44]在Ref-NeRF的基础上通过估计SDF进行了改进。此外，它利用SDF获取可见性参数来细化反射得分，从而减轻反射区域对总颜色损失的贡献。S3-NeRF [209]利用明暗和阴影来解耦几何和外观。

该领域的一个重要应用是场景重光照，即可以从不同的光照条件生成新的渲染图像，用于交互式图形或动画目的。例如，NeRF-OSR [141]专注于户外场景重光照，紧随NeRD [7]的思路；NeRFactor [224]假设单一未知光照进行自由视点重光照建模；PS-NeRF [208]则建模多个未知方向性光照图像。

其他应用探索真实世界中的物理现象。NeRF-W [101]处理户外、非结构化图像集合的新视图渲染，其中不同图像具有不同的外观和光照。NeRFReN [50]表明NeRF密度具有两个峰值——一个对应于介质深度，另一个对应于玻璃反射或玻璃后的场景——并利用这一观察来建模镜面反射。类似地，[112, 169, 228]等工作专注于透过玻璃渲染场景，消除不需要的反射和折射效果。有雾或水下场景因散射效应而具有挑战性，相关方法详见第3.1节和附录A.1.2。此外，ORCa [168]从未知表面的镜面物体中建模环境外观。

3.5 野外NeRF

NeRF最初是在场景在几何上、材料上和光度上保持静态的假设下建立的，即从相同相机姿态获得的两组观测产生相同的测量结果。真实世界环境很少满足这些条件：光照随时间变化，成像设备在分辨率和光谱响应方面有所不同，物体移动，遮挡出现和消失，阴影也随之改变。这些因素破坏了NeRF公式的基本假设，导致渲染伪影并限制了其在受控实验室条件之外的应用。

将NeRF扩展到无约束环境的研究领域通常被称为"野外NeRF"。在该领域中，若干方法针对现实世界变异性处理不同方面的挑战。照片旅游[1]展示了从非结构化互联网照片集合重建地标的挑战，其中即使是同一天从相同视点拍摄的照片也可能在光照、阴影和移动物体方面存在显著差异。为解决这些问题，NeRF-W [101]引入了逐图像外观嵌入来建模光照和相机相关的变化，同时引入瞬态嵌入来捕捉和抑制动态元素，如移动物体和临时遮挡。这种分解改进了渲染一致性并减轻了鬼影和颜色偏移等伪影。

这些动态元素通常被称为干扰物，在后续工作中得到了进一步探索。RobustNeRF [143]将它们视为优化过程中的异常值，使用鲁棒损失函数来抑制其影响。NeRF On-the-Go [136]预测逐像素不确定性，并假设干扰物对应高不确定性区域，这些区域在训练过程中被逐步过滤掉。IE-NeRF [188]采取互补方法，将NeRF与修补模块结合，生成瞬态掩膜以显式去除遮挡，从而细化静态场景重建。这些策略共同通过强调稳定的场景内容改进了新视图合成。

除了对干扰物的鲁棒性外，一些"野外"工作将NeRF模型推向新的能力。Ha-NeRF [22]从单张图像幻觉外观，以在未见光照条件下合成新视图，消除了NeRF-W的逐图像优化需求。野外神经3D重建[161]将NeRF扩展到神经表面重建，使几何恢复对大规模照片集合中的干扰物具有韧性。互补地，NeRS [219]引入了一种基于表面的神经表示，从稀疏的真实世界多视图数据中产生封闭的、反射感知表面，将NeRF的用途扩展到具有材料和光照分解的表面重建。这些方法共同强调了野外NeRF从渲染稳定性向外观建模和3D重建等更广泛应用的演进。

从地标扩展到整个城市环境，如照片旅游所涉及的，需要处理在不一致条件下捕获的大量异构图像集合以及频繁的遮挡。例如，城市辐射场[135]整合多模态数据进行城市级重建；相关的大规模方法详见附录A.1.3。

3.6 复杂场景配置

原始的NeRF公式假设重建的场景是静态的、以物体为中心的或前向的，并且空间有界。然而，真实场景可能违反这些要求中的一些。

## 3.5 无限制场景（续）

### 3.6 场景假设的放松

本小节探讨了三种典型的假设放松：动态场景、室内场景和无边界场景。

#### 3.6.1 动态场景

使用 NeRF 对动态场景进行建模是一项复杂的任务，需要在三维空间与时间构成的四维（4D）空间中设计神经表示。一个直观的想法是扩展输入，增加一个时间维度。然而，这种方法往往无法精确建模动态场景，且训练代价非常高昂。目前已开发出多种方法来高效地参数化神经渲染随时间的变化。

第一类方法学习场景的规范表示以及每个时间步的变形场。利用以时间为索引的变形，可以计算场景的新坐标，并将其直接代入体积渲染方程中，以学习规范的 NeRF 表示[119, 170]。Nerfies[115]将变形场参数化在SE(3)上。为确保优化的鲁棒性，引入了对非刚性变换和静态背景中点位移的惩罚。变形通过由粗到细的正则化方案进行估计。Park 等人[116]提出将 NeRF 的规范空间表达在更高维度中，以允许非规则变形，如动态拓扑变化。Wang 等人[178]引入光流约束，以更好地对快速运动视频进行时间正则化。

另一种方法是学习外观与场景流量的耦合表示，捕捉相邻帧之间的局部变形。在 NSFF[86] 中，训练过程施加了时间光度一致性和前向与后向场景流之间的循环一致性。NSFF 还考虑了几何一致性和单目深度以增加正则化。为减少对大量监督的需求并实现单摄像头的连续时间训练，Du 等人[33]利用神经常微分方程[19]对流场进行重新参数化。最近，该公式在使用体积图像基渲染框架处理复杂相机与场景运动时取得了最先进的结果[87]。

组合式方法分别对固定和移动的 scene 内容进行建模。例如，Ost 等人[111]学习场景图表示来编码静态场景中独立物体的变换和辐射度。然而，这些框架面临复杂物体变形和光照变化的挑战。近期方法进一步使用自监督方案将动态场景分解为静态和动态数据[196]，或分解为静态、变形和新出现的物体[156]。

与其显式学习变形信息，也可以用紧凑的时间条件特征向量来参数化 4D 动态场景表示。N3DV[84]引入了一种以一组时间潜在码为条件的 NeRF 模型，允许时间插值。然而，该方法训练时间较长，且在处理长视频序列时存在困难。

近期方法通过将动态场景分解为不同组件，构建高效稀疏的 4D 场景表示，并将其存储在基于平面[37, 156]或基于体素的结构中[156, 180]。例如，K-Planes[37]将动态场景分解为六个稀疏特征平面：三个用于空间表示，三个用于时空变化。

#### 3.6.2 室内场景

与传统的 NeRF 流程不同（后者使用同心视角重建感兴趣物体），室内场景需要朝外的拍摄方式，在许多 NeRF 重建代码库中通常被称为"由内向外"。这些视角的典型特征包括视角之间重叠有限，且自遮挡现象普遍。此外，它们通常包含大量低纹理区域，如墙壁和地板，这些是传统多视角几何重建中众所周知的障碍。若没有足够的额外监督输入，新视角合成将变成一项具有挑战性的外推任务，需要对缺失区域进行修补绘制。为应对这些挑战，可以利用基于学习的先验知识为 NeRF 的优化提供额外监督。一些方法[138, 192]利用深度先验引导对实际几何表面附近的采样。Roessle 等人[138]还使用深度作为额外监督来处理优化过程中的形状-辐射度歧义。来自预训练模型（如 CLIP[127]）的语义信息也可以提供额外指导，进一步约束 NeRF 的优化。它可以作为采样指导[124]使用，或作为正则化器强制跨视角语义一致性[74]。

值得注意的是，上述方法均针对透视视角设计。室内图像的另一种常见类型是 360° 全景图。多球面图像（MSI）[2]的场景表示已被广泛用于 360° 视角合成。近期方法[24, 74]采用了类似的设计来处理 360° 图像。这些方法将每个三维位置从笛卡尔空间投影到球面空间，确保体积渲染沿实际光线轨迹进行。

#### 3.6.3 无边界场景

在无边界场景中（如室外 360° 场景和街景），物体可以从任意方向和距离进行拍摄。这些场景通常是无限延伸的，在尝试表示无限可学习空间时，会面临采样复杂度和模型能力方面的巨大挑战。

原始 NeRF 通过应用透视投影，将远处的样本沿 z 轴收缩到归一化设备坐标（NDC）空间中，从而在正面朝向的设置中应对这些挑战，如图3（左）所示。然而，这种收缩方法不适用于光线朝向各个方向的无边界 360° 场景。为了参数化具有挑战性的无边界 360 场景，早期的技术报告[222]将场景分解为两个体积：一个代表前景的内部球体体积和一个基于 MSI 的代表背景的外部体积。这一设计也被 Plenoxels[38]所采用。另一类方法[4, 134, 203]旨在通过新的空间收缩函数来参数化场景。例如，Mip-NeRF 360[4]将远处空间中的高斯样本收缩到一个半径为 2 的球体中，并根据其视差比例相应地变换光线区间，如图3（中）所示。在实际中，相机可以沿任意轨迹移动。为了实现自由轨迹下的快速场景渲染，F2-NeRF[185]将场景划分为若干区域，并对每个区域引入透视扭曲，如图3（右）所示。这种扭曲确保扭曲空间中样本之间的距离与可见相机中观察到的距离一致。

**图3** 不同的收缩函数应用于不同的场景设置：(左) 正面朝向场景[105]，(中) 360°场景[4]，(右) 自由相机轨迹场景[185]。上排展示不同设置中的相机轨迹，下排展示相应的收缩方法。图改编自 Mip-NeRF 360[4] 和 F2-NeRF[185]。

无边界场景重建的另一个挑战是场景的尺度。直接在大规模场景数据上训练 NeRF 模型是不切实际的，因为计算和内存开销过大。附录 A.1 进一步探讨了将 NeRF 应用于大规模场景重建方面的挑战和最新研究。

### 3.7 不确定性量化

在复杂且模糊的真实世界场景中（如训练数据有限的情形），量化 NeRF 模型的不确定性对于 NeRF 的实际应用至关重要。深度学习中的不确定性通常分为两类[68]——随机不确定性和认知不确定性。对于 NeRF，随机不确定性指训练数据中固有的噪声（如相机噪声）或随机性（如瞬态物体或光照变化）。另一方面，认知不确定性考虑的是由于模型误设或训练数据不足而产生的系统内部不确定性，例如可用的训练视角有限。

NeRF-W[101]通过重新参数化 NeRF 模型并增加一个不确定性输出来量化不确定性，从而为 NeRF 模型的不确定性量化铺平了道路。它量化了随机不确定性，并减轻了瞬态场景元素的影响。类似方法被用于量化下一最佳视角规划问题中的不确定性[130]。遵循贝叶斯方法，S-NeRF[149]及其后续 CF-NeRF[148]通过变分推断评估认知不确定性，即通过采样和估计近似后验分布，在多个潜在辐射场之间进行操作并优化网络。然而，上述不确定性量化方法需要重新定义 NeRF 架构并修改训练流程。很难将这些重新定义引入到更现代的模型（如 Instant NGP）中，因为它们包含复杂的采样机制和特征编码设计。取而代之的是，Bayes' Rays[45]不需要修改 NeRF 训练，而是通过基于模型扰动的拉普拉斯近似来估计后验分布。尽管与任何 NeRF 架构兼容，但它只能评估认知不确定性。相比之下，Density-aware NeRF Ensembles[163]将 NeRF 的随机不确定性和认知不确定性量化为多次观测中预测颜色和终止概率的方差之和。它不需要修改 NeRF 训练。然而，基于集成的方法需要对单个 NeRF 模型进行多次大量计算，考虑到广泛的实际应用场景，这存在效率局限性。

### 3.8 对未见过场景的泛化能力

原始 NeRF 将三维场景编码到基于坐标的 MLP 权重中，需要对每个场景进行优化。因此，每次遇到新的场景和几何形状时，仍然依赖于昂贵的从头优化。一个可泛化的 NeRF 确实应该能够在新场景上合成新视角，且仅需最少重新训练或无需重新训练。为此，开创性研究与 3.2 节中讨论的条件 NeRF 中的部分研究有所重叠。基于码本条件的方法，例如 LOLNeRF[132]，共享类别级别的三维先验知识，与场景潜在码配合使用，使其能够在推理期间微调场景潜在码后预测分布外场景。Pix2NeRF[9]采用图像编码器预测基于 GAN 的 NeRF 的潜在码和视角方向，无需在推理时微调即可泛化到未见过的场景。然而，这些方法依赖于同一类别中的预设实例。基于图像特征的方法，如 PixelNeRF[216]、MVSNeRF[17] 和 GRF[171]，使用二维卷积神经网络（CNN）提取通用图像特征。它们具有跨类别泛化到未见场景的潜力，但会产生带有伪影的模糊渲染。

最近，一种新趋势是利用大型视觉模型（LVM）的最新进展来增强跨场景泛化性能。一些方法使用视觉 Transformer 获取通用的三维先验。例如，VisionNeRF[90]使用二维 CNN 处理局部图像信息，并使用预训练的视觉 Transformer[32]处理全局信息。LRM[53]使用预训练视觉模型提取图像特征，然后通过交叉注意力机制利用 Transformer 解码器将特征投影到三平面[15]上。此外，GNT[175]以两个基于 Transformer 的模块重构了整个架构——视角 Transformer 用于聚合多视角图像特征，光线 Transformer 用于颜色预测，取代了体积渲染。这些方法在单视角重建和跨场景泛化方面表现出令人印象深刻的性能。然而，当仅依赖语义信息来恢复未观察区域的细粒度细节时，它们仍面临挑战。

## 4 重建任务

NeRF 的一个典型用例是三维表面重建（第 4.1 节）。附录 A 中提供了大规模场景、医学相关模态和数字人等更多用例。

### 4.1 三维表面重建

NeRF 可以生成新视角，但使用如等值面提取等方法从基于密度的场景表示中提取高质量表面时，结果质量较差，因为对表面的约束不足[184]。为克服这一问题，几种方法将表面表示嵌入到 NeRF 的公式中，使用隐式或显式表示。

#### 4.1.1 隐式表示

隐式表面表示，如占据场和距离场，可以建模许多不同的几何形状。尽管 UNISURF[109]通过占据场获得了准确的表面，但有符号距离函数（SDF）已成为 NeRF 框架中表面表示的首选替代方案。

SDF 是一种隐式表示，通过有符号距离函数描述几何形状。这种函数可以通过 NeRF 学习，记为 $s_\theta: \mathbb{R}^3 \rightarrow \mathbb{R}$。

利用这种表示方法，可以通过计算 $s_\theta$ 的0-水平集轻松提取场景的几何信息。利用这种表示，NeuS [184] 和 VolSDF [211] 等方法提出了不同的公式，从SDF推导密度 $\sigma$。NeuS [184] 定义密度函数在SDF $s_\theta$ 的零点处取最大值，如下所示：
$$\sigma(\mathbf{p}) = \max\left(\frac{-H_\tau'(s_\theta(\mathbf{p}))}{H_\tau(s_\theta(\mathbf{p}))}, 0\right)$$
$$其中 \ H_\tau(u) = \frac{1}{1+e^{-\tau u}}$$
其中 $\tau$ 是控制逻辑sigmoid函数 $H$ 锐度的超参数。类似地，VolSDF [211] 定义：
$$\sigma(\mathbf{p}) = \alpha \Psi_\beta(-s_\theta(\mathbf{p}))$$
$$其中 \ \Psi_\beta(u) = \begin{cases} \frac{1}{2}\exp(\frac{u}{\beta}) & 如果 \ u \le 0 \\ 1 - \frac{1}{2}\exp(-\frac{u}{\beta}) & 如果 \ u > 0 \end{cases}$$
其中 $\alpha$ 和 $\beta$ 是可学习参数。其他方法探索SDF的变体以自定义表面表示。3PSDF [20] 引入空符号来表示非闭合表面，方法是将表面区域从优化流程中排除。NeuralRecon [162] 利用截断符号距离函数（TSDF）来表示局部表面，而不是同时优化整个几何体。这些参数化方法在保留传统NeRF优势的同时，能够学习平滑表面。

由于其水密特性，SDF公式难以表示复杂几何形状，例如带孔的闭合表面或嵌套表面。无符号距离函数（UDF）可以通过消除符号约定来表示此类表面[28]。然而，UDF存在两个局限性：它们无法处理遮挡，且其非负行为导致0-水平集上的梯度计算不稳定，因为尖点是不可微的[98]。为了克服这些挑战，NeuralUDF [98] 引入了一种可微的可见性指示函数，用软概率分布而非硬阈值来近似表面。

4.1.2 显式表示。显式表示使用参数化几何（例如网格或点云）来描述表面。NVDIFFREC [51] 采用由粗到细的方法在可变形四面体网格上估计SDF。通过场景外观的可微渲染，他们扩展了先前工作[150]，以拟合NeRF方法的2D监督。VMesh [49] 使用混合体素-网格表示，合并几何和体素原语。在离散化之后，他们将纹理、几何和体积信息存储在高效的显式资产中。Wang等人[190]利用空间变化的核大小 $\tau$（方程(9)中）来提取不同频率细节的壳层（例如平滑表面或体积内容如云）。通过显式壳层的膨胀和腐蚀，他们在保持体积内容高级细节足够样本量的同时，减少了平滑表面的样本数量。虽然这些显式表面表示通常不如隐式表面灵活，但它们提供更快的训练和渲染速度，并能够直接实现几何约束。

4.1.3 表面损失。在训练过程中访问表面表示使得能够向神经渲染损失中添加表面正则化项。对于隐式方法，Gropp等人[46]表明，通过使用Eikonal项可以获得平滑且精确的表示，该公式鼓励表示具有单位范数梯度。为了进一步鼓励平滑性，Neuralangelo [85] 对其SDF表示的平均曲率进行正则化。

另一方面，显式方法通常根据其表示自定义正则化项。NVDIFFREC [51] 对四面体网格边缘处的SDF符号变化进行惩罚，以减少随机面和浮点。VMesh [49] 通过将网格的轮廓和深度图与从初始SDF阶段渲染的不透明度和深度值进行比较来优化网格。Wang等人[190] 通过对壳层表示的空间变化核大小进行正则化来鼓励其平滑性。

4.1.4 额外的表面监督。为了扩展对表面学习的控制，各种方法利用SfM步骤计算的信息或依赖现成方法获取额外先验。Geo-Neus [39] 和 RegSDF [220] 直接使用SfM算法（例如COLMAP [145]）生成的3D稀疏点云对其SDF进行监督。基于这些点位于表面上的假设，他们强制SDF值为零。Darmon等人[31] 使用额外的多视图约束和结构相似性来更好地恢复高频细节。当只有少量视图可用时，表面方法会显著退化。为了克服这一问题，s-VolSDF [194] 利用多视图立体（MVS）先验来从稀疏视图中引导隐式表面。反过来，重建的深度信息可以优化MVS深度采样，提供更准确的估计。MonoSDF [218] 则使用预训练网络预测的单目几何先验来直接优化深度和法线估计。虽然这些方法产生了更准确、更平滑的表面，但其代价是额外的监督数据或预训练模型。

**5 重建之外的计算机视觉任务**

NeRF已成为基础性的3D场景表示，并推动了3D重建之外应用的近期激增。本节重点介绍NeRF在两个常见应用中的重要性：与机器人相关的任务（第5.1节）和传统计算机视觉任务（第5.2节）。我们还在附录C中对3D生成和编辑提供了简洁的回顾。

5.1 机器人在领域的应用

本小节讨论NeRF在同时定位与建图（SLAM）方面的能力——SLAM是机器人感知中一个基本且长期存在的组成部分。SLAM同时映射未知环境并跟踪机器人的位置，这继承了与相机姿态估计、3D重建以及对动态或瞬时场景元素的鲁棒性相关的挑战。传统稠密SLAM方法通常利用从RGB图像、深度图或激光雷达扫描中提取的特征，并通常依赖于基于体素的场景表示（例如占用网格或TSDF）。虽然这些表示方法对于稠密建图有效，但它们通常在重建精度和内存消耗之间存在权衡。此外，许多传统方法依赖于精心设计的模块和手工制作的优化流水线，这限制了它们的灵活性以及利用端到端学习框架的能力。

这些局限性促使人们将INR，特别是NeRF，集成到SLAM流水线中，其中iMAP [158] 代表最早的尝试之一。NeRF通过从2D图像提供连续、可微的场景表示来增强SLAM。这种隐式表示实现了具有有界内存需求的紧凑场景编码，而其可微体素渲染公式支持测试时的增量优化，从而同时提高重建质量和跟踪精度。NICE-SLAM [230] 通过使用分层基于网格的神经编码、多级局部信息和预训练几何先验，解决了大规模SLAM中的可扩展性和细节保留问题，从而允许高效的局部更新。NeRF-SLAM [140] 通过准确的姿态和深度估计改善了从单目图像进行的3D建图和场景重建，提升了几何和光度精度。Dense RGB SLAM [80] 采用分层特征体素提高大场景中的精度，并整合多尺度基于补丁的畸变损失，通过约束相机运动和场景地图实现稳健的稠密视觉SLAM系统。后续研究探索了基于点（Point-SLAM [144]）、基于网格（ESLAM [64]）和混合（Co-SLAM [182]）表示以缓解表示效率与重建和跟踪性能之间的权衡。例如，Point-SLAM利用基于点的表示，能够根据局部信息密度自适应分配点。Loopy-SLAM [93] 进一步将回环检测整合到神经SLAM中，以减轻跟踪过程中的误差累积，通过姿态图优化和在线回环检测确保全局一致性。此外，iSDF [110] 实现了对SDF的增量更新，使SLAM系统能够更快速地适应环境变化以实现高分辨率建图。尽管基于NeRF的SLAM取得了这些进展，但仍面临若干挑战，包括平衡内存消耗、计算成本以及重建和跟踪性能，以及处理遗忘问题和开发有效的关键帧选择策略。

除了SLAM任务之外，NeRF提供了一种高保真的3D场景表示，提供了更丰富的几何信息，并支持超越单个2D图像的3D场景理解，从而提高了轨迹规划和复杂控制任务（例如物体抓取）的性能。有关路径规划和机器人控制的详细内容见附录B。

5.2 识别任务

视觉识别是计算机视觉中的基本问题，涉及在视觉数据中识别语义上有意义的实体。这涵盖了一个广泛的任务谱系，包括但不限于语义分割、目标检测和物体跟踪。虽然当前方法在2D数据（如图像和视频帧）上[27]有效，但它们严重依赖于在大型标注2D数据集上微调的预训练架构。由于3D标注稀缺（3D标注劳动密集型），将这些方法扩展到3D数据（例如点云和三角网格）具有挑战性。仅使用2D标注的方法难以将2D知识整合到准确的3D表示中，往往导致错误。

在此背景下，NeRF能够将多个2D观测整合为统一的、几何和语义上一致的3D模型，减少了对大量3D标注的需求。SemanticNeRF [225] 通过引入一种NeRF模型来执行3D语义分割，该模型从标注的2D图像中联合学习场景外观、语义和几何。这项工作通过包含一个视角不变函数来扩展原始NeRF模型，该函数将世界坐标映射为语义标签，从而能够通过传统NeRF的渲染方程渲染精确的2D分割。它即使面对稀疏、噪声和低分辨率的2D标注也能执行2D到3D的标签传播。类似地，诸如[40, 153]等工作通过使用粗糙的3D标注（如3D包围盒）并设计标签传播方案来处理歧义和噪声，实现了3D全景分割。针对多模态开放集识别这一挑战性任务，LERF [70] 将CLIP嵌入[127]整合到NeRF中，实现了对3D场景中物体、视觉属性和几何细节的基于自然语言的搜索和定位。SA3D [12] 将2D视觉基础模型如Segment Anything（SAM）[72]提升到3D，通过简单的用户提示提供交互式3D分割。NeRF还可以利用场景物理和渲染效果作为自监督信号，在不依赖2D或3D标注的情况下学习视觉识别模型。例如，D2-NeRF [196] 通过解耦静态和动态场景元素来分割移动物体。

虽然先前的方法依赖于特定场景和重建质量，但其他方法旨在实现一种通用模型，能够在多个NeRF编码的场景中执行视觉识别。训练好的NeRF可以作为通用的视觉数据格式，能够从各种视角生成2D图像或创建模拟视频的序列。在此基础上，一些方法在NeRF的隐式场景表示内进行视觉识别。例如，NeRF-RPN [54] 通过在采样的NeRF原语（例如密度和颜色）上训练标准目标检测器来检测NeRF场景中的3D物体。NeSF [177] 通过训练神经网络将采样的NeRF表示映射为通用特征来实现跨场景的语义分割，然后这些特征可以被深度学习分割模型进行分割。

将NeRF应用于视觉识别任务的一个关键方面在于场景的几何和语义特征之间的相互作用。通常，人们希望利用几何特征来语义地区分场景中的物体。然而，研究也表明，将语义推理整合到NeRF模型中可以促进对场景几何和外观的更全面理解，从而提高模型在新视角合成方面的效果。例如，DietNeRF [61] 和 SinNeRF [202] 利用语义推理来解决数据缺陷问题，如视角多样性有限和不准确的相机姿态，从而提升在未见过视角和环境中的泛化能力。然而，这些方法通常无法在未观察区域预测精细细节。

**6 工具和数据集**

本节汇总了一组工具以促进NeRF的开发和分析。我们还在附录D中提供了常用的数据集和评估协议，用于基准测试。

6.1 工具

本小节介绍与数据生成、数据预处理、NeRF训练和优化以及可视化/渲染相关的工具。

6.1.1 数据集生成。合成数据集通常通过完全可控的变量创建，使其成为开发有效NeRF算法的关键第一步。常用于为NeRF创建合成数据集的工具包括但不限于Blender [36] 和Unity [166]。Blender是一种开源3D计算机图形软件，广泛用于合成数据集生成，如D-NeRF [119]，通过模拟各种环境和光照条件。BlenderNeRF [125] 与Blender集成，简化了为新颖视角合成任务生成高质量多样化数据集的过程。Unity是一种游戏引擎，也可以通过自定义脚本和场景创建合成数据。Unity NeRF.2 是专门为在Unity环境中生成NeRF数据集而开发的。

6.1.2 数据预处理。大多数NeRF方法需要相机姿态作为先验，计算相机姿态是多视图图像预处理中的重要一步。

为此，已有若干工具可供选择，包括COLMAP [145]、PixSfM [92] 和OpenDroneMap [43]。COLMAP 被广泛用于三维重建和图像数据的预处理，可提供精确的相机位姿和点云。PixSfM 通过利用深度学习方法提取的二维图像特征进行直接对齐，对三维点和相机位姿进行精细化优化，从而提升了COLMAP的精度。OpenDroneMap 适用于大规模数据集的预处理，可实现快速的三维重建，并支持纳入图像的GPS坐标、相机的偏航角、俯仰角和翻滚角以加速SfM。

6.1.3 训练与优化

为标准化NeRF模型的训练和优化流程，并便于用户与NeRF模型进行友好交互，NeRFStudio [164] 提供了一套易用且模块化的API，用于NeRF的开发。它简化了模型架构设计、训练过程以及超参数调优，有助于高效开发和优化NeRF模型。在NeRFStudio的基础上，SDFStudio [217] 专注于三维重建，并提供了一个统一且模块化的神经隐式曲面重建框架。针对NeRF中的高效采样问题，NerfAcc [83] 提供了一套基于PyTorch的NeRF加速工具箱，适用于训练和推理阶段。它是一个通用且即插即用的工具，兼容大多数NeRF模型。

第7章 讨论与开放挑战

本综述回顾了NeRF相关的核心进展，这些进展致力于提升三维场景表示的精度和效率，并探讨了其在实际问题中的适用性。我们涵盖了提升渲染质量和效率的策略，分析了针对实际挑战的解决方案，并探讨了包括重建、三维生成与编辑、识别以及机器人学等在内的应用。最后，我们汇总了NeRF相关研究中常用的数据集和实用工具列表。本节将视角拉远，探讨推动NeRF未来发展的开放挑战。

当前的NeRF增强方法在分辨率最高达到1K的图像上取得了令人瞩目的效果。然而，当处理如4K这样更高分辨率的图像时，渲染时间相比1K图像增加了约一个数量级，限制了其广泛采用 [82]。廉价的移动设备的兴起使其能够采集高分辨率图像，但计算资源却十分有限，这凸显了优化NeRF以提升效率和紧凑性、并降低GPU需求的重要性。一种方法是引入显式表示，如3D高斯泼溅（3D Gaussian Splatting）[69]，因为它们可以实现实时渲染。这可以通过创建混合表示或将NeRF转码为其他显式表示来实现。此外，诸如量化等数据压缩技术也可能有助于提高模型的紧凑性 [52]。

随着NeRF的性能持续提升，重新审视测试集 [200] 和评估指标 [123] 的选择至关重要。当前的评估方法严重依赖参考二维图像，这使得评估结果对测试相机分布、测试视角质量以及场景遮挡非常敏感。

真实世界场景带来了多方面的挑战，包括异构的图像质量、有限的观测、多样的动态变化（例如瞬态物体和复杂的光照/天气变化）以及大规模场景。开发能够高效准确地建模此类场景并稳健处理干扰物的方法，仍是一个活跃的研究领域 [143]。

近期研究 [197, 226] 将最新的盲图像恢复技术应用于改善由退化输入训练的NeRF质量，我们预计将出现更多有效且高效的恢复系统。一些少样本NeRF利用从预训练深度模型（例如单目深度先验）中学习到的先验来指导在有限视角下的训练；然而，确保度量准确性并维持先验中的多视角一致性仍然是一个开放挑战 [181]。此外，有限视角使得基于SfM的相机位姿估计处于欠约束状态，容易出现不准确。两个有前途的方向包括：(i) 开发针对特征对应和相机参数的在线精细化算法 [114, 172]，以及 (ii) 利用前馈式三维重建方法，例如DUSt3R [187] 和MASt3R [79]。

准确高效地建模真实的非刚性变形仍是动态NeRF中长期存在且重要的挑战，混合表示方法或许有所帮助 [37]。真实世界中的动态场景不仅涉及局部变形（例如关节运动/动作和拓扑变化），还涉及全局变化（例如光照/天气变化）。如何高效地捕捉这两个层级的变化仍然具有挑战性 [128]。物理感知方法在建模复杂户外场景光照 [141] 和软体变形 [122] 方面已被证明是有效的。整合更丰富的物理模拟先验为开发基于物理的动态NeRF模型提供了一条有前途的路径。

尽管在大规模场景建模方面取得了重大进展，但内存可扩展性和计算效率的挑战依然存在。在大型环境中实现流式性能仍然是交互式VR/AR领域 [34] 一个活跃的研究方向，例如，使其能在房地产应用中实现对多房间空间的实时探索。

此外，提高NeRF的不确定性量化和泛化能力对于实际使用至关重要。不确定性量化方面的开放问题包括：(1) 对于NeRF而言，什么是量化的不确定性？(2) 我们能否高效地量化认知不确定性和随机不确定性？对于泛化能力而言，尽管在不见过的场景上取得了令人瞩目的渲染效果，但训练时间过长以及未观测区域细节不足的挑战依然存在。

三维视觉领域已展示了NeRF的广泛采用，它正在改变各种数据类型（例如医学影像 [26]）的三维表面重建。像机器人学这样的实际应用需要处理多样的信号。近期研究展示了利用多模态输入（例如语义标签 [225]、事件流 [121]、多光谱数据 [81] 和音频 [48]）来辅助和增强三维场景学习的潜力。尽管该研究仍处于早期阶段，但它呈现了一个有前途却尚未被充分探索的领域：如何高效地利用来自多种信号的先验知识进行三维场景学习。另一个令人兴奋的挑战在于从超越传统视觉数据的数据模态中进行学习，例如，开发基于激光雷达传感器的类似NeRF的框架 [165]。

除了重建任务外，NeRF正越来越多地影响传统的计算机视觉任务，例如三维语义分割。对三维场景的学习天然支持自监督学习。看到NeRF如何能够无缝整合并提升各种大规模三维下游任务 [70] 是令人兴奋的。此外，大模型的进展可能进一步推动NeRF的端到端学习，从而可能绕过传统的先相机位姿估计后重建的步骤 [183]。这可能使得能够利用Transformer等模型直接进行相机位姿估计和三维几何学习。

NeRF也革新了三维生成和编辑任务，尽管现有的基于NeRF的三维生成技术仅限于梦景式物体生成，通常缺乏精细的真实细节并且需要漫长的优化时间 [118]。开发高保真、实时、忠实且可控的三维生成技术将有益于AR/VR和创意产业。反之，生成模型也可用于改善重建。目前存在一种趋势，即利用从大规模图像资产中学习到的生成先验来丰富未观测区域的细节并促进场景学习，尽管降低其计算开销仍是一个持续的挑战 [95]。此外，考虑这些生成方法的伦理和版权影响至关重要。

致谢

我们感谢Rongkai Ma和Ethan Goan对我们手稿提出的宝贵意见。我们同样感谢Ines Vati为我们手稿中使用的若干图表提供了来源。