面向真实世界的神经辐射场：综述

《ACM Computing Surveys》：Neural Radiance Fields for the Real World: A Survey

　　

AbstractAI 摘要
要查看此 AI 生成的摘要，您必须拥有高级访问权限。
了解更多
登录
摘要
摘要
神经辐射场（NeRFs）自发布以来重塑了 3D 场景表示。NeRFs 能够从 2D 图像有效地重建复杂的 3D 场景，推动了场景理解、3D 内容生成和机器人等领域和应用的发展。尽管研究取得了显著进展，但目前仍缺乏对近期创新、应用和面临的挑战的全面回顾。本综述汇编了关键的理论进展和替代场景表示方法，并研究了新兴挑战。它进一步探讨了重建方面的应用，突出了 NeRFs 对计算机视觉和机器人的影响，并回顾了重要的数据集和工具包。通过识别文献中的空白，本综述讨论了开放挑战并为未来的研究提供了方向。
AI 摘要 AI 生成摘要（实验性）
本摘要是使用自动化工具生成的，并非由文章作者撰写或审阅。提供此摘要旨在支持发现，帮助读者评估相关性，并协助相邻研究领域的读者理解该工作。它旨在补充作者提供的摘要，后者仍然是论文的主要摘要。全文仍然是权威的记录版本。点击此处了解更多。
点击此处对此摘要的准确性、清晰度和有用性发表评论。这样做将有助于完善信息并生成未来的再生版本。要查看此 AI 生成的通俗语言摘要，您必须拥有高级访问权限。
1 引言
对三维（3D）空间的感知与解释从根本上塑造了人类与物理世界的互动。使计算机视觉系统能够理解和处理现实世界中的 3D 信息，对于包括机器人、远程医疗、沉浸式模拟在内的众多应用至关重要。3D 能力系统的一个关键要素是为表示对象和场景选择合适的 3D 图元。与作为 2D 图像统一表示的像素不同，3D 表示有多种选择，例如体素、网格和点云。有效的 3D 表示必须在保持精度和可扩展性以高效表示 3D 世界的同时，具有可学习性，以便与深度学习框架和先进的 3D 视觉系统集成。
传统的 3D 表示在满足这些计算要求方面存在显著局限性。虽然体素和点云与基于深度学习的框架兼容，但它们存在离散化伪影——体素面临可扩展性限制，而点云缺乏连接性——并且几何精度有限。网格在表示复杂几何方面表现出色；然而，其不规则的拓扑和元素形状阻碍了与深度学习框架的集成。
最近的研究引入了隐式神经表示（INRs）[102, 113] 来克服这些局限性。INRs 通过神经网络实现连续的隐式函数，能够准确且节省内存地表示场景。然而，高质量 3D 真值数据的稀缺对 3D 监督提出了重大挑战。为此，3D 神经渲染已成为连接 2D 和 3D 的核心范式。它基于体渲染，后者建模了物理成像过程，其中像素颜色是通过沿每条光线积分辐射场获得的。将光传输建模为辐射函数的想法可以追溯到 20 世纪 60 年代 [14]，并在 20 世纪 80 年代末被正式引入计算机图形学 [67]。在 2000 年代，后续工作开始直接使用颜色体素网格来表示 3D 场景 [75, 146]。在计算机视觉中，可微体渲染开始因高质量的新视角合成而受到青睐。早期方法使用软 3D 体积 [117]、多平面图像（MPI）[104] 和体素网格解码器 [97] 等表示方法纳入深度线索或立体图像先验，但面临可扩展性限制。与此同时，多层感知机（MLPs）和 PointNet 架构 [120] 显示出从几何数据中学习 3D 场景表示的强大能力 [102, 113]。后续工作 [108, 155] 通过使用基于图像的渲染损失解决了依赖真值几何的问题，但未考虑视点依赖效应。
如今的神经辐射场（NeRF）[105] 出现在这些方法的交汇点，结合了可微体渲染与视点依赖的辐射场，以实现照片级的 3D 场景合成。它引入了一种优雅的框架，将 3D 场景学习为连续的体素函数，将 3D 位置和视点方向映射到 RGB 颜色和密度。通过体渲染，NeRF 能够仅从 2D 图像和关联的相机位姿重建 3D 场景。NeRF 公式实现了真实场景的高质量新视角渲染，同时保留了准确的 3D 几何，这与经常引入高光伪影的 MPI 方法形成对比。这一突破得益于几项设计创新，包括光线批处理、可微体渲染和位置编码。
自 2020 年引入以来，NeRF 在计算机图形学和 3D 视觉社区吸引了重大的研究关注。基础性工作增强了 NeRF 模型，使其更高效、更准确，解决了复杂现实世界场景带来的挑战，同时出现了众多应用以推进各种 3D 视觉任务。随着成千上万最新的 NeRF 相关研究，关于此主题的综合综述既紧迫又关键。
1.1 我们的贡献
早期的一些综述回顾了神经渲染 [167] 或 2D/3D 神经场 [201] 的更广泛格局，其中将 NeRF 作为一种代表性方法涵盖，但仅考虑了少数早期进展；相反，[210] 专注于 2022 年至 2024 年之间的进展，并且仅覆盖了 NeRF 发展谱系的一部分。然而，NeRF 的广度和快速进展使得需要一份最新的、专门的、深入的综述。虽然 [8] 和 [126] 总结了 NeRF 的各种改进，但它们缺乏连贯的分类法，并且很少关注将 NeRF 研究转化为实际部署所至关重要的现实世界挑战和应用。[229] 和 [41] 回顾了 NeRF 的基础性进展并讨论了几项应用。尽管如此，它们并未分析影响 NeRF 在现实世界中表现的因素，并遗漏了不确定性量化、动态场景和室内环境等关键挑战。与现有综述相比，我们的工作提供了第一个统一分类法，将 NeRF 的技术发展与现实世界部署挑战和评估协议联系起来，如表 1 所示。鉴于 2023 年后 NeRF 相关研究的爆发，我们旨在提供一份及时的 NeRF 综述，使读者能够精准定位关键研究方向，将解决方案与特定挑战匹配，探索 NeRF 的多样化应用，并获得对未来工作的见解。
表 1.[41][167][201][229][126][210][8]我们的
基础进展框架????????
与 NeRF 无关的增强?
替代场景表示?Δ?
现实世界挑战
退化视图????
稀疏训练视图??????
不准确的相机位姿?????
复杂光效????
野外 NeRFΔΔ?
复杂场景
动态???
室内??
无界?Δ?
不确定性量化?
对未见场景的泛化性Δ?Δ?
应用 - 重建任务
3D 表面?????
大规模场景???Δ?
医学图像??
数字人类???????
应用 - 超越重建
机器人Δ?Δ?
3D 生成和编辑???????
识别????
数据集?????
工具?
我们的综述与其他相关综述论文的对比
?: 主要关注点；Δ: 提及。
为此，本综述独特地将基础研究和新兴研究整合在一个一致的分类法中。我们提炼了提高 NeRF 渲染质量和效率的核心进展，并阐明了替代场景表示如何从 NeRF 框架演化而来。除了方法论的进步外，我们确定了影响 NeRF 在现实世界场景中鲁棒性和泛化性的因素，提供了对其优势和局限性的见解。我们进一步将 NeRF 置于更广泛的应用背景中，从重建任务到计算机视觉和机器人流水线，突出了其作为各种 3D 任务中关键表示的日益重要的作用。为了支持持续的研究，我们整理了一套广泛的公开可用工具、数据集和基准评估协议。为了进一步操作化此分类法，我们引入了一种互补的综合分析，作为代表性方法族的决策导向对比。我们总结了它们的表示范式、核心机制、优势和局限性、部署能力以及典型应用场景。最后，我们确定了关键的研究空白和开放挑战，为 NeRF 相关研究的未来探索提供视角。
1.2 范围和组织
本综述的范围如图 1 所示。我们的综述涵盖了 NeRF 在训练和渲染方面的主要进展，现实世界条件下的鲁棒性，跨多样应用的适用性，以及惠及学术界和工业界的支持资源。基于其核心创新，NeRF 催生了各种替代场景表示，例如实时渲染的 3D 高斯泼溅（3DGS）[69]。考虑到 NeRF 作为神经场景表示统一框架的基础性角色及其重大影响，本综述主要专注于 NeRFs，从中可以系统地理解和比较大多数现代架构设计和应对实际挑战的核心机制。尽管 3DGS 兴起，本综述不涵盖这一快速发展的工作线；3DGS 的方法论与 NeRFs 有显著分歧。我们将读者引导至关于此主题的专门综述 [35]。
图 1.我们论文结构的概览，概述了涵盖 NeRF 基础改进策略、现实世界挑战及对应解决方案、多样应用领域以及实用资源的关键章节。图像改编自 [9, 30, 36, 69, 105, 189]。
我们的组织如下。第 2 节概述了 NeRF，并深入回顾了渲染质量和效率的基础改进策略，随后在第 2.6 节简要介绍了替代场景表示。然后，第 3 节提供了对关键现实世界挑战及其对应解决方案的彻底分析。我们探索了各种 NeRF 应用任务，包括重建（第 4 节和附录 A）、机器人（第 5.1 节和附录 B）、识别（第 5.2 节）以及 3D 生成和编辑（附录 C）。此外，第 6 节汇编了常用工具和数据集（附录 D）。为了 NeRF 技术的实际应用，我们在附录 E 中进一步提供了关键 NeRF 方法的概概念和决策导向综合。最后，我们在第 7 节通过讨论开放挑战和关键研究方向得出结论。
2 NeRF 基础
NeRF [105] 将 3D 场景定义为一个连续的体素函数。给定世界坐标系中的 3D 位置 p∈R3 和视点方向 d∈R2，它输出体积密度 σ∈R 和发射辐射度 c∈R3。这里，体积密度表示光线在当前位置终止的概率。Fθ 表示这样一个可学习函数，正式定义为：Fθ:(p,d)→(c,σ)，(1) 其中 σ 仅依赖于 p，而 c 依赖于 d 和 p，以允许建模非朗伯效应。学习过程通过可微渲染程序进行：(a) 光线投射和采样，(b) 样本编码，(c) 辐射场估计，(d) 体渲染，以及 (e) 优化。
光线投射和采样。给定相机的内在和外在参数，一条光线与每个像素相关联。所有光线和像素的并集用于 NeRFs 的监督，对于每个训练步骤，随机选择一部分光线。为避免在推进光线时对空或被遮挡区域进行不必要的查询，使用分层体素采样对点进行采样。此过程涉及用于预测粗略密度分布的粗略模型 Fc 的分层采样，随后从该分布中进行逆变换采样以获得精细模型 Ff。
样本编码。沿光线，对每个采样点应用位置编码，这与 5D 坐标相关（三个用于位置，两个用于视点方向）。5D 坐标的每个元素 u 归一化为 [?1,1]。u 的位置编码是一个 L 级频率嵌入，通过 γL 函数实现，将 u 映射到更高维空间 [?1,1]2L。正式地：γL(u)=(sin(20πu),cos(20πu),…,sin(2L?1πu),cos(2L?1πu))。(2)
辐射场估计。辐射场的估计传统上通过两个 MLP（用于密度和颜色）来实现。为简洁起见，本节其余部分将使用 [105] 中提出的原始 MLP 公式。此骨干网络可被替换为更高效架构或更稀疏的公式（见第 2.3 节和 2.6 节）。
体渲染。体渲染 [67] 涉及通过时间参数化光线的连续积分过程。NeRF 通过求积规则对这些积分进行数值近似。给定沿光线 r 的一组离散时间 {ti}i=0N，预测颜色 ci，以及密度 σi；t0 和 tN 之间目标像素的集成颜色由 C^(r) 近似，并由下式给出：
C^(r)=∑i=0N?1wici,wherewi=Ti(1?e?σiδi),δi=ti+1?ti,andTi=e?∑j=0i?1σjδj,(3)
其中 δi 是连续样本 ti 和 ti+1 之间的距离，Ti 是累积透射率，衡量光线从 t0 行进到 ti 而不被拦截的可能性。
优化。使用与每条光线 r 相关的像素颜色 C(r)，NeRF 模型通过最小化与重建颜色 ?^C(r) 的总平方误差以有监督的方式训练。对于每批次随机采样的光线 R，粗略和精细模型的参数同时优化：
L=∑r∈R(‖C^c(r)?C(r)‖22+‖C^f(r)?C(r)‖22)，(4)
其中下标 c 和 f 分别代表粗略和精细模型。
正如 [105] 中所讨论的，3D INRs 标志着 3D 视觉和新视角合成的重大进展。然而，NeRF 作为该领域最受欢迎的方法，即使在现代 GPU 工作站上也有很长的运行时间。

对原始 NeRF 流水线在渲染质量和效率方面的改进包括采样（2.1 节）、编码（2.2 节）、辐射场估计（2.3 节）和体积渲染（2.4 节）。2.5 节总结了与骨干网络无关的渲染效率和质量改进，而 2.6 节介绍了替代的场景表示方法。

2.1 采样

公式（3）中描述的蒙特卡洛采样近似在没有重建几何先验知识的情况下计算量很大。从未知的密度分布中，采样必须穷尽才能正确近似像素颜色 C^，且近似误差的改善与采样点数量呈线性关系，这使得计算成本过高。通过在场景非空空间中明智地选择积分片段，可以实现更高的采样效率。为此，NeRF 中的分层体积采样方案采用粗模型来估计粗略的密度分布，指导细模型的采样并提高数值近似效率。然而，在公式（4）中，粗模型的监督需要渲染，但在最终渲染图像中并未使用。

两条研究路线旨在解决此点采样方案的局限性：基于提议的方法和基于占据的方法。基于提议的方法，例如 Mip-NeRF 360 [4]，用小提议模型替换粗模型，仅生成密度而不是密度和颜色。然而，有了这种新公式，必须重新审视提议的优化。Mip-NeRF 360 [4] 提出了一种在线蒸馏方法，其中提议模型使用层间损失进行学习。该损失对齐提议模型和最终 NeRF 模型之间预测的权重直方图。提议模型尺寸的减小允许使用更大的细模型（15 倍），从而在计算时间仅适度增加（2 倍）的情况下实现更高的合成性能。与基于提议的方法不同，基于占据的方法能够有效地排除低密度的采样点。例如，PlenOctrees [215] 引入了使用带有稀疏先验训练的辅助 NeRF-SH 网络，然后将其转换为稀疏的 Plenoctree 数据结构，以避免对场景空空间的计算。Hu 等人 [56] 分析了 NeRF 采样点的权重和密度分布，并在粗阶段引入有效采样，在细阶段引入关键采样。他们提出的采样策略允许仅在场景中对最终颜色贡献最大的部分进行采样点，从而将训练时间减少 80%。

最近，一些研究人员强调了像素和视角选择在 NeRF 训练中的重要性，并通过射线级或视角级采样方法提高了 NeRF 训练效率。例如，Zhang 等人 [223] 通过专注于具有“剧烈颜色变化”的像素和高渲染误差区域来增强训练收敛。Xiao 等人 [200] 研究了视角采样在 NeRFs 中的作用，并基准测试了不同的视角选择方法以评估其影响。他们的发现表明，通过选择更好的样本，NeRF 可以用更少的计算时间或监督获得更高的渲染质量。

2.2 编码

公式（2）的标准编码同等对待每个频率信号，导致在不同分辨率下渲染时出现问题。高频位置编码特征可能会产生混叠，导致称为“锯齿”的伪影。此外，深度网络直接从编码的输入坐标处理辐射场，这需要大型且计算昂贵的 MLP 来准确表示场景。后来关于高级编码方法的研究已经朝着抗混叠能力和高效率发展。我们将现有的编码方法分为集成位置编码、特征编码、抗混落特征编码和紧凑特征编码。

集成位置编码。米普映射技术 [193] 是计算机图形学渲染流水线中广泛使用的抗混叠方法。为了去除低分辨率信号中的高频混叠细节，人们通过对纹理图进行下采样和预滤波到不同尺度并选择适当的尺度进行渲染来创建米普贴图。受此思想启发，Mip-NeRF [3] 扩展了 NeRF，通过追踪锥体而不是射线进行像素渲染，以连续尺度表示场景，有效地对预滤波辐射场进行建模。Mip-NeRF 通过集成位置编码（IPE）为 MLP 输入编码一个锥形台。如图 2(a) 所示，使用具有均值 μ 和协方差 Σ 的多变量高斯函数近似锥形台，以便进行高效的积分计算。台体覆盖体积的 IPE 特征 γ(?) 可以通过均值和协方差矩阵对角线的预期高频函数计算，数学上表示为：γ(μ,Σ)=Ep～N(μγ,Σγ)[γ(p)]。(5) 锥体投射方案和 IPE 允许 Mip-NeRF 将尺度信息编码到特征中并预滤波高频混叠，最终实现多尺度输入视角的抗混叠渲染。然而，IPE 和基于 MLP 的解码器的计算成本仍然很高。

图 2. 不同的多尺度编码设计。

特征编码。特征编码（FE）背后的思想是使输入特征可学习，从而在不使用大型 MLP 进行推理的情况下实现训练和渲染的加速。该方法使用基于网格的辅助数据结构，如体素八叉树 [160]、哈希网格 [106] 或平面 [15]，来存储输入特征。这些特征在训练过程中通过梯度反向传播与模型参数一起迭代更新，以适应场景特征。Instant NGP [106] 是该领域的代表性工作。它将可训练特征排列成多级哈希网格，对应于不同分辨率的体素网格。Instant NGP 在每一层 l 从 3D 点 p 所在的体素 Vl 的顶点检索特征。这些多分辨率哈希编码使用三线性插值聚合以形成逐层特征 fl，正式表示为：fl=trilerp(nl?p;Vl)，(6) 其中 nl 是网格的线性尺寸。用于渲染的紧凑 MLP 将每级拼接的编码作为输入。多分辨率哈希网格的设计以及小型 MLP 的使用成功实现了快速训练和高质量渲染，且具有紧凑的内存大小。然而，FE 在处理具有尺度变化的场景方面能力有限。

抗混叠特征编码。编码的一个近期趋势是抗混叠特征编码（AAFE），它结合了 IPE 和 FE 的优势，以实现高效的抗混叠渲染。IPE 因依赖重型 MLP 解码尺度信息而在效率上挣扎，而基于网格的 FE 则遭受混叠伪影之苦。实现高效抗混叠渲染的挑战在于使基于网格的数据结构具备尺度感知能力。为了解决这个问题，ZipNeRF [5] 将 Mip-NeRF 中使用的复杂多采样锥形台适配到基于多分辨率哈希网格的编码。如图 2(b) 所示，ZipNeRF 使用一组各向同性高斯函数对锥形台进行多采样以编码尺度信息，通过网格层级的三线性插值查询特征。这种尺度感知插值通过降低高频信号的权重来减少伪影。ZipNeRF 在新视角合成中实现了最先进（SOTA）的性能。尽管与 Mip-NeRF [3] 相比效率有所提高，但在训练时间上，ZipNeRF 仍然比 Instant NGP [106] 等基于 FE 的架构慢。其他方法，如 Mip-VoG [55] 和 Tri-MipRF [57]，使用跨尺度的基于网格的结构，通过尺度感知特征米普贴图来预测颜色和密度。PyNeRF [173] 在不同网格分辨率下训练一个 NeRF 模型金字塔，访问对应于样本的最接近分辨率。然后它插值它们的尺度感知输出以产生与任何基于网格的 NeRF 兼容的抗混叠结果，如图 2(c) 所示。这些方法表现出抗混叠能力，但它们产生了分辨率 - 内存权衡，就像大多数基于网格的架构一样。

紧凑特征编码。考虑到基于网格的特征编码的巨大内存成本，推进特征编码的一个关键趋势是提供紧凑且准确的表示。量化和频率变换在 JPEG2000 [100] 等编解码器中的成功应用启发了一些工作 [137, 152] 将这些技术纳入以增加特征稀疏性。二元辐射场 [152] 对存储在网格中的编码参数应用二值化操作。因此，这些参数可以存储为 +1 或 ?1，而不是昂贵的 16 位或 32 位类型的浮位数。类似地，Rho 等人 [137] 提议使用离散小波变换（DWT）和二值化掩码将高维特征转换为掩码小波系数网格。用于颜色和密度估计的特征通过逆 DWT 预测。游程编码和霍夫曼编码可以应用于进一步压缩小波系数和掩码位图，从而产生更紧凑的特征表示。

2.3 辐射场估计

辐射场估计的进步集中在更高的渲染质量、更快的训练和渲染速度以及更紧凑的模型上。在本小节中，我们将讨论四种提高效率和模型紧凑性的主流技术。

2.3.1 预缓存。

预缓存（或烘焙）通过预先计算并将几何或外观数据制表到像体素网格这样的基于网格的数据结构中来加速渲染。固有的挑战是以低内存占用存储视角相关的颜色信息。一些方法将视角相关的外观分解为基函数的组合。例如，PlenOctrees [215] 使用球谐（SH）函数，并将学习到的密度和 SH 系数存储在基于八叉树的网格的叶子节点中。类似地，FastNeRF [42] 将外观分解为视角相关权重和位置相关深度辐射图的内积，后者可以独立缓存。其他方法存储辐射场和特征的预计算部分信息，使用小型 MLP 预测视角相关的外观。SNeRG [52] 构建了一个由预测的漫反射颜色、体积密度和镜面反射特征组成的 3D 纹理图集，这些存储在体素网格中。这个 3D 纹理图集可以使用像 JPEG 这样的高级编解码器进一步压缩。在渲染期间，SNeRG 利用查找表查询累积的颜色和特征向量，然后使用小型 MLP 评估视角相关组件。类似地，MERF [134] 将数据存储在一个低分辨率的 3D 体素网格和三个高分辨率的 2D 平面中，这些参数化为多分辨率哈希编码。为了进一步改进渲染效率和模型紧凑性，MERF 采用二进制 3D 占据网格来稀疏存储非零元素，并对每个条目应用量化。DVGO [160] 采用两个体素网格——一个用于几何的粗网格和一个用于详细重建的细网格，并结合小型 MLP 进行细化。

2.3.2 张量秩分解/因式分解。

张量秩分解是一种使用多个低秩张量分量分解复杂特征向量的技术，增强训练效率并减少内存占用。例如，传统的 CANDECOMP/PARAFAC (CP) 分解 [11] 将张量分解表示为多个秩一向量外积的和。Chen 等人 [15] 应用 CP 分解将场景建模为具有秩一张量分量集合的张量辐射场（TensoRF），优于原始 NeRF 模型。这种方法使得能够使用紧凑的 MLP 或 SH 从局部特征计算密度和方向颜色。为了捕捉更复杂的场景元素，他们进一步引入了向量 - 矩阵（VM）分解，将张量因式分解为向量和矩阵外积的和。这些矩阵描述了 3D 坐标系每个平面的场景几何和外观特征。K-Planes [37] 将三平面因式分解扩展为多平面因式分解，允许表示动态场景。不限于简单的正交变换基，Dictionary Fields [16] 通过使用具有周期性变换的基字段和局部化系数字段来增强表示能力，使变换基具有更大的多样性。

2.3.3 分而治之。

为了提高 NeRF 模型的计算效率，一种常见策略是将复杂的 NeRF 模型分解为多个较小的专用单元，然后合并它们的渲染输出。利用这种策略，KiloNeRF [133] 将大型 NeRF 模型分为数千个独立的小型 MLP，每个学习场景的特定子部分。在体积渲染期间，这个微型 MLP 网格沿着射线投射进行查询。这些小型 NeRF 的训练是通过蒸馏实现的。首先训练一个大容量 NeRF 模型作为教师模型。然后通过匹配教师模型和本地定义的较小学生 NeRF 模型之间的预测颜色和密度来执行蒸馏。一种类似的方法 DeRF [131] 提出进行场景的 Voronoi 空间分解。然后，应用画家算法高效绘制每个 Voronoi 单元的渲染并组合最终渲染。它可以在相同质量下有效提高渲染速度。当场景复杂度过大无法由单个模型表示时，也借用分而治之机制，这在补充材料中讨论的大规模场景重建场景中很常见。

A.1，允许通过集成小模型来表示大场景。

2.3.4 替代架构。一些研究人员重新审视了架构选择，并采用最近大模型或生成模型的进展来构建类 NeRF 模型并增强渲染性能，例如 GNT [175] 和 GANeRF [139]。与这些工作不同，Fridovich-Keil 等人 [38] 声称场景学习可以在没有重型 MLP（多层感知机）的情况下完成。他们提出了 Plenoxels，这是一种无 MLP 的解决方案，通过附近体素的插值过程有效地学习辐射场，用于不透明度和颜色估计。在此方法中，稀疏体素网格存储每个体素的密度和球谐函数（SH）系数。对来自附近体素的预缓存信息进行三线性插值，以建模连续的全光函数。

2.4 体渲染
经典体渲染 [67] 假设一个充满粒子的 3D 空间，这些粒子可以吸收、发射和散射光线，沿时间参数化的光线积分辐射度。NeRF 通过仅考虑吸收和发射来简化此框架，将公式 (3) 中的体渲染方程作为其自监督训练的基础成分。这使得能够从 2D 图像有效地优化 3D 隐式神经表示（INR），但在场景表示的准确性和效率方面仍然存在不足。

使用数值积分规则，公式 (3) 假设在区间 [ti, ti+1) 内密度和颜色是分段常数。这种假设可能导致采样和光线监督的不稳定性，造成表面模糊 [174]。PL-NeRF [174] 通过将分段常数积分规则替换为分段线性积分规则，提供了更稳定的体渲染近似，其中权重 wi 和透射率 Ti 由下式给出：
wi=Ti(1?e?(σi+1+σi)δi2),δi=ti+1?ti,andTi=e?∑j=0i?1(σj+1+σj)δj2.(7)

提高近似方案的阶数会导致每个区间内采样点增加，最终降低渲染效率。与其像 2.1 节讨论的那样改进点采样策略，Lindell 等人 [91] 通过直接学习密度和颜色的原函数来实现快速准确的光线积分，从而缓解这一近似问题。更具体地说，提出了一种高效的 AutoInt [91] 框架来代替积分的数值近似。基于坐标的网络的导数在训练过程中对原始信号进行建模，并复用参数构建积分网络以实现自动积分。

2.5 NeRF 无关增强
尽管取得了基础进展，但一些工作作为 NeRF 无关的插件，用于增强效率或渲染质量。例如，NerfAcc [83] 提供了灵活的 API，将操作与 CUDA 内核融合，以便为 NeRF 纳入高效的采样方法。另一方面，NeRFLix [226] 通过后处理的方式纠正 NeRF 风格的退化，如溅射高斯噪声、光线抖动和模糊，从而增强渲染质量。

2.6 替代场景表示
NeRF 启发了多种替代场景表示，这些表示超越了原始框架，旨在实现更高的跨场景泛化能力、效率和照片级真实感。本节回顾这些方法，强调它们与 vanilla（原始）NeRF 框架相比的区别和优势，重点关注基于图像的渲染、显式几何表示和可微光栅化。

在 vanilla NeRF 中，新视角中像素的颜色是通过沿其对应光线积分辐射场来估计的。或者，受基于图像的渲染启发，像素的颜色可以通过变形、重采样和混合来自其他视图的相关像素来获得。基于这些想法，诸如 IBRNet [186] 和 PixelNeRF [216] 等方法从源视图的图像特征中预测颜色和密度，实现了无需重新训练的新场景渲染。后续方法，如 MVSNeRF [17] 和 NeX [159]，利用平面扫描代价体积和极线关系进一步细化多视图特征聚合。这些方法在生成未见场景的新视图方面优于传统 NeRF，并且通过针对特定场景的微调，它们可以达到与最先进（SOTA）单场景 NeRF 相当的结果。

NeRF 的另一个问题是计算体积积分的效率低下，因为在通常稀疏的 3D 空间中于众多采样点评估 MLP 会导致较长的训练和渲染时间。为了缓解这一问题，可以采用分层采样 [105]、“烘焙”[25, 133] 和张量分解 [10, 15] 等技术。或者，一些方法通过使用显式几何结构来支持辐射度推理，提供了不同的解决方案。例如，Point-NeRF [204] 采用点云表示以及多视图特征，以引导光线步进期间的辐射度和密度采样与计算。类似的方法，如 NeuMesh [206] 和 NSVF [94]，分别利用三角网格和稀疏体素网格。这些方法比 NeRF [105] 提供更低成本的推理以及几何的显式 3D 表示，这是新颖视角合成之外应用的关键。

除了光线步进，神经渲染还可以利用可微光栅化方法 [76, 96]，将 3D 基元直接投影到 2D 图像平面进行渲染。这些方法通常利用可微且 GPU 友好的显式基元，如移动四面体 [51]、纹理多边形 [25] 和视图提升点云 [73]，并利用优化和硬件加速的光栅化过程来实现实时吞吐量。该领域的一个显著方法是 3DGS [69]，其中场景表示为 3D 高斯的集合，新视角通过将每个高斯投影到图像平面并通过 alpha 混合将它们复合来渲染。由于其实时渲染性能，3DGS 已成为另一种基于辐射场的代表性方法。

NeRF 与 3DGS 的比较。NeRF 和 3DGS 存在根本差异。NeRF 是一种由神经网络参数化的隐式表示。光线追踪流水线实现了高质量的几何学习和视图相关外观的准确建模；然而，渲染仍然缓慢，因为必须沿每条光线查询数百个离散采样点处的网络。相比之下，3DGS 采用基于各向异性高斯基元的显式表示，在保持高视觉质量的同时实现了实时渲染。然而，其几何精度和视图相关外观建模可能在挑战性场景中退化，部分原因是光栅化期间重叠高斯的深度排序模糊。此外，3DGS 严重依赖高质量的运动恢复结构（SfM）点云进行初始化，使其重建质量对底层点云的准确性和完整性敏感。关于紧凑性，NeRF 通常比 3DGS 更节省内存，因为它使用连续神经隐式函数编码场景，而不是围绕观察几何集中的大量显式几何基元。这也使得在重建体积内进行灵活建模成为可能。此外，隐式公式使得 NeRF 能够灵活地纳入额外的场景属性（例如，场景动态和语义信息），而扩展 3DGS 通常需要丰富高斯基元的新属性或专门的优化策略。

3 面向现实世界挑战的进展
基于 NeRF 的方法在理想条件下（如密集分布且高质量的训练视图、准确的相机位姿、简单光照、静态对象和控制背景）的视图合成方面表现出色。然而，现实世界设置经常挑战这些假设，导致合成视图中出现伪影。关键挑战包括视图变化、相机位姿、场景复杂性、光照、不确定性和泛化能力。本节说明了在解决这些现实世界挑战方面取得的进展。

3.1 退化视图
传统 NeRF 模型通过最小化预测像素值和观测像素值之间的总平方误差来进行优化，依赖于高质量训练视图提供的光线与其关联像素值之间的准确对应关系。然而，在现实世界设置中，训练视图通常遭受不同的损坏，例如 (1) 低光场景中的噪声和低动态范围（LDR），(2) 运动模糊和失焦，(3) 低分辨率，以及 (4) 雾霾。这些损坏可能导致像素值不一致，用于训练时会导致带有伪影的糟糕重建。本节探讨上述退化类型对 NeRF 渲染性能提出的挑战，并讨论相关进展。

低光场景：噪声和低动态范围。图像（默认为 LDR）通常无法表示低光场景的高动态范围（HDR）信息，在该场景中，最亮区域和最暗区域之间具有高对比度，缺乏高频细节。RawNeRF [103] 通过在线性 HDR 色彩空间中直接对 RAW 数据优化 NeRF 来解决这些挑战，应用可变曝光调整和色调映射以更好地学习 HDR 信号。尽管 RawNeRF 可以产生噪声极小的 HDR 渲染，但其对 RAW 图像数据的要求存在占用内存大的限制。其他 HDR 增强方法在 HDR NeRF 框架上结合物理成像过程，以模拟 LDR 输出并匹配 LDR 输入视图。模拟成像过程利用色调映射器将 HDR 输出转换为 LDR 输出，色调映射器考虑图像元数据 [60] 中的曝光信息或白平衡 [65]。

模糊：运动模糊和失焦。由相机运动或失焦引起的图像模糊无法用静态光线建模，需要像素值表示为源自不同空间位置的锐利光线的加权和。Deblur-NeRF [99] 通过将模糊像素值建模为锐利图像和稀疏模糊核的卷积来解决这个问题。该模糊核源自规范稀疏核和学习到的视图嵌入。另一种方法包括在整个曝光时间内模拟物理图像形成过程。具体来说，渲染的模糊图像是在此期间沿相机轨迹捕获的一系列预测锐利图像的加权和。相机轨迹可以使用 SE(3) 的李代数 [99]、三次 B 样条曲线 [99]、贝塞尔曲线 [78] 或通过螺旋轴参数化 [77] 来近似。DP-NeRF [77] 进一步引入了关于深度与失焦模糊之间关系的锐利光线自适应组合。此外，事件流在低光照和快速运动环境中保留 HDR 细节，最近已被用于增强去模糊和低光场景 [121, 142]。

低分辨率。从一组低分辨率（LR）图像中学习场景的高分辨率（HR）3D 表示构成了一个超分辨率（SR）任务。这可以通过预处理、处理中或后处理的方式实现。HRNVS [214] 作为一种预处理方法，对可用的训练视图进行超采样，为训练 HR NeRF 模型提供 HR 样本。处理中 NeRF SR 方法 [179] 通过向每个像素内的每个子像素投射多条光线来模拟超采样方案。每个子像素光线的学习由每个预测子像素和对应真实整数像素之间的加权误差之和进行监督。进一步应用细化步骤以从 HR 参考帧增强高频细节。在后处理方法 [59, 89] 中，SR 模块（基于单图像或基于参考）用于对渲染的 LR 视图进行超采样。基于补丁的细化使 SR 模块能够利用跨附近光线或 HR 参考视图中相关区域嵌入的信息。

雾霾。训练视图中的雾霾引入了重建目标和散射光大气粒子之间的模糊性，使光线密度估计复杂化。为了解决这个不适定问题，去雾霾方法 [21, 129] 将基于物理的散射模型结合到体渲染方程中。这些方法通过将目标的实际外观和几何形状与周围环境粒子分离，从雾霾环境中恢复清晰场景。

3.2 稀疏训练视图
NeRF 是从一组定位图像中训练的。像多视图立体视觉一样，NeRF 的训练严重依赖于融合来自不同视角的信息，以成功提取有意义的 3D 信息。视角方向多样性的缺乏提供了关于正确几何的有限信息，使训练 NeRF 的反问题变得不适定。本节回顾从稀疏视图甚至单视图学习 3D 场景的最新进展。

一条流行的研究路线侧重于开发额外的几何约束，以正则化欠约束的几何学习。例如，[138, 181] 利用深度先验来约束 NeRF 的训练。考虑到外部几何先验并不总是可用的，一些研究强加基于信息论 [71]、频段 [207] 和密度估计 [147] 的先验。手工制作的几何约束通常基于特定场景或架构假设，无法泛化。一些方法在未观测视角生成训练样本，并利用预训练深度模型中学到的先验。例如，DietNeRF [61] 为观测和未观测视图生成伪标签，以半监督方式用一致的语义约束学习的几何。而不是仅利用手工制作或学习到的先验，DiffusioNeRF [198] 学习几何的联合概率分布。基于正则化的方法有助于减少新颖视图生成中的视觉伪影。然而，当查询视图远离训练集时，它们存在泛化性能差的问题。

并行工作将 NeRF 视为解码器，条件于码本或图像特征。

基于码本的条件方法 [62, 132] 保留不同场景组件（例如形状和外观或前景和背景）的潜在码，这些潜在码在同类别内使用共享的潜在空间来条件化 NeRF。尽管具有类别级别的视图泛化能力，但这些方法仅限于合成数据集，且在处理复杂背景时存在困难。基于图像特征的方法 [17, 53, 216] 通过将 3D 点投影到 2D 平面并聚合像素对齐的图像特征，利用可用的 2D 图像特征来条件化 NeRF，例如第 2.6 节中提到的 PixelNeRF [216] 和 MVSNeRF [17]。ReconFusion [195] 进一步将扩散先验与基于 PixelNeRF 的模型结合，用于外推未观测到的几何形状和纹理。这些基于图像特征的方法能从少量视图甚至单视图产生良好的新视图合成结果。然而，在复杂的现实场景设置中，它们容易产生模糊的渲染或伪影。最近的一个趋势是将新视图合成重新视为一个生成任务，旨在利用有限的观测值外推场景的外观和形状。为了使 NeRF 具备生成能力，这一系列工作将 NeRF 场景表示整合到生成模型中，例如生成对抗网络（GAN）和扩散模型。使用 GAN 框架，早期方法构建了基于场景组件 [107] 或图像特征 [13, 47] 的条件化 NeRF 模型。尽管令人印象深刻，但这些方法可能会产生不一致的渲染结果，且缺乏细粒度细节。随着扩散模型在 2D 图像生成领域的巨大成功，其他工作设法利用扩散先验来预测单视图/稀疏视图 NeRF 重建中未见的细节。它们通过用扩散模型生成特征编码 [18, 151]、从视图条件化的扩散模型中蒸馏出 3D 场景 [95, 227]，或采用 NeRF 作为扩散解码器 [205] 来实现这一点。尽管结果令人信服，但这些方法仍然面临着与扩散模型相关的共同限制，包括昂贵的优化时间、有限的渲染分辨率以及无法处理无界场景。

3.3 不准确的相机位姿
NeRF 的训练需要准确的相机位姿以精确学习 3D 场景。最近的工作探讨了如何在训练过程中估计或校正位姿信息。iNeRF [213] 是首个通过优化位姿参数以最小化方程 (4) 中的摄影测量损失，从训练好的 NeRF 进行位姿估计的方法。这种方法可用于预测额外图像的位姿，以扩展 NeRF 的训练集。NeRF–– [191] 仅需一组未定位的图像，并允许在训练 NeRF 时计算相机参数。所提出的优化对高达 20% 的平移噪声和 20° 的旋转噪声具有鲁棒性，将其使用限制在前视场景中。SiNeRF [199] 通过用 SIREN [154] 替换 NeRF 的激活函数，并提出基于 SIFT 检测器的混合区域采样用于射线选择（而非随机采样），改进了 NeRF–– [191]。

其他方法引入几何约束以更有效学习相机参数。BARF [88] 通过将 2D 图像对齐问题扩展到 3D，通过平面配准最小化对应图像对之间的光度损失。为了使该方法对较差的初始化具有鲁棒性，采用了一种由粗到细的方法，在优化过程中逐渐增加位置编码中的高频分量。GARF [29] 解决了方程 (2) 中用于位置编码的正态和余弦函数的频谱偏差（偏向低频函数）问题。为此，它使用高斯激活函数以更好地表示编码信号的一阶导数。L2G-NeRF [23] 紧随 BARF [88]，通过一种新的局部到全局方法。通过结合灵活的像素级对齐和帧级约束的参数化对齐，该方法提供了改进的相机位姿计算。

几何约束也为相机内参的估计提供了支持，解决了相机畸变和大位移带来的挑战。SCNeRF [63] 能够恢复相机畸变参数。它引入了一种称为投影射线距离的几何损失。该重投影误差是针对两个视图之间的 3D 对应关系计算的。NoPe-NeRF [6] 专注于大相机位移。它表明，使用比例和偏移参数校正单目深度先验能带来更好的渲染效果。它利用单目深度网络获取深度图，从中提取点云用于点云损失和基于表面的光度损失。它报告了在 BARF 和 SCNeRF 之上的改进。最后，CamP [114] 采用了一种相机预处理方法来促进优化过程，与 SCNeRF 相比提高了收敛性。

之前的方法假设存在密集输入视图；随着视图减少，检索准确的相机外参变得更加具有挑战性。在此背景下，SPARF [172] 引入了一种深度一致性损失，从训练视图中生成深度图，以伪深度监督的方式条件化新渲染的几何形状。此外，它结合了从射线透射率估计的可见性掩码以处理遮挡。SC-NeuS [58] 专注于通过实现符号距离函数（SDF）方法来重建准确的几何形状，允许将 2D 特征高效映射到 3D 空间。随后，使用视图一致性投影损失来计算重投影误差并校正相机位姿。此外，它定义了一种视图一致的面片变形损失，使用单应矩阵和归一化互相关分数比较两个视图之间的面片。

3.4 复杂光效
NeRF 将期望颜色建模为位置和视图方向的函数，但往往难以捕捉复杂现实光照下物体的外观。反射、遮挡和阴影等视觉效果也取决于表面特性，如材料属性、光滑度和环境光照。为了建模这些效果，一些工作采用了基于物理的方法，使用渲染方程 [66]。渲染方程描述了从点 p 沿方向 wo 观测到的总辐射度 Lo(p,wo)，即表面发射辐射度 Le(p,wo) 与反射辐射度 Lr(p,wo) 之和。数学上，Lo(p,wo)=Le(p,wo)+Lr(p,wo)=Le(p,wo)+∫ΩB(p,wi,wo)Li(p,wi)(n?wi)dwi, (8)，其中反射辐射度是对所有入射方向 Ω 的积分，入射辐射度 Li(p,wi) 由双向反射分布函数（BRDF）函数 B 调制，以及入射方向 wi 与表面法线 n 之间夹角的余弦值。进一步的建模也可以考虑在子表面层级发生的光散射。然而，这在大多数计算机视觉应用中通常被忽略。

IDR [212] 和 PhySG [221] 是首批探索在 NeRF 上下文中分离体积表示和外观的方法。IDR 专注于建模场景 BRDF 的隐式方法，而 PhySG 显式估计光照分量，如反照率、高光 BRDF 和环境贴图。两种方法都联合学习表面表示，并利用良好条件的法线进行外观估计。然而，两者都假设了几种近似，并忽略了互反射和遮挡等现象。NeRV [157] 通过专用 MLP 近似环境光照可见性，来估计阴影图、表面粗糙度和互反射。然而，它假设光照已知，这限制了其适用性。另一方面，NeRD [7] 使用球面高斯建模光照，并隐式地将阴影与漫反射反照率一起编码。Ref-NeRF [176] 引入了一种反射方向参数化方法来简化外观建模。它将颜色估计为漫反射分量和高光分量的线性组合。漫反射分量由 NeRF 模型估计，而高光分量源于一个方向 MLP，该 MLP 编码表面粗糙度、表面法线和视图方向。Ref-NeuS [44] 建立在 Ref-NeRF 之上，通过估计一个 SDF。此外，它使用 SDF 访问可见性参数以细化反射分数，这减少了反射区域对总颜色损失的贡献。S3-NeRF [209] 利用色调和阴影来分离几何形状和外观。

该领域的一个重要应用是场景重光照，可以从不同的光照条件下生成新渲染，用于交互式图形或动画目的。例如，NeRF-OSR [141] 专注于室外场景重光照，紧随 NeRD [7] 之后；NeRFactor [224] 假设单一未知光照建模自由视点重光照；而 PS-NeRF [208] 则建模多个未知方向光图像。

其他应用探索现实世界现象。NeRF-W [101] 解决了户外、非结构化图像集合的新视图渲染问题，这些图像具有不同的外观和光照。NeRFReN [50] 表明 NeRF 密度有两个峰值——一个对应于介质深度，另一个对应于场景反射或玻璃后面的内容——并利用这一观察来建模镜面反射。类似地，[112, 169, 228] 等工作专注于通过玻璃渲染场景，消除不需要的反射和折射效果。朦胧或水下场景来自散射效果带来挑战；相关方法详见第 3.1 节和附录 A.1.2。此外，ORCa [168] 从未知表面上的高光物体建模环境外观。

3.5 NeRF-in-the-Wild
NeRF 最初是在场景保持几何、材料和光度静态的假设下制定的，使得从相同相机位姿进行的两个观测产生相同的测量值。现实环境很少满足这些条件：光照随时间变化，成像设备在分辨率和光谱响应上有所不同，物体移动，遮挡出现和消失，阴影移动。这些因素破坏了 NeRF 公式化的基线假设，导致渲染伪影，并限制了其在受控实验室条件之外的适用性。

将 NeRF 扩展到非受限设置的研究领域通常被称为"NeRF-in-the-Wild"。在该领域内，几种方法解决了现实世界变化的不同方面。Photo-tourism [1] 举例说明了从不结构化互联网照片集合重建地标的挑战，即使在同一天从同一视点捕获的图像在光照、阴影和移动物体方面也可能存在显著差异。为了解决这些问题，NeRF-W [101] 引入了逐图像外观嵌入以建模光照和相机相关变化，同时引入瞬态嵌入以捕捉和抑制动态元素，如移动物体和临时遮挡。这种分解提高了渲染一致性，并减轻了鬼影和颜色偏移等伪影。

这些动态元素，通常称为干扰项，在后续工作中得到了进一步探索。RobustNeRF [143] 将它们视为优化过程中的异常值，使用鲁棒损失函数来抑制它们的影响。NeRF On-the-Go [136] 预测逐像素不确定性，并假设干扰项对应于高不确定性区域，这些区域在训练过程中被逐步过滤掉。IE-NeRF [188] 采取了一种补充方法，将 NeRF 与生成瞬态掩码的图像修复模块耦合，以显式移除遮挡，从而细化静态场景重建。这些策略共同通过强调稳定的场景内容改进了新视图合成。

除了对干扰项的鲁棒性之外，一些“野外”工作推动 NeRF 模型迈向新的能力。Ha-NeRF [22] 从单张图像幻觉出外观，以在未见光照条件下合成新视图，消除了 NeRF-W 的逐图像优化需求。野外神经 3D 重建 [161] 将 NeRF 扩展到神经表面重建，实现了在大型照片集合中抵抗干扰项的几何恢复。作为补充，NeRS [219] 引入了一种基于表面的神经表示，从稀疏的现实世界多视图数据中产生封闭的、感知反射率的表面，将 NeRF 的效用扩展到具有材料分解和光照分解的表面重建。这些方法共同强调了野外 NeRF 从渲染稳定性到外观建模和 3D 重建等更广泛应用领域的演变。

从地标扩展到整个城市环境，例如摄影旅游，需要处理在不一致条件下捕获的大规模、异构图像集合以及频繁的遮挡。例如，城市辐射场 [135] 整合多模态数据进行城市规模重建；相关的大规模方法详见附录 A.1.3。

3.6 复杂场景配置
原始 NeRF 公式化假设重建的场景是静态的、以物体为中心的或前视的，并且在空间上是有限的。然而，现实场景可能违反这些要求中的一些。本小节探讨了这些假设的三种典型放宽：动态场景、室内场景和无界场景。

3.6.1 动态场景。
使用 NeRF 建模动态场景是一项复杂的任务，涉及设计一个在 3D 空间和时间的四维（4D）空间上的神经表示。一个简单的想法是用一个新的维度来扩展输入以包含时间分量。然而，这往往无法精确建模动态场景，并且训练成本可能非常高。已经开发了几种方法来高效地参数化随时间变化的神经渲染。

第一组方法学习场景的规范表示以及每个时间步长的形变场。使用时间索引的形变，可以计算场景的新坐标，并直接代入体积渲染方程以学习规范 NeRF 表示 [119, 170]。Nerfies [115] 在 SE(3) 上参数化形变场。为了强制鲁棒优化，引入了非刚性变换和静态背景中点位移的惩罚。形变是使用由粗到细的正则化方案估计的。

Park 等人 [116] 提出将 NeRF 的规范空间表达为更高维度，以允许如动态拓扑变化等非规则变形。Wang 等人 [178] 引入光流约束，以更好地对快速运动视频进行时间正则化。另一种方法是学习外观和场景流的耦合表示，捕捉相邻帧之间的局部变形。在 NSFF [86] 中，训练在正向和反向场景流之间施加了时间光度一致性和循环一致性。NSFF 进一步考虑了几何一致性和单视图深度以增加正则化。为了减少对大量监督的需求并实现从单摄像头的连续时间训练，Du 等人 [33] 使用神经常微分方程 [19] 对流场进行重参数化。最近，这种公式化方法在使用体积图像渲染框架处理复杂摄像机和场景运动时展示了 SOTA 结果。组合方法分别建模固定和移动的场景内容。例如，Ost 等人 [111] 学习场景图表示，以编码静态场景中独立对象的变换和辐射度。然而，这些框架面临复杂对象变形和光照变化的挑战。最近的方法进一步使用自监督方案将动态场景分解为静态和动态数据 [196]，或者分解为静态、变形和新出现的对象 [156]。与其显式学习变形信息，不如使用紧凑的时间条件特征向量参数化 4D 动态场景表示。N3DV [84] 引入了一种以一组时间潜在代码为条件的 NeRF 模型，允许时间插值。然而，这种方法训练时间长，且难以处理长视频序列。最近的方法通过将动态场景分解为不同组件，并将它们存储在基于平面 [37, 156] 或基于体素的结构 [156, 180] 中，从而构建高效且稀疏的 4D 场景表示。例如，K-Planes [37] 将动态场景分解为六个稀疏特征平面：三个用于空间表示，三个用于空间时间变化。

3.6.2 室内场景。

与传统 NeRF 流水线不同，后者使用同心视角重建感兴趣的对象，室内场景需要外视捕获，这一过程在许多 NeRF 重建代码库中通常被称为“由内向外”。这些视角的典型特征是视角之间重叠有限，且自遮挡现象普遍。此外，它们通常包含大量低纹理区域，如墙壁和地板，这些都是传统多视图几何重建中众所周知的障碍。如果没有充足的附加监督输入，新视角合成将成为一项具有挑战性的外推任务，需要对缺失区域进行修复。为了应对这些挑战，可以利用基于学习的先验为 NeRF 的优化提供附加监督。一些方法 [138, 192] 利用深度先验来引导实际几何表面周围的采样。Roessle 等人 [138] 还使用深度进行附加监督，以处理优化过程中的形状 - 辐射度模糊性。来自 CLIP [127] 等预训练模型的语义信息也可以提供附加指导，进一步约束 NeRF 的优化。它可以作为采样指导 [124]，或作为强制跨视角语义一致性的正则化器 [74]。值得注意的是，上述方法是针对透视视角设计的。室内图像的另一种常见类型是 360 度全景图。多球面图像 (MSI) [2] 的场景表示已广泛用于 360 度视角合成。最近的方法 [24, 74] 采用了类似的设计来处理 360 度图像。这些方法将每个 3D 位置从笛卡尔空间投影到球面空间，确保体积渲染沿实际光线轨迹进行。

3.6.3 无界场景。

在无界场景中，如室外 360 度场景和街景，对象可以从任意方向和距离捕获。这些场景通常是无边界的，在尝试表示无界可学习空间时，在采样复杂度和模型能力方面提出了重大挑战。原始 NeRF 通过应用透视投影，将远处的样本沿 z 轴收缩到归一化设备坐标 (NDC) 空间，从而在前视设置中解决了这些挑战，如图 3（左）所示。然而，这种收缩方法不适用于光线指向所有方向的无界 360 度场景。为了参数化具有挑战性的无界 360 场景，早期的一份技术报告 [222] 将场景分解为两个体积：代表前景的内球体积和代表背景的基于 MSI 的外体积。Plenoxels [38] 也采用了这种设计。另一条路线的方法 [4, 134, 203] 旨在通过新的空间收缩函数参数化场景。例如，Mip-NeRF 360 [4] 将远处空间中的采样高斯收缩到半径为 2 的球体中，并相应地按照与视差成比例的方式变换光线区间，如图 3（中）所示。在实际中，摄像机可以遵循任意轨迹。为了在自由轨迹下实现快速场景渲染，F2-NeRF [185] 将场景细分为区域，并对每个区域引入透视变形，如图 3（右）所示。这种变形确保变形空间中样本之间的距离与可见摄像机中观察到的距离一致。

图 3。不同的场景设置应用不同的收缩函数：（左）前视场景 [105]，（中）360 度场景 [4]，以及（右）自由摄像机轨迹场景 [185]。上行展示了不同设置下的摄像机轨迹，下行演示了对应的收缩方法。图片改编自 Mip-NeRF 360 [4] 和 F2-NeRF [185]。

无界场景重建的另一个挑战是场景的规模。直接在大规模场景数据上训练 NeRF 模型是不切实际的，因为计算和内存开销过大。附录 A.1 进一步探讨了将 NeRF 应用于大规模场景重建时的挑战和先进研究。

3.7 不确定性量化

量化 NeRF 模型中的不确定性对于 NeRF 在复杂和模糊的真实世界场景（如训练数据有限的场景）中的实际应用至关重要。深度学习中的不确定性通常分为两类 [68]——偶然不确定性和认知不确定性。对于 NeRF，偶然不确定性是指训练数据中固有的噪声（例如，相机噪声）或随机性（例如，瞬态对象或光照变化）。另一方面，认知不确定性考虑由于模型设定错误或训练数据不足（例如，可用的训练视角有限）而导致整个系统内的不确定性。NeRF-W [101] 通过重新参数化 NeRF 模型以增加不确定性输出，为 NeRF 模型的不确定性量化铺平了道路。它量化了偶然不确定性并减轻了瞬态场景元素的影响。类似的方法被用于 [130] 量化下一最佳视角规划问题中的不确定性。遵循贝叶斯方法，S-NeRF [149] 及其后续 CF-NeRF [148] 基于变分推断，通过对多个潜在辐射场进行采样和估计近似后验分布并优化网络来评估认知不确定性。尽管如此，上述不确定性量化方法需要重新构建 NeRF 架构并修改训练流水线。将这些重新构建引入像 Instant NGP 这样包含复杂采样机制和特征编码设计的更现代模型中是困难的。相反，Bayes' Rays [45] 不需要修改 NeRF 训练，并通过基于模型扰动的拉普拉斯近似来估计后验分布。尽管兼容任何 NeRF 架构，但它只能评估认知不确定性。相比之下，密度感知 NeRF 集成 [163] 将 NeRF 的偶然和认知不确定性量化为多次观测中预测颜色和终止概率方差的总和。它不需要修改 NeRF 训练。然而，基于集成的方法需要一个 NeRF 模型进行多次大量计算，考虑到广泛的实际应用，这在效率上存在局限性。

3.8 对未见场景的泛化能力

原始 NeRF 将 3D 场景编码到基于坐标的多层感知机的权重中，需要逐场景优化。因此，每当遇到新场景和几何体时，它仍然依赖昂贵的从头开始优化。泛化性 NeRF 确实应该能够在极少重新训练或不重新训练的情况下，对未见场景进行新视角合成。为此， pioneering 研究与第 3.2 节讨论的条件 NeRF 中的部分研究重叠。基于码本的条件方法，例如 LOLNeRF [132] 与场景潜在代码共享类别级别的 3D 先验知识，以便在推理期间微调场景潜在代码后，它可以预测分布外场景。采用图像编码器预测 GAN-based NeRF 的潜在代码和视角方向，Pix2NeRF [9] 可以在不需要推理时微调的情况下泛化到未见场景。然而，这些方法依赖于同一类别内规定的实例。像 PixelNeRF [216]、MVSNeRF [17] 和 GRF [171] 这样的基于图像特征的方法使用 2D 卷积神经网络 (CNN) 提取通用图像特征。它们展示了跨类别泛化到未见场景的潜力，同时产生带有伪影的模糊渲染。最近，一种新趋势是利用大型视觉模型 (LVMs) 的最新进展来增强跨场景泛化性能。一些方法使用视觉变压器获取通用 3D 先验。例如，VisionNeRF [90] 使用 2D CNN 获取局部图像信息，使用预训练的视觉变压器 [32] 获取全局信息。LRM [53] 采用预训练的视觉模型提取图像特征，然后通过交叉注意力机制使用变压器解码器将这些特征投影到三平面 [15] 上。此外，GNT [175] 使用两个基于变压器的模块重构了整个架构——用于聚合多视图图像特征的视角变压器，以及用于颜色预测的光线变压器，而不是体积渲染。这些方法在单视图重建和跨场景泛化中展现了令人印象深刻的性能。然而，当仅依赖语义信息来恢复未观测区域的细粒度细节时，它们仍然面临挑战。

4 重建任务

NeRF 的典型用例是 3D 表面重建（第 4.1 节）。关于大规模场景、医学相关模态和数字人的更多用例见附录 A。

4.1 3D 表面重建

NeRFs 可以生成新视角，但使用如移动立方体等方法从基于密度的场景表示中提取高质量表面会导致糟糕的结果，这是因为对表面的约束不足 [184]。为了克服这个问题，几种方法将表面表示嵌入到 NeRFs 公式中，使用隐式或显式表示。

4.1.1 隐式表示。

隐式表面表示，如占用场和距离场，可以建模许多不同的几何形状。尽管 UNISURF [109] 通过占用场获得了准确的表面，但符号距离场 (SDF) 已成为 NeRF 框架中表面表示的首选替代方案。SDF 是一种隐式表示，通过符号距离函数描述几何形状。这种函数可以由 NeRF 学习，并记为 $s_\theta: \mathbb{R}^3 \rightarrow \mathbb{R}$。使用这种表示，可以通过计算 $s_\theta$ 的 0 水平集轻松提取场景几何。利用这种表示，NeuS [184] 和 VolSDF [211] 等方法提出了不同的公式从 SDF 推导密度 $\sigma$。NeuS [184] 定义密度函数在 SDF $s_\theta$ 的零交叉点处最大，为：$\sigma(p) = \max(-\frac{H'_\tau(s_\theta(p))}{H_\tau(s_\theta(p))}, 0)$，(9) 其中 $H_\tau(u) = \frac{1}{1+e^{-\tau u}}$，(10) 其中 $\tau$ 是控制 logistic sigmoid 函数 $H$ 锐度的超参数。类似地，VolSDF [211] 定义为，$\sigma(p) = \alpha \Psi_\beta(-s_\theta(p))$，其中 $\Psi_\beta(u) = \begin{cases} \frac{1}{2}\exp(\frac{u}{\beta}) & \text{if } u \le 0 \\ 1 - \frac{1}{2}\exp(-\frac{u}{\beta}) & \text{if } u > 0 \end{cases}$，(11) 其中 $\alpha$ 和 $\beta$ 是可学习参数。其他方法探索 SDF 的变体以定制表面表示。3PSDF [20] 引入 NULL 符号通过从优化流水线中排除表面区域来表示非封闭表面。NeuralRecon [162] 利用截断符号距离函数 (TSDF) 表示局部表面，而不是一次性优化整个几何。这些参数化在保持传统 NeRFs 优势的同时学习平滑表面。由于它们的水密特性，SDF 公式难以表示如带有孔洞的封闭表面或嵌套表面等复杂几何。无符号距离函数 (UDFs) 可以通过消除符号约定来表示此类表面 [28]。然而，UDFs 存在两个局限性：它们无法处理遮挡，且其非负行为导致在 0 水平集上由于尖点（不可微）引起不稳定的梯度计算 [98]。为了克服这些挑战，NeuralUDF [98] 引入了可微可见性指示函数，用软概率分布近似表面，而不是依赖硬阈值。

4.1.2 显式表示。

显式表示使用参数几何（例如，网格或点云）描述表面。NVDIFFREC [51] 采用由粗到细的方法来估计可变形四面体网格上的 SDF。通过对场景外观进行可微渲染，他们扩展了之前的工作 [150] 以拟合 NeRF 方法的 2D 监督。VMesh [49] 使用混合体积 - 网格表示，合并了几何和体积基元。经过离散化后，他们将纹理、几何和体积信息存储在高效的显式资源中。

Wang 等人 [190] 利用空间变化的核大小 τ（在公式 (9) 中）来提取不同频率细节的外壳（例如，平滑表面或云等体积内容）。通过对显式外壳进行膨胀和腐蚀操作，他们在保持足够样本以捕捉体积内容高级细节的同时，减少了平滑表面的样本数量。虽然这些显式表面表示通常不如隐式表面灵活，但它们提供了更快的训练和渲染速度，并能够直接实现几何约束。

4.1.3 表面损失。
在训练期间访问表面表示允许将表面正则化项添加到神经渲染损失中。关于隐式方法，Gropp 等人 [46] 表明，通过采用鼓励表示具有单位范数梯度的 Eikonal 项，可以获得平滑且准确的表示。为了进一步鼓励平滑性，Neuralangelo [85] 对其 SDF 表示的平均曲率进行正则化。

另一方面，显式方法通常为其表示定制正则化项。NVDIFFREC [51] 对四面体网格边缘处的 SDF 符号变化进行惩罚，从而减少随机面和漂浮物。VMesh [49] 通过将其轮廓和深度图与从初始 SDF 阶段渲染的不透明度和深度值进行比较来优化网格。Wang 等人 [190] 通过正则化其空间变化的核大小来鼓励外壳表示的平滑性。

4.1.4 附加表面监督。
为了扩展对表面学习的控制，各种方法利用 SfM 步骤计算的信息，或依赖现成的方法作为附加先验。Geo-Neus [39] 和 RegSDF [220] 直接使用从 SfM 算法（例如 COLMAP [145]）生成的 3D 稀疏点云来监督其 SDF。基于这些点位于表面的假设，他们强制 SDF 值为零。Darmon 等人 [31] 使用附加的多视图约束和结构相似性以更好地恢复高频细节。当只有少数视图可用时，表面方法会显著恶化。为了克服这个问题，s-VolSDF [194] 利用多视图立体（MVS）先验来指导从稀疏视图构建的隐式表面。反过来，重建的深度信息细化 MVS 深度采样，提供更准确的估计。MonoSDF [218] 则使用由预训练网络预测的单目几何先验来直接优化深度和法线估计。虽然这些方法产生了更准确和平滑的表面，但它们以额外的监督数据或预训练模型为代价。

5 重建之外的计算机视觉任务
NeRF 已成为一种基础的 3D 场景表示，并推动了 3D 重建之外应用领域的近期激增。本节强调 NeRF 在两个常见应用中的重要性：机器人相关任务（第 5.1 节）和传统计算机视觉任务（第 5.2 节）。我们在补充材料 C 中进一步简要回顾了 3D 生成和编辑。

5.1 机器人应用
本小节讨论 NeRF 在同时定位与地图构建（SLAM）方面的能力——这是机器人感知中一个基础且长期存在的组成部分。它在映射未知环境的同时跟踪机器人的位置，这继承了与相机姿态估计、3D 重建以及对动态或瞬态场景元素鲁棒性相关的挑战。传统的稠密 SLAM 方法通常利用从 RGB 图像、深度图或 LiDAR 扫描中提取的特征，并且通常依赖于基于体素的场景表示（例如，占用网格或 TSDF）。虽然这些表示对于稠密映射很有效，但它们通常在重建精度和内存消耗之间存在权衡。此外，许多传统方法依赖于精心设计的模块和手工优化的流水线，这限制了它们的灵活性以及从端到端学习框架中受益的能力。

这些局限性促使将 INR（隐式神经表示），特别是 NeRF，集成到 SLAM 流水线中，其中 iMAP [158] 代表了最早的尝试之一。NeRF 通过提供从 2D 图像生成的连续、可微分的场景表示来增强 SLAM。这种隐式表示实现了具有有界内存要求的紧凑场景编码，而其可微分的体积渲染公式支持增量测试时优化，提高了重建质量和跟踪精度。NICE-SLAM [230] 通过使用具有多级局部信息和预训练几何先验的分层、基于网格的神经编码，解决了大规模 SLAM 中的可扩展性和细节保留问题，允许进行高效的局部更新。NeRF-SLAM [140] 改善了从单目图像进行的 3D 映射和场景重建，通过准确姿态和深度估计提高了几何和光度精度。Dense RGB SLAM [80] 采用分层特征体积来提高大场景中的准确性，并纳入多尺度基于块的光流损失，通过约束相机运动和场景地图来构建鲁壮的稠密视觉 SLAM 系统。随后的研究探索了点基（Point-SLAM [144]）、网格基（ESLAM [64]）和混合（Co-SLAM [182]）表示，以缓解表示效率与重建和跟踪性能之间的权衡。例如，Point-SLAM 利用基于点的表示，这使得能够根据局部信息密度自适应地分配点。Loopy-SLAM [93] 进一步将闭环检测纳入神经 SLAM 以缓解跟踪过程中的误差积累，通过姿态图优化和在线闭环检测确保全局一致性。此外，iSDF [110] 启用了对 SDF 的增量更新，允许 SLAM 系统更快地适应环境变化以实现高分辨率映射。尽管基于 NeRF 的 SLAM 取得了这些进展，但仍存在几个挑战。这些包括平衡内存消耗、计算成本以及重建和跟踪性能，以及处理遗忘问题和开发有效的关键帧选择策略。

除了 SLAM 任务外，NeRF 提供了一种高保真的 3D 场景表示，提供了更丰富的几何信息，并支持超越单个 2D 图像的 3D 场景理解，从而提高了轨迹规划和复杂控制任务（例如，物体抓取）中的性能。有关路径规划和机器人控制的相关内容包括在补充材料 B 中。

5.2 识别任务
视觉识别是计算机视觉中的一个基本问题，涉及识别视觉数据中具有语义意义的实体。这涵盖了一系列广泛的任务，包括但不限于语义分割、对象检测和对象跟踪。虽然当前方法在图像和视频帧等 2D 数据上有效 [27]，但它们严重依赖于在大型标注 2D 数据集上微调的预训练架构。由于 3D 标注稀缺（因为 3D 标注劳动密集），将这些方法扩展到 3D 数据（例如，点云和三角网格）具有挑战性。仅使用 2D 标注的方法难以将 2D 知识整合到准确的 3D 表示中，往往导致错误。

在这种情况下，NeRF 可以将多个 2D 观察整合到一个统一的、几何和语义一致的 3D 模型中，减少对大量 3D 标注的需求。SemanticNeRF [225] 通过引入一个 NeRF 模型执行 3D 语义分割，该模型从标注的 2D 图像中联合学习场景外观、语义和几何。这项工作扩展了原始的 NeRF 模型，包含一个视图不变函数，将世界坐标映射到语义标签，从而能够通过常规 NeRF 的渲染方程渲染精确的 2D 分割。即使使用稀疏、嘈杂和低分辨率的 2D 标注，它也能执行 2D 到 3D 的标签传播。类似地，像 [40, 153] 这样的工作通过使用粗略的 3D 标注（例如 3D 边界框）并设计标签传播方案来处理歧义和噪声，实现了 3D 全景分割。

针对多模态开放集识别这一具有挑战性的任务，LERF [70] 将 CLIP 嵌入 [127] 集成到 NeRF 中，以实现对 3D 场景中物体、视觉属性和几何细节的自然语言搜索和定位。SA3D [12] 将 2D 视觉基础模型（如 Segment Anything (SAM) [72]）提升到 3D，通过简单的用户提示提供交互式 3D 分割。NeRFs 还可以利用场景物理和渲染效果作为自监督信号，在不依赖 2D 或 3D 标注的情况下学习视觉识别模型。例如，D2-NeRF [196] 通过解耦静态和动态场景元素来分割移动物体。

虽然前面的方法是特定于场景的且依赖于重建质量，但其他方法旨在构建一个通用模型，以在多个 NeRF 编码的场景中执行视觉识别。训练好的 NeRF 可以作为通用的视觉数据格式，能够从各种视角生成 2D 图像或创建模拟视频的序列。在此基础上，一些方法在 NeRF 的隐式场景表示内执行视觉识别。例如，NeRF-RPN [54] 通过在采样的 NeRF 原语（例如密度和颜色）上训练标准对象检测器来检测 NeRF 场景中的 3D 物体。NeSF [177] 通过训练神经网络将采样的 NeRF 表示映射到通用特征，然后由深度学习分割模型进行分割，实现了跨场景的语义分割。

将 NeRFs 应用于视觉识别任务的一个关键方面在于场景几何特征和语义特征之间的相互作用。通常，人们旨在利用几何特征来语义区分散件中的物体。然而，研究也表明，将语义推理集成到 NeRF 模型中可以有助于更全面地理解场景几何和外观，从而提高模型在新视角合成方面的有效性。例如，DietNeRF [61] 和 SinNeRF [202] 利用语义推理来解决数据不足的问题，如视图多样性有限和相机姿态不准确，提高跨未见视角和环境的泛化能力。然而，这些方法通常无法预测未观察区域的细粒度细节。

6 工具和数据集
本节汇编了一份工具列表，以促进 NeRF 的开发和分析。我们在补充材料 D 中提供了常用数据集和用于基准测试的评估协议。

6.1 工具
本小节介绍与数据生成、数据预处理、NeRF 训练和优化以及可视化/渲染相关的工具。

6.1.1 数据集生成。
合成数据集通常是在完全可控的变量下创建的，使它们成为开发有效 NeRF 算法的关键第一步。常用于为 NeRF 创建合成数据集的工具包括但不限于 Blender [36] 和 Unity [166]。Blender 是一款开源 3D 计算机图形软件，广泛用于合成数据集生成（例如 D-NeRF [119]），通过模拟各种环境和光照条件。BlenderNeRF [125] 与 Blender 集成，简化了为新颖视角合成任务生成高质量和多样化数据集的过程。Unity 是一个游戏引擎，也可以通过自定义脚本和场景创建合成数据。Unity NeRF.2 是专门为在 Unity 环境中生成 NeRF 数据集而开发的。

6.1.2 数据预处理。
大多数 NeRF 方法需要相机姿态作为先验，计算相机姿态是预处理多视图图像的重要步骤。有几个工具可用于此目的，包括 COLMAP [145]、pixSfM [92] 和 OpenDroneMap [43]。COLMAP 广泛用于 3D 重建和图像数据预处理，提供准确的相机姿态和点云。PixSfM 通过利用从深度学习中提取的 2D 图像特征进行直接对齐来细化 3D 点和相机姿态，从而提高了 COLMAP 的准确性。OpenDroneMap 适用于大规模数据集的预处理，允许快速 3D 重建，有可能包括图像 GPS 坐标、相机偏航、俯仰和滚动以加速 SfM。

6.1.3 训练和优化。
为了标准化 NeRF 模型的训练和优化，并促进用户与 NeRF 模型的友好交互，NeRFStudio [164] 提供了一个易于使用的 API 用于模块化 NeRF 开发。它简化了模型架构设计、训练和超参数调整，促进了 NeRF 模型的开发和优化。基于 NeRFStudio，SDFStudio [217] 专注于 3D 重建，并为神经隐式表面重建提供了一个统一和模块化的框架。专注于 NeRF 中的高效采样，NerfAcc [83] 提供了一个专为训练和推理设计的 PyTorch NeRF 加速工具箱。它是一个通用的即插即用工具，与大多数 NeRF 模型兼容。

7 讨论与开放挑战
本综述回顾了 NeRF 相关的关键进展，旨在提高 3D 场景表示的精度和效率，及其在现实世界问题中的适用性。我们涵盖了提高渲染质量和效率的策略，分析了现实世界挑战的解决方案，并探索了包括重建、3D 生成和编辑、识别以及机器人在内的应用。最后，我们汇编了一份 NeRF 相关研究中常用的数据集和有用工具列表。本节退后一步，探索未来推进 NeRF 的开放挑战。

当前的 NeRF 增强技术在高达 1K 分辨率的图像上取得了令人印象深刻的结果。然而，当处理 4K 等更高分辨率时，渲染时间相比 1K 图像增加了数量级，限制了广泛采用 [82]。廉价移动设备的兴起，能够获取高分辨率图像但计算资源有限，突显了以最小 GPU 要求优化 NeRF 以提高效率和紧凑性的需求。一种方法是纳入显式表示，如 3D Gaussian Splatting [69]，因为它们可以实现实时渲染。这可能涉及创建混合表示或将 NeRF 转码为替代的显式表示。

此外，诸如量化等数据压缩技术可能有助于提高模型的紧凑性 [52]。随着 NeRF 的性能不断提升，重新审视测试集 [200] 和评估指标 [123] 的选择至关重要。当前的评估严重依赖参考 2D 图像，这使得它们对测试相机分布、测试视角质量以及场景遮挡非常敏感。野外场景带来了多种挑战，包括不一致的图像质量、有限的观测、多样的动态（例如瞬时物体和复杂的光照/天气变化）以及大规模场景。开发能够高效且准确地建模此类场景，同时稳健处理干扰物的方法，仍然是一个活跃的研究领域 [143]。

最近的研究 [197, 226] 应用了最新的盲图像修复技术来提高基于退化输入训练的 NeRF 的质量，我们预期会出现更有效和高效的修复系统。几种少样本 NeRF 利用来自预训练深度模型（例如单目深度先验）的学习先验来指导有限视角下的训练；然而，确保度量准确性并在先验中保持多视图一致性仍然是一个开放挑战 [181]。此外，有限的视角使得基于 SfM 的相机姿态估计处于欠约束状态且容易不准确。两个有前景的方向包括：(i) 开发特征对应关系和相机参数的在线优化算法 [114, 172]，以及 (ii) 利用前馈 3D 重建方法，例如 DUSt3R [187] 和 MASt3R [79]。

准确且高效地建模真实的非刚性形变仍然是动态 NeRF 中长期存在且重要的挑战，其中混合表示可能有所帮助 [37]。野外动态场景不仅涉及局部形变（例如铰接/运动和拓扑变化），还涉及全局变化（例如光照/天气变化）。高效地捕捉这两个尺度仍然具有挑战性 [128]。物理感知方法被证明在建模复杂室外场景光照 [141] 和软体形变 [122] 方面有效。整合更丰富的物理模拟先验为构建基于物理的动态 NeRF 模型提供了一条有前景的路径。

尽管在大规模场景建模方面取得了显著进展，但内存可扩展性和计算效率的挑战仍未解决。在大规模环境中实现可流式传输的性能仍然是交互式 VR/AR [34] 的一个活跃研究方向，例如，在房地产应用中实现对多房间空间的探索。此外，提高 NeRF 的不不确定性量化和泛化能力对于实际的实际应用至关重要。不确定性量化的开放问题包括：(1) 什么是 NeRF 的良好量化不确定性？(2) 我们能否高效地量化认知不确定性和偶然不确定性？对于泛化能力，无论是否实现了未见场景的令人印象深刻的渲染，训练时间过长和未观测区域细节不足的挑战依然存在。

3D 视觉领域已见证了 NeRF 的广泛采用，改变了各种数据类型的 3D 表面重建，例如医学成像 [26]。现实世界的应用，如机器人技术，需要处理多样化的信号。最近的研究展示了使用多模态输入——如语义标签 [225]、事件流 [121]、多光谱数据 [81] 和音频 [48]——来指导并增强 3D 场景学习的潜力。尽管处于早期阶段，这一研究方向呈现了一个有前景但尚未充分探索的领域：如何高效利用来自多样化信号的先验进行 3D 场景学习。另一个令人兴奋的挑战在于从传统视觉数据之外的模态中学习，例如基于 LiDAR 传感器开发 NeRF 类框架 [165]。

除了重建任务外，NeRF 越来越多地影响传统的计算机视觉任务，如 3D 语义分割。学习 3D 场景天然支持自监督学习。令人兴奋的是，NeRF 如何能够无缝集成并改进各种大规模 3D 下游任务 [70]。此外，大模型的进展可能会进一步推动 NeRF 的端到端学习，可能绕过传统的相机姿态估计后接重建步骤 [183]。这可能导致使用像 Transformers 这样的大模型直接进行相机姿态估计和 3D 几何学习。

NeRF 也重塑了 3D 生成和编辑任务，尽管现有的基于 NeRF 的 3D 生成技术仅限于梦幻风格物体生成，往往缺乏细粒度的真实细节且需要较长的优化时间 [118]。开发高保真、实时、忠实且可控的 3D 生成技术将有益于 AR/VR 和创意产业。反过来，生成模型可用于改进重建。目前有一种趋势，即利用从大规模图像资源中学习到的生成先验来丰富未观测区域的细节并促进场景学习，尽管降低其计算开销仍然是一个持续的挑战 [95]。此外，考虑这些生成方法的伦理和版权影响至关重要。

致谢 我们感谢 Rongkai Ma 和 Ethan Goan 对我们的手稿提出的宝贵反馈。我们还要感谢 Ines Vati 提供了我们手稿中使用的几个图片的来源。