学习型场景建模时代传统概念的作用：Neural Radiance Fields (NeRFs) 与 3-D Gaussian Splatting (3DGS) 中经典原理作为归纳偏置为何仍然重要

《IEEE Computer Graphics and Applications》：The Role of Traditional Concepts in the Era of Learning-Based Scene Modeling With Neural Radiance Fields and Gaussian Splatting: Why Classical Concepts Still Matter

　　

Neural Radiance Fields (NeRFs) 以及更近期的 3-D Gaussian Splatting (3DGS) 已成为用于场景表示、重建和新视角合成（novel view synthesis）的强大基于学习的方法。尽管它们常被作为新范式提出，但其成功依赖于数十年来塑造该领域的概念，包括采样与重建理论、基于核的渲染与 splatting、几何建模、稳健估计（robust estimation）、不确定性建模、物理驱动的外观建模以及语义约束。研究人员认为，基于学习的场景建模并未使这些经典思想过时，反而受益于将其作为归纳偏置（inductive bias）纳入。以近期基于 NeRF 和 Gaussian Splatting 的方法为例，研究人员表明许多进展源于在现代可微优化（differentiable optimization）框架内重新发现、重新表述或编码传统概念。这一观点表明，纳入几何、统计、语义和物理约束对于改善基于学习的场景表示的稳健性和泛化能力仍然至关重要，尤其是在挑战性环境中。

该文为观点性论文，主要围绕 Neural Radiance Fields (NeRFs) 与 3-D Gaussian Splatting (3DGS) 及其变体展开文献论证，并未报告实验研究、试剂、培养、质粒构建或样本队列来源。背景上，基于学习的场景表示、重建与新视角合成快速发展，可从已知相机参数图像中捕捉场景外观，并以较高真实感合成新视角。然而，研究人员指出，这类方法并未消除传统重建面对的基本困难：稀疏视角、噪声观测、可见性歧义、反射与透明材料、不规则采样、光度不一致/外点等仍是主要误差来源。这些问题源于图像形成本身，不能仅靠提高模型容量或优化复杂度消除；无约束辐射优化常不稳定，导致几何伪影、浮点、过平滑、密度不一致或辐射估计不一致。因此，研究人员主张，学习型场景建模并未取代采样与重建理论、基于核的渲染与 splatting、几何建模、稳健估计、不确定性建模、物理驱动外观建模和语义约束等经典思想，而是通过将其作为归纳偏置嵌入可微优化框架，以引导优化趋向物理和几何上合理的解。其重要意义在于，经典方法与学习型方法不是竞争范式，而是趋同于统一框架，从而在挑战性条件下提高稳健性、泛化能力和重建质量。

关键技术方法概括：该文不是实验研究，也无样本队列来源；其关键方法是以近期 NeRF 与 Gaussian Splatting 方法为案例进行文献综合与观点论证，围绕采样理论、基于核的渲染与 splatting、几何与多视图一致性、稳健估计与不确定性建模、物理先验、语义先验等归纳偏置分类讨论，并在可微优化框架下比较经典重建原理与现代学习型场景表示的融合方式。

研究结果与论述如下。背景（Background）指出，场景重建本质上是从不完整、噪声、视角相关观测中推断几何与外观的逆问题。NeRFs 用多层感知机（multilayer perceptron, MLP）参数化连续体积函数，预测体密度和视角相关颜色，并通过可微体积渲染沿相机射线累积辐射，以光度损失训练；位置编码用于缓解 MLP 的低频偏置。3DGS 用显式各向异性高斯基元替代隐式网络表示，每个高斯存储均值位置、协方差、不透明度和外观，通过可微光栅化投影、深度排序和混合，并以梯度拟合优化，训练中自适应致密化和剪枝。结论是，两者虽表示和渲染策略不同，但解决同一逆问题。

基于经典概念改进 NeRFs 与 Gaussian Splatting（Improving NeRFs and Gaussian Splatting with Classical Concepts）认为，NeRFs 和 Gaussian Splatting 的性能不应掩盖其与经典方法共享的病态逆问题本质；遮挡、有限采样、非朗伯反射、传感器噪声、校准误差和光照变化会造成歧义。现代方法的关键区别在于关注可微框架中的优化目标设计，而非重建算法设计。近期进展通过纳入采样与重建、基于核的渲染与 splatting、几何与多视图一致性、稳健估计与不确定性、物理先验和语义先验等约束，重新引入经典原理。

基于采样理论概念的改进（Improvements Based on Concepts From Sampling Theory）指出，图像是连续场景的离散观测，重建质量依赖采样密度、积分、滤波和抗锯齿。原始 NeRF 的离散射线采样对采样不足和混叠敏感，积分位置编码可表示空间区域而非单点；Gaussian Splatting 已利用各向异性高斯支撑连续重建，采样感知渲染引入 3-D 平滑滤波以约束高斯基元尺寸，并结合 2-D Mip 滤波模拟成像过程；分层和细节层次表示可根据场景复杂度和视距调整采样密度，如 Ren et al. 的工作。

基于核渲染与 Splatting 概念的改进（Improvements Based on Concepts From Kernel-Based Rendering and Splatting）强调，基于核的渲染是经典图形与现代高斯表示之间最强概念联系之一。早期点渲染如 Surface Splatting 和 QSplat 将点建模为重构核，Moving Least Squares (MLS)、Locally Optimal Projection (LOP) 与 Incomplete Gamma Kernels 将重建表述为不规则点集上的核优化。可微图形发展后，早期可微光栅化、Neural Point-Based Graphics 和 Point-NeRF 建立显式点基元的可微渲染；Mueller et al. 将经典表面 splatting 重表述为可微优化，引入随机 Poisson 采样和无偏梯度估计，连接经典点渲染与 3DGS 的可微高斯光栅化。原始 3DGS 将场景元素表示为可学习各向异性高斯核并联合优化位置、协方差、不透明度和辐射。后续方法探索局部平面表面元素、分层高斯组织、紧支撑或自适应核、协方差正则化、特征增强高斯、由 Contrastive Language-Image Pre-training (CLIP) 嵌入蒸馏语言特征获得的语义高斯，以及与显式反射和光照估计结合的多光谱场景表示。结论是核设计本身已成为中心研究主题，现代 Gaussian Splatting 趋向自适应、结构化和语义丰富。

几何作为归纳偏置（Geometry as Inductive Bias）说明，仅依赖光度监督在稀疏视角、弱纹理、反射材料或相机姿态不准时不稳定，且许多应用需要直接访问场景几何。方法包括以占据函数或有符号距离场（signed distance fields, SDF）进行重建以便表面定位和网格提取，多视图几何约束和单目深度先验。Gaussian Splatting 中，原始各向异性高斯表示被扩展为局部平面盘约束、结构化表面提取和几何感知正则；还引入表面法线一致性、方向损失、Eikonal 正则、曲率约束和切空间约束，如 Chen et al.、Fu et al.、Yu et al. 和 Wei et al. 等工作。跨观测几何一致性包括深度监督、稀疏视角正则和多视图一致性约束；Gaussian Splatting 中也利用深度、几何一致性或表面正则提升稳健性，如 Chen et al.、Xiong et al.、Zhu et al.、Lee et al. 和 Cheng et al. 等工作。更高层结构假设包括平面性、曼哈顿世界约束、对称性、语义组织和混合网格表示。结论是几何先验对学习型场景表示仍具持续价值。

稳健估计作为归纳偏置（Robust Estimation as Inductive Bias）指出，稀疏视角、瞬态物体、姿态不准、运动模糊、反射、曝光变化和大气效应会破坏光度优化，产生浮点、过平滑几何或不一致辐射。贝叶斯 NeRF 显式建模认知和偶然不确定性，以提升重建稳健性并支持主动视角选择；其他方法推断体积不确定性以识别不可靠几何和外观，或在优化中衰减干扰物和瞬态元素。置信度感知优化可降权不可靠观测；稳健损失替代标准重建损失，受经典稳健核启发，如 Huber 损失、Tukey’s biweight（bisquare）损失、Charbonnier 损失、Cauchy 损失、Geman–McClure 损失等，以抑制动态对象、遮挡或光度不一致。潜在外观嵌入可建模每图像光度不一致，将外点效应移至潜在空间。随机射线共识（Random Ray Consensus, RANRAC）受 RANSAC 外点过滤启发，取观测子集拟合场景表示，渲染未用输入视图并分类内点和外点，选择最大共识集估计最终模型，从而有效去除遮挡、错误姿态或瞬态物体造成的外点。

物理约束作为归纳偏置（Physical Constraints as Inductive Bias）说明，几何处理结构歧义，但许多重建误差来自对光度一致性假设的违背。视角相关反射、透明、折射、阴影和复杂光照挑战纯外观优化。方法包括将辐射与内在场景属性解耦，联合估计几何、材料属性和光照，实现逆渲染和物理意义场景分解；以反射辐射表示替代 NeRF 的视角相关出射辐射，以改善镜面反射真实感和准确性；Gaussian Splatting 变体以单独反射模型和光照特征替代球谐函数（spherical harmonics）的纠缠外观表示。在高反射环境中，学习型表示结合显式几何推理、结构相似性分析和基元拟合来检测反射区域并稳定优化。水下场景中，图像形成受波长相关光衰减、散射、浑浊和折射主导，近期 NeRF 和 Gaussian Splatting 水下方法引入水下光传输、颜色衰减和水光学模型。结论是，物理基础图像形成模型在受控成像环境之外仍不可或缺，学习型重建日益受益于将经典几何和物理约束集成到可微优化中。

语义约束作为归纳偏置（Semantic Constraints as Inductive Bias）指出，物理先验约束图像形成，语义先验约束场景解释。真实环境含重复结构、弱纹理区域和歧义观测，难以仅靠局部外观解决。语义丰富和语言对齐辐射场，以及 3DGS 中将高斯基元与学习特征嵌入结合，支持语义推理和开放词汇交互；特征嵌入也可联合建模多光谱外观和语义信息。结论是，场景表示趋向在统一可微优化框架中联合编码几何、外观、光谱性质、语义上下文等更多特征。

讨论与结论部分认为，整体来看，NeRF 与 Gaussian Splatting 变体的演化揭示了其与经典重建理论的趋同。这些现代基于学习的场景表示并未消除对几何、稳健估计、基于核的渲染、物理推理等的需求，而是在端到端可微优化框架中统一这些概念，从而在挑战性条件下实现更准确和稳定的重建。从该视角看，现代基于学习的方法如 NeRFs 与 Gaussian Splatting，最好被理解为经典重建的可微重构，而非对经典重建的背离。因此，基于学习的场景建模的未来不在于替代已确立的原理，而在于将其更深入地整合进日益表达力强且统一的基于学习的场景表示中。