基于强化学习的自适应采样方法：用于实时神经视图合成的网页应用

《Journal of Web Engineering》：Adaptive Sampling for Real-Time Neural View Synthesis on the Web with Reinforcement Learning

　　摘要：沉浸式3D网络应用的普及，从电子商务产品查看器到虚拟房地产浏览，迫切需要一种能够在浏览器中直接进行高质量、实时渲染的技术。神经辐射场（NeRF）提供了前所未有的真实感，但其巨大的计算需求限制了其在资源受限的网络平台上的应用，成为网络工程中的一个重大挑战。核心瓶颈在于NeRF依赖于密集点采样来进行体积渲染。本文介绍了一种新的框架，该框架通过一种由强化学习驱动的创新自适应采样技术直接解决这一挑战，我们将其命名为PPO-NeRF。它结合了Instant-NGP的快速训练能力（通过哈希编码实现）和通过近端策略优化（PPO）训练的智能体。该智能体能够学习如何自适应地预测每个相机光线路径上必要的最小采样点集，动态剔除计算上冗余的样本，以优化基于网络的实时渲染效果。实验结果表明，PPO-NeRF显著降低了网络部署的障碍：与原始NeRF相比，它将训练时间减少了约73.63%，使网页开发者能够更快地迭代内容。更重要的是，我们的自适应采样技术将渲染时间减少了约44.7%，VRAM使用量减少了约29.9%，同时保持了相当的视觉保真度。这些改进直接转化为更快的加载时间、更流畅的用户交互以及更广泛的设备兼容性。总之，PPO-NeRF为NeRF长期存在的性能瓶颈提供了实用的解决方案，为在现代网络上大规模部署高保真、交互式的3D体验开辟了一条可行路径。

第1节 引言
体积渲染[1]是直接可视化三维空间中分布数据的主要方法之一，在医学成像（CT、MRI）、计算机图形学和虚拟现实等各个领域被广泛采用为核心技术。通常，体积渲染技术会从虚拟相机发射光线，并沿着这些光线以固定间隔采样点。然后通过组合每个采样点沿光线方向获得的密度和颜色值来计算2D图像的最终像素颜色和透明度。这种方法的优势在于能够更准确、更详细地表示数据内部结构，因为采样点越密集。然而，这种质量提升伴随着巨大的计算成本。随着采样点数量的增加，计算负载和内存使用量呈指数级增长，这对实时渲染环境或资源有限的设备（如手机）来说是一个重大限制。因此，过去几十年来进行了大量研究以在保持渲染质量的同时提高计算效率[2]。
最近，随着深度学习技术的进步，神经辐射场（NeRF）[3]的出现为3D场景重建领域带来了革命性的变化。NeRF是一种深度神经网络，它从多个视角拍摄的2D图像中学习出场景的连续3D表示，通过体积渲染生成高度真实、高质量的 yeni g?rünüm（新视图）图像。然而，NeRF同样依赖于每条光线路径上数百个点的密集采样来获得高质量的结果，从而继承了传统体积渲染的基本缺点。具体来说，神经网络对这些大量样本点的操作形成了严重的瓶颈，可能导致模型训练需要数天的时间。即使训练完成，生成新图像的渲染过程也可能需要数十秒到几分钟。
为了解决NeRF学习速度慢的问题，研究提出了多分辨率哈希编码[4]、[5]技术。该技术将输入坐标映射到多个分辨率的哈希表，并使用插值后的特征向量作为神经网络的输入，从而显著减小了模型大小和计算负载，大大缩短了训练时间（至几分钟）。然而，由于这种方法主要关注提高训练速度，渲染过程仍然需要评估大量样本点以确保渲染质量，因此渲染速度仍然与样本数量成正比，显示出与原始NeRF类似的局限性。因此，本文提出了一种结合多分辨率哈希编码和强化学习技术的新型混合框架，旨在通过单一过程同时减少NeRF的训练和渲染时间。首先，我们采用多分辨率哈希编码架构来确保快速训练速度；然后，为了解决渲染速度慢的问题，引入了基于近端策略优化（PPO）强化学习算法的自适应点采样智能体[6]。该智能体以每个像素对应的相机光线作为输入，学习预测最终颜色组成所需的最小采样点集。换句话说，它动态识别并跳过场景中空旷区域或被遮挡区域的不必要的采样，将样本集中在物体表面等信息密集的区域。这有效地减少了渲染所需的整体计算负载，同时最小化了渲染质量的损失。通过这两种技术的协同作用，本研究旨在同时实现快速训练和快速渲染，从而提升NeRF的实际应用价值。
本文的其余部分组织如下：第2节介绍了旨在克服NeRF局限性的先前研究；第3节解释了我们使用多分辨率哈希编码和强化学习来提高训练和渲染速度的方法；第4节描述了实验过程和结果；第5节提出了结论。

第2节 相关工作
2.1 神经辐射场
神经辐射场（NeRF）是一种通过将3D场景表示为连续5D函数来合成新视图的技术。这种5D函数由多层感知器（MLP）建模，MLP是一种神经网络，它接受3D位置和2D视图方向作为输入，并输出该点的体积密度和RGB颜色值。单个图像的渲染过程如下：首先从相机原点发射一条光线穿过图像中的一个像素[7]；然后沿着这条光线路径采样多个点；接着将每个采样点的5D信息（位置和方向）输入MLP以获取其密度和颜色值；最后使用传统的体积渲染技术将这些值积分以确定像素的最终颜色。通过这种方法，NeRF成功实现了对复杂场景的精细细节的逼真捕捉，包括依赖于视图的效果（如反射）。然而，它的根本缺陷是训练和渲染过程极其耗时，因为需要为每条光线采样大量点并对每个点进行单独的MLP计算。

2.2 减少训练时间的研究趋势
NeRF缓慢的训练速度一直是其实际应用的主要限制，因此出现了许多旨在解决这一问题的后续研究。早期研究主要集中在减少MLP的计算负担或修改模型架构上。Plenoxels[8]提出了一种不使用神经网络的方法，直接优化表示场景的稀疏体素网格。在每个体素的顶点处存储一个密度值和一个球谐函数的系数[9]，该系数代表依赖于视图的颜色信息。可以通过包围该体素的八个角顶点处的值的三元组插值来高效计算特定位置的密度和颜色。因此，Plenoxels的训练速度比原始NeRF快数百倍。然而，这种显式网格结构的局限性在于，随着分辨率的提高，内存需求也会呈指数级增长。
Instant-NGP提出了一种称为多分辨率哈希编码的技术。该方法利用不同分辨率的多个虚拟网格，对于给定的输入坐标，在每个分辨率级别识别相应的体素，然后将这些体素的顶点通过哈希函数检索唯一的特征向量。来自所有级别的特征向量被串联起来并输入一个小MLP。虽然这种方法有可能发生哈希冲突，但多分辨率设计使得模型能够有效地学习场景的细节，同时最小化冲突的副作用。因此，Instant-NGP能够在非常短的时间内训练出高质量的NeRF模型。然而，这些方法仍然存在一个问题：随着采样点数量的增加，计算速度呈线性增长，而且它们仍然需要大量的内存。此外，在渲染过程中，渲染速度仍与样本数量成正比，显示出与原始NeRF类似的局限性。

2.3 提高渲染速度的研究趋势
除了减少训练时间外，实现快速渲染速度对于交互式网络应用（如实时渲染）至关重要。为此，人们积极研究如何使NeRF模型结构更轻量化或使采样过程更高效[10]。FastNeRF[11]通过缓存神经网络的渲染结果来大幅提高渲染速度。该方法将模型分为位置依赖部分和视图依赖部分，并将位置依赖的输出预先计算并存储在基于3D网格的缓存中。因此，在渲染过程中，可以快速查找缓存中的值，实现超过200帧每秒（FPS）的快速渲染。然而，这种方法并未改善训练时间，而且随着采样点数量的增加以获得高质量结果，缓存所占用的内存也会迅速增加。
TermiNeRF[12]为了解决渲染过程中不必要的计算问题，引入了一个单独的轻量级网络来预测和仅采样重要区域。该采样网络首先识别每个相机光线路径上预期密度较高的几个关键区域，然后使用类似于原始NeRF的结构中的颜色网络仅在这些预测的稀疏点计算密度和颜色。尽管这种方法将渲染速度提高了约10倍，但它引入了两个阶段的训练过程的不便：首先必须训练标准的NeRF，然后基于其输出再训练采样网络。因此，总训练时间可能与原始NeRF相似甚至更长。

2.4 基于强化学习的3D重建研究趋势
在3D重建领域，除了像NeRF这样的基于渲染的方法外，还进行了大量关于使用强化学习直接生成几何形状的研究。一项值得注意的研究“通过强化学习建模3D形状”[13]提出了一种新型框架，其中两个合作智能体逐步构建3D网格。这种方法的核心是两个不同智能体之间的分工：一个初级智能体（prim-agent）负责放置基础网格，另一个网格智能体（mesh-agent）通过仔细调整这些基本网格的顶点来细化几何形状。研究团队应用了多种RL算法（如DDQN[14]、DAgger[15]和DQfD[16]）对该框架进行了性能评估。然而，这种基于RL的方法存在几个明显的局限性：首先，训练过程效率低下，因为初级智能体和网格智能体不能在单一统一的流程中同时训练；其次，与NeRF可以渲染高保真度、真实感的结果不同，该模型难以表示高度复杂或透明的结构；最后，最终输出仅限于多边形网格，缺乏颜色或材质等信息属性，因此无法生成超出纯几何形状的属性。
因此，本文旨在提出一种新方法，整合了之前研究中关于提高学习和渲染速度的核心思想，旨在通过在单一过程中同时加速学习和渲染来克服现有方法的局限性。

第3节 提出的方案
在本文中，我们提出了一个端到端的学习框架，结合了基于强化学习的自适应采样和多分辨率哈希编码的快速学习能力，以克服现有NeRF在渲染质量和计算效率之间的权衡。提出的模型由三个核心组件组成。首先，基于近端策略优化（PPO）算法的策略网络动态探索并专注于沿每条光线渲染所需的关键区域进行采样。其次，基于多分辨率哈希编码的NeRF模型仅使用强化学习代理选择的少数采样点即可快速准确地推断场景的颜色和密度。最后，我们提出了一种端到端的学习过程，将这两个组件整合在一起，以同时优化采样效率和渲染精度。图1 基于哈希的训练优化。

3.1 使用多分辨率哈希编码的快速训练
强化学习代理选择的稀疏采样点被用作NeRF模型的输入，该模型表示场景的3D结构和外观。在这项研究中，我们采用了多分辨率哈希编码方法作为NeRF模型的核心架构，而不是使用具有大量参数的大型MLP。这种方法用较少的参数实现了高表达能力，并展示了显著的训练速度。该方法首先将代理提供的3D采样点映射到多个虚拟特征网格上，每个网格的分辨率不同，如图1所示。在每个分辨率级别，计算包含该点的体素的顶点的索引。这些索引不是直接用作内存地址，而是通过哈希函数转换为哈希表的键，以允许空间碰撞。哈希表存储唯一的、可学习的特征向量作为其值，转换后的键用于快速查找每个顶点的相应特征向量。随后，对每个分辨率级别检索到的特征向量应用三线性插值来计算当前点的最终特征向量，并将所有分辨率级别的特征向量连接起来。这个最终的编码特征向量富含局部场景信息，然后传递给一个非常小的MLP来预测该点的体积密度和视图依赖的颜色。最终的像素颜色是通过沿光线积分预测的密度和颜色值来计算的，遵循经典的体积渲染方程。

3.2 基于强化学习的自适应光线采样
传统的NeRF模型在光线上的所有点使用均匀采样，或者使用具有粗略和精细网络的分层采样方法。虽然这些方法很直观，但它们存在固有的效率低下问题，在空旷区域或对最终图像贡献较小的区域中消耗相同的计算成本。为了解决这个问题，我们的工作引入了一个强化学习代理，该代理能够理解每条光线的特点，并根据其重要性动态确定采样分布，如图2所示。为此，我们使用近端策略优化（PPO）训练了一个采样策略网络，这是一种著名的策略梯度算法。
代理学习最优策略的环境定义如下：状态包括所考虑的单条光线的信息：其起点和方向。为了克服神经网络从低维坐标输入中学习低频函数的固有偏差，该状态向量通过傅里叶特征映射进行位置编码。值得注意的是，为了考虑位置信息（编码精细的几何细节）和方向信息（表示视图依赖的颜色变化）的不同特性，应用了不同的编码级别（L）。这个过程放大了坐标值中的细微变化，将它们转换为高维特征向量。这使得网络能够利用关于光线位置和方向的更多信息。

代理的动作空间由确定沿光线采样的位置来定义。给定的光线在其可见范围内被划分为192个均匀间隔。对于每个间隔，代理做出一个二进制决策：是否对其进行采样或跳过它。通过这些连续的决策，代理可以执行自适应采样策略，仅将计算集中在可能存在表面或发生复杂半透明效果的重要间隔上，同时有效地绕过不必要的区域。
奖励函数用于指导策略网络的训练，精心设计以实现两个目标：渲染精度和采样效率。最终计算的奖励R由公式（1）给出：
\[ R_{v} = \alpha \cdot \round(-MSE(C_{gt},\hat{C}), \quad S_{ratio} = \frac{1}{N}\sum_{i=1}^{N}m_{i}, \quad R = R_{v}+(\beta\cdot R_{v}\cdot S_{ratio}) \tag{1} \]
提出的强化学习代理的最终奖励函数R旨在优化渲染输出的视觉保真度和计算成本之间的权衡。这种设计同时解决了两个主要目标：高渲染精度和高效采样。渲染精度奖励Rv基于真实值和代理渲染像素值之间的均方误差（MSE）。为了将损失最小化目标转化为奖励最大化问题，MSE被取负值，四舍五入到小数点后三位，然后乘以超参数α，以调节渲染保真度的重要性。同时，采样效率奖励通过利用的样本间隔的比例来量化，该比例由指示变量mi表示，mi表示从总共192个样本中选择第i个候选样本。

最终，这两个奖励组成部分通过超参数β统一为最终奖励函数R，β作为采样效率的权重因子。这种奖励架构促使代理学习一种策略，不仅最小化渲染误差，还能以最少的样本数量生成相当或更高质量的结果，从而避免感知下降。因此，代理被引导在渲染精度和计算开销之间找到最佳平衡。

表1 实验的超参数配置
在这个强化学习模型中，处理单条光线可以被视为一个完整的剧集。这与传统的强化学习（PPO）环境有根本的不同，在传统环境中，通过顺序交互填充滚动缓冲区直到剧集结束。相反，该结构类似于NeRF的监督学习范式，其中数千个独立的剧集（光线）被批量处理并并行执行。由于每个剧集在做出采样决策后立即获得相应的奖励，模型可以在单个训练步骤中快速积累PPO训练所需的大量经验数据。这种效率消除了在传统强化学习场景中常见的需要长时间收集经验的需求。

3.3 端到端学习框架
如图3所示，所提出方法的最显著特点是自适应采样的策略网络和用于场景表示的NeRF模型不是独立运行的；相反，它们在一个统一的框架内有机交互并共同优化。这种端到端学习方法最大化了两个模型之间的协同作用。整个训练过程如下进行：首先，当光线信息对应于图像像素时，它被输入到PPO代理中，代理根据当前的策略采样它认为最重要的点。这些选定的点立即传递给基于多分辨率哈希的模型，该模型预测每个点的密度和颜色，最终像素颜色通过体积渲染合成。一旦计算出渲染颜色和真实颜色之间的均方误差（MSE），这个损失值通过两个路径传播。第一个路径使用反向传播直接更新基于多分辨率哈希的模型的可训练参数，即存储在多分辨率哈希表中的特征向量和小型MLP的权重。这迫使NeRF模型根据给定的采样点更准确地重构场景。在第二个路径中，这个MSE值与采样效率指标结合，生成一个用于PPO代理的奖励信号。基于这个奖励，代理更新其策略，在下一次迭代中探索更复杂和高效的采样策略，从而进一步提高当前NeRF模型的性能。总之，这种端到端学习架构在采样代理和NeRF模型之间创建了一个强大的反馈循环。采样代理逐渐改进其采样策略以最大化NeRF模型的渲染性能，而NeRF模型则专门适应代理提供的有效采样点，使其能够更快、更准确地学习。通过这个互补的过程，整个系统收敛于以最小的计算量生成最高质量的渲染结果。

第4节 评估
在本节中，我们展示了将提出的NeRF与原始NeRF进行比较的实验结果。实验分为两部分进行。第一部分从训练时间、渲染时间和内存使用效率方面进行评估。第二部分使用各种指标（PSNR、SSIM和LPIPS）评估渲染质量。为了详细比较，我们提供了我们提出的方法、基线方法和真实图像的渲染图像的视觉对比，以突出视觉差异。实验是在单个Nvidia L40s GPU上进行的。这确保了提出的方法和原始方法之间的比较是一致且公平的，在相同的硬件条件下进行。

提出的模型的主要目标之一是降低NeRF的巨大计算成本。为了验证这一点，我们比较了总训练时间、渲染单个图像所需的时间以及GPU的峰值VRAM使用情况与基线模型。

4.1 训练和渲染效率
如表2所示，提出的模型在所有效率指标上都优于现有的NeRF模型。如图4所示，总训练时间从18.2小时显著减少到4.8小时，速度提高了约73.63%。同样，如图5所示，渲染速度提高了44.74%，从每图像11.4秒提高到6.3秒，增强了实时渲染的潜力。这归功于基于强化学习的自适应采样，它有效消除了空旷区域中的不必要的计算，以及Instant-NGP的哈希编码结构，使得收敛更快。此外，如图6所示，VRAM使用量减少了约29.94%，使得模型能够在更受限制的硬件环境中运行。

表2 提出的NeRF模型与传统模型之间的比较
表3 提出的NeRF模型与传统模型之间的渲染质量比较

4.2 渲染质量比较
表3和图7的结果表明，提出的模型不仅提高了计算效率，还提高了渲染质量。PSNR从30.5785显著增加到32.3664，SSIM从0.9556增加到0.9654。LPIPS指标（与人类感知相似度最接近）也从0.0750下降到0.0668，证实了视觉质量的提高。这是因为强化学习代理被训练为集中在重要区域（如场景表面和细节复杂的区域）进行采样，而不是随机采样。因此，模型能够用更少的点更忠实和准确地重建场景。

总之，提出的基于强化学习的NeRF模型显著改进了原始模型的长期问题：缓慢的训练和渲染速度以及高内存消耗。更重要的是，这种效率的提升克服了通常涉及的典型权衡，即质量损失。相反，我们的模型在所有定量质量指标上都取得了优异的性能。这一结果证明了我们提出的端到端自适应采样框架的成功。

第5节 结论
神经辐射场（NeRF）是提供高质量3D内容的关键技术，但由于其巨大的计算负载，它在实际 Web 环境中难以应用。NeRF在速度和质量之间存在长期权衡，因为它在体积渲染过程中必须沿相机光线密集采样许多点。尽管后续研究如Instant-NGP提高了训练速度，但渲染速度仍然是实时Web服务的障碍。为了解决这个问题，本文提出了一种混合方法，在单一过程中同时优化学习和渲染步骤。我们采用了Instant-NGP的哈希编码技术来加速训练，并引入了一种基于近端策略优化（PPO）强化学习算法的新型自适应点采样技术，以提高渲染速度。该技术通过训练强化学习代理，使其能够动态预测渲染每个像素所需的最少点数，从而消除不必要的计算并最大化渲染效率。实验结果表明，所提出的方法将训练时间减少了约73.63%，200张图像的渲染时间减少了约44.7%，VRAM使用量减少了约29.94%，同时保持了与原始NeRF相当的渲染质量。总之，基于强化学习的采样技术和哈希编码的有效结合，有效解决了NeRF长期以来存在的速度问题，为在网络上实现实时、高质量3D内容提供了关键的技术基础。

致谢：本研究得到了韩国政府（MSIT）资助的“信息与通信技术规划与评估研究所（IITP）-地方智能化创新人力资源开发计划”（项目编号：IITP-2025-RS-2024-00436765）的支持。