通过预计算的密度查询和预测性中断条件实现高效体积渲染,用于神经烟雾重建
《IEEE Access》:Efficient Volume Rendering via Precomputed Density Queries and Predictive Break Conditions for Neural Smoke Reconstruction
【字体:
大
中
小
】
时间:2026年04月17日
来源:IEEE Access 3.6
编辑推荐:
摘要:本研究提出了一种无需学习的优化框架,该框架结合了预计算的密度查询和预测性终止条件,以减少大规模体积渲染中详尽体素遍历的瓶颈。在初始帧中,累积的不透明度和密度前缀被映射到空间坐标并缓存起来,同时利用帧间梯度向量来提前预测下一帧的终止点,从而能够在光线累积之前做出早期决策(预测
摘要:本研究提出了一种无需学习的优化框架,该框架结合了预计算的密度查询和预测性终止条件,以减少大规模体积渲染中详尽体素遍历的瓶颈。在初始帧中,累积的不透明度和密度前缀被映射到空间坐标并缓存起来,同时利用帧间梯度向量来提前预测下一帧的终止点,从而能够在光线累积之前做出早期决策(预测-然后跳过)。该方法用PyCUDA实现,与传统早期终止方法相比,速度提升高达20倍,同时保持最大密度误差≤0.03,从而保留了边界清晰度和时间连续性。此外,预测信号(梯度/占用率/终止阈值)被整合到NeuSmoke框架中:在第一阶段,神经传输场通过预测-然后跳过方案减少冗余累积,并动态调整近远距离和采样率;在第二阶段,基于CNN的细节细化使用预测特征图(边缘、残差和置信度)作为辅助输入,以在缩短推理时间的同时保持视觉保真度。定量和定性实验均证实,所提出的方法显著减少了每帧的计算负荷和推理时间,同时保持了等值质量。该框架广泛适用于体积标量场,如烟雾/流体模拟、CT/MRI数据以及气象3D场。独立的PyCUDA测试显示,与传统累积方法相比,速度提升了高达20倍;与原始NeuSmoke相比,NeuSmoke集成后体素遍历时间减少了42%,推理时间减少了0.75倍。CCBY - IEEE不是该材料的版权持有者。请通过https://creativecommons.org/licenses/by/4.0/遵循说明以获取全文文章和API文档中的规定。
第一部分:引言
体积渲染是一种基本技术,广泛应用于将三维标量密度场投影到二维图像中,应用于医学成像、气象模拟和科学可视化等多个领域[1]、[2]、[3]。经典的射线投射框架起源于Levoy的开创性工作[4],此后,诸如空域跳跃和早期射线终止等方法已成为减少计算开销的标准方法[1]、[2]、[3]。分层空间划分结构,如八叉树和KD树,进一步提高了遍历效率,使得大规模体积数据的有效处理成为可能[2]。随着GPU加速的普及,交互式渲染性能大幅提升,综合性调查总结了基于GPU的大规模可视化系统[3]。最近,神经渲染方法(如神经辐射场NeRF)已被广泛应用于高保真场景重建和新视图合成,该领域的最新进展已得到全面回顾[8]、[9]。然而,这些神经方法通常需要大规模训练数据集和广泛的预训练,这使得它们不太适合直接用于通用科学可视化环境。同时,对于时变体积数据,帧与帧之间的冗余体素遍历仍然是一个主要效率问题。即使帧间密度变化是渐进的,未能利用时间一致性也会导致不必要的计算。为了解决这一限制,本研究提出了一种无需学习的优化技术,该技术结合了预计算的密度查询和预测性终止条件。在第一帧中,累积的密度信息被映射到空间坐标并缓存;在后续帧中,使用帧间梯度向量预估计终止点,允许在显式累积之前提前停止(预测-然后跳过)。基于PyCUDA的实现可以在GPU上并行进行梯度估计和光线累积,与传统方法相比速度提升高达20倍,同时保持最大密度偏差≤0.03。所提出的方法能够很好地适应各种数据集,包括烟雾/流体模拟、多切片CT/MRI扫描和大规模气象场,支持实时和交互式可视化。
本文的重点是将基于梯度的时间预测和预测性终止条件整合到NeuSmoke运行时[7]中,以减少动态体积中的冗余体素遍历,而不改变学习过程。在第一阶段,预测-然后跳过策略和动态调整近远距离及采样密度减少了集成长度和样本数量;在第二阶段,基于CNN的细化结合了辅助预测特征——梯度图、残差图和置信度图——以保持空间和时间保真度。本文的主要贡献如下:
- 无需学习的预测优化:我们提出了一种预测性早期终止方法,结合了预计算的密度查询和基于梯度的预测,大幅减少了动态体积渲染中的冗余体素遍历。
- 实时性能与准确性:PyCUDA实现的速度比传统方法提高了20倍,同时保持最大密度误差≤0.03,并确保时间连续性(无闪烁结果)。
- 可扩展性和敏感性分析:我们通过针对分辨率、帧数、阈值、步长和时间窗口权重的缩放和敏感性分析提供了性能-质量权衡的指导。
- NeuSmoke运行时集成:预测信号(梯度、占用率、早期终止阈值)被整合到第一阶段的神经传输场中,用于预测-然后跳过和近远距离/采样率控制,并整合到第二阶段的基于CNN的细化中,作为辅助特征图,形成了一个高效的数据和计算节省框架,减少了每帧样本数量和推理/训练时间,同时保持了等值质量。
此外,独立的PyCUDA体积测试显示,与传统累积方法相比,速度提升了高达20倍;与原始NeuSmoke相比,NeuSmoke集成后体素遍历时间减少了42%,推理时间减少了0.75倍[7]。
第二部分:相关工作
体积渲染起源于Levoy的开创性研究,该研究确立了图像顺序(射线投射)范式,此后提出了许多优化方法[1]、[3]、[4]。这一研究方向仍然是现代科学可视化和医学成像的基础。空域跳跃和早期射线终止是广泛用于基于纹理和射线投射实现的代表性加速技术,即使在GPU环境中也证明了它们的有效性[1]、[3]。例如,Krüger和Westermann(2003)将这两种方法整合到基于GPU的纹理体积渲染中,实现了交互式性能,并提供了详细的算法框架[5]。Levoy的早期工作还规范了图像顺序渲染的核心程序,包括分层空域跳跃[4]。空间划分方法(如八叉树、KD树、BSP)是通过缩小大规模体积中的搜索范围来减少射线-体素交点计算的经典方法。当与多分辨率和自适应采样技术结合使用时,这些方法提高了交互式性能[1]、[3]。LaMar等人(1999)提出了一种基于多分辨率的纹理方法,用于大规模数据,展示了交互场景中的明确性能-质量权衡[2]。2000年代以来,GPU加速为实时体积图形带来了显著进步。Engel等人的SIGGRAPH课程材料系统化了通用GPU上的高质量实时技术[1],而Beyer、Hadwiger和Pfister(2015)的STAR调查全面总结了基于GPU的大规模体积可视化现状[3]。此外,还有几项应用报告利用可编程硬件同时执行分割和可视化[6]。最近,神经表示方法(如NeuSmoke)出现,结合了物理感知的神经传输场(NTFs)和两阶段的基于CNN的细化网络,用于高效的高质量烟雾重建和新视图合成[7]。这类工作提高了动态流体的时空一致性和训练效率,但在推理过程中的体积积分仍然需要较高的计算成本。我们的研究重点是通过将基于梯度的帧间预测和预测性终止条件整合到NeuSmoke流程中来优化运行时,而无需修改其训练程序。所提出的框架补充了NeuSmoke:第一阶段(NTF)使用预测-然后跳过和自适应的近远距离/采样控制来减少集成长度和样本数量;第二阶段(CNN细化)结合了基于梯度、残差和置信度的预测特征来保持视觉和时间保真度。同时,基于神经场的视图合成方法将体积渲染方程重新解释为可训练的框架,以实现高保真新视图生成。NSVF将场景表示为八叉树上的稀疏体素嵌入神经场,提高了内存使用效率和推理速度[10]。PlenOctrees将训练过的NeRF转换为空球谐波(SH)系数,实现了实时渲染[11]。Plenoxels完全消除了神经网络,直接优化了稀疏体素-SH表示,使得训练速度比NeRF快数十到数百倍[12]。Instant-NGP引入了多分辨率哈希编码,以前所未有的速度训练紧凑的MLP,显著减少了NeRF的训练时间[13]。在医学成像领域,扩展技术如MedNeRF旨在从有限的X射线投影中重建3D感知表示[14]。近期在神经体积渲染和高效神经场表示(如NeuSmoke和快速NeRF/基于体素的加速技术)方面的进展进一步推动了动态体积中体积射线遍历的推理时间优化[7]、[8]、[9]、[12]、[13]。这些基于神经场的方法与我们的方法之间的关键区别如下:
- 问题设置(离线训练与在线可视化):上述大多数方法需要在启用快速推理渲染之前进行特定场景的训练(具有显著的数据和时间成本)。相比之下,我们的方法是无需学习的,旨在使用预测性终止条件和预计算的密度查询立即(在线)加速给定的3D密度场的渲染——将重点从“训练-推理流程”转移到“实时加速流程”。
- 输入表示和适用性:我们的方法保留了NeuSmoke的体素/网格基密度表示(NTF框架),并仅优化体素遍历和集成策略(早期终止、预测-然后跳过),加速了烟雾、CT/MRI和气象场等体积数据集的渲染。
- 资源和实现成本:原始的NeuSmoke训练流程保持不变,我们的插件作为轻量级即插即用模块集成到推理/渲染路径中。它不需要额外数据或重新训练,密度缓存Q(x)部署在GPU纹理或常量内存中,以最小化工程开销。
- 动态体积处理:我们使用基于梯度的坐标校正?ρ和置信度门控来预测下一帧的终止位置,直接减少了每帧的集成长度和样本数量,同时保持了时间平滑性(无闪烁结果)。
- 与NeuSmoke的互补性(第一/第二阶段):第一阶段的神经传输场应用预测-然后跳过和自适应的近远距离/采样控制来消除冗余集成;第二阶段的CNN细化结合了基于边缘、残差和置信度的预测图来有选择地增强细节。在相同的等值质量条件下,该框架显著减少了每帧样本数量和推理/训练时间。
第三部分:提出的框架
A. 体积渲染
体积渲染是一种核心技术,它通过射线积分将三维密度场投影到二维图像中,使人们能够直观理解体积数据的内在结构和物理属性。在这项工作中,辐射传输模型被离散化为射线投射公式并相应实现。这一标准渲染流程是后续部分提出的预测优化的基础。
1) 物理模型和离散化
对于观察者视野中的每个像素,发射一条射线r(s),以固定的采样步长Δs遍历体素。传递函数将密度ρ映射到颜色c和不透明度(吸收)α。使用标准的从前到后的合成规则计算累积值:
Ck+1 = Ak+1 = Ck + (1?Ak)αkck,
其中Ck表示累积的颜色,Ak表示累积的不透明度(Ak=1?∏(1?α))。也可以使用透射率Tk=1?Ak的等效表达式。
2) 网格离散化和射线扫描
三维空间被离散化为均匀网格,将每个网格单元定义为体素。从相机位置出发,沿着每个像素的方向发射射线,并依次采样射线上的体素交点。在每个采样步骤中,查询密度、吸收和发射值,并应用上述累积公式。图1展示了使用烟雾数据集的示例,可视化了从传递函数映射颜色-不透明度到投影图像累积的完整渲染过程。
3) 数据布局和预处理
如烟雾等气体数据表现出微妙的空间时间密度变化。为了高效访问,原始密度场被初始化为连续数组结构,而元数据(如帧索引、分辨率)以JSON格式存储。这种预处理减少了初始化过程中的加载和随机访问延迟,防止了后续基于GPU的射线扫描中的瓶颈。
4) 终止条件(基本)
如果所有体素都不间断地积分,则计算负担会变得过大。因此,一旦累积不透明度达到阈值τ,则提前终止射线的积分。此外,当α在采样段内迅速饱和时,忽略进一步的计算,因为其贡献可以忽略不计。在这项研究中,基于基本的停止条件,在后续部分通过引入预计算的密度查询和预测性停止条件进行了扩展,从而允许更积极地跳过多余的体素遍历。
5) 管道概述
总结来说,所提出的基线体积渲染管道包括:(1) 定义基于网格的体素数据,(2) 为每个像素发射光线并跟踪它们与网格的交点,(3) 应用传递函数来计算颜色和不透明度,(4) 从前向后进行累积,(5) 通过JSON管理元数据,以及(6) 应用基于阈值的提前终止。在这个标准管道的基础上,结合了预计算的密度查询和基于帧间梯度的预测,以预先估计后续帧的终止点,从而显著减少光线遍历。
6) 扩展(传输预测信号)
在预测过程中生成的梯度和提前终止信号在同一渲染管道中被重新利用,用于样本调度(近-远范围和自适应采样率)以及构建辅助特征图。由于这些预测信号以即插即用的方式集成到采样器和积分循环中,它们可以最小限度地修改后移植到其他基于NTF的渲染器中,例如NeuSmoke [7]。
B. 符号和符号表
表1总结了本文中使用的所有符号。ρt(x) 和 ?ρt(x) 分别表示第t帧的密度场及其梯度,预测校正Δx? 是过去K帧的梯度的加权平均值。累积不透明度Ak 和阈值τ 作为提前终止的标准,而Q(x) 表示映射到空间坐标的预计算累积前缀,使得在累积之前就可以做出早期决策。此外,1ET(x) 是一个指示符,表示是否发生了提前终止。在第二阶段(基于CNN的细化)中使用的辅助特征图——Medge(x)、Mres(x) 和 Mconf(x) 分别代表边缘/梯度幅度、预测-观测残差和来自门控的置信度。性能通过每帧体素遍历减少比率Rtraverse、推理时间加速Sinfer以及图像质量指标PSNR、SSIM和LPIPS来评估。
表1 本文中用于NeuSmoke集成的符号。标量用罗马数字表示,向量用粗体表示,场是关于空间坐标x=(x,y,z)的函数。包括第一阶段的预测终止变量和第二阶段的辅助特征图;所有NeRF特定的符号都已经移除。
C. 停止条件
体积渲染的计算瓶颈在于每次光线都进行过多的体素遍历。对于大规模数据,为所有相交的体素累积密度、吸收和发射值会导致计算量呈指数级增长。本节定义了基于物理量何时停止累积,并与后面介绍的预测方法建立联系,该方法可以提前估计停止条件以进一步减少计算。
1) 经典公式
在前向复合中,直到样本索引k的累积不透明度Ak和透射率Tk更新为
Ak+1=Ak+(1?Ak)αk,
Tk=1?Ak, \quad T_{k} = 1 - A_{k}, \tag {3}
当Ak变得足够大时,后续样本的贡献可以忽略不计。经典的提前终止规则使用一个阈值τ∈(0,1):
(ET)Ak≥τ?停止。
2) 饱和度和斜率感知标准
单一阈值对于不同的场景或传递函数可能过于保守。因此,我们引入了考虑饱和度和斜率的补充标准:
(SAT)(UB)
??≥L:Ak?Ak???≤?sat?停止,
Tk?αmax≤?ub?停止,
其中L是最近样本窗口长度,?sat和?ub是容差,αmax是从传递函数或数据统计中估计出的不透明度上限。(SAT)在不透明度饱和时(即,在?个样本中增长可以忽略不计)终止光线,而(UB)使用剩余贡献的上限进行保守终止。这两种标准都能有效减少平均样本数量,而不会明显降低图像质量。
3) 预计算密度查询(光线积分缓存)
在第一帧中,将每条光线上的累积密度/不透明度前缀映射到空间坐标并存储为预计算密度缓存Q(x)。
a) 缓存q(x)的定义和构建:
在这项工作中,Q(x)表示一个三维缓存场,它将光线积分过程中获得的累积不透明度前缀映射到空间坐标。具体来说,在初始帧(t=0)中,对每个像素执行光线遍历,在前后复合过程中,将样本位置xk处的累积不透明度Ak存储在缓存中。因此,Q(x)中存储的值不是原始密度本身,而是在应用传递函数后的不透明度前缀Ak,这是一个对于直接评估ET、SAT和UB等提前终止标准具有物理意义的量。从空间采样的角度来看,Q(x)定义在一个以体素为中心的三维网格上。沿着光线的连续样本位置xk在填充缓存时被映射到它们最近的体素中心。在后续帧中,当在任意空间位置查询Q(x)时,使用线性插值来近似相应的不透明度前缀值。这种插值策略减轻了由于连续光线样本和离散体素中心不匹配引起的空间歧义。当多条光线映射到同一个体素坐标时,采用保守的更新策略。如果观察到单个体素的多个不透明度前缀值,缓存存储最大的累积不透明度值,即maxAk。这种选择在基于Q(x)在后续帧中进行提前终止决策时提供了一个安全的上限,防止了由于低估累积不透明度而可能发生的过于激进的终止。因此,Q(x)可以解释为一个保守的估计,表示当光线到达相应的空间位置时至少达到了这个量的累积不透明度。尽管Q(x)来源于依赖光线的累积结果,但它被重新构造为一个空间场,以便在帧间高效重用。在本文的范围内,我们假设帧间的相机配置是固定的,这与NeuSmoke集成实验一致。在这种单视图设置下,Q(x)作为累积不透明度的时间稳定参考。通过为每个视图维护单独的缓存或构建视图空间缓存,可以扩展到多视图或多相机场景;然而,这些扩展超出了本文的范围,留待未来研究。
4) 多条光线-体素映射的写入策略:
为了处理多条光线映射到同一个体素坐标的情况,在构建缓存Q(x)时采用保守的写入策略。具体来说,对于给定的体素位置x,可能会从不同的光线路径观察到多个累积不透明度(前缀不透明度)值Ak。在这种情况下,缓存仅存储该体的最大累积不透明度,即maxAk。与平均或首次写入策略不同,这种设计选择防止了在后续帧中使用Q(x)进行提前终止决策时低估累积不透明度。这种基于最大值的聚合允许Q(x)被解释为相应空间位置上累积不透明度的一个上限。因此,基于Q(x)的预测性提前终止避免了与实际累积相比过早停止。尽管这种策略可能会产生略微保守的前缀值,但它更倾向于保持视觉质量而不是过度减少计算。在预测置信度低的区域,该框架通过置信度门控机制进一步保护质量。
C) 相机假设和多视图泛化:
所提出的预计算密度缓存Q(x)和预测性提前终止方案是在假设帧间相机配置固定(单视图设置)的情况下设计的。也就是说,对于共享相同相机参数(视角、方向和投影矩阵)的连续帧,初始帧中构建的缓存Q(x)在后续帧中作为累积不透明度的稳定参考。这个假设与独立的PyCUDA实验和本文中介绍的NeuSmoke集成实验一致,并为利用时间变化密度场中的光线路径的空间一致性提供了合理的基础。在多视图或多相机设置中,与同一空间坐标x相关的光线路径和累积特性可能在不同的视角下有所不同,因此不适合在所有视图之间共享单个缓存Q(x)。为了解决这个问题,该方法自然扩展到维护独立的每个视图的缓存Qv(x)。具体来说,对于每个相机v,可以根据该视角的光线积分构建独立的累积前缀缓存,并通过引用相应的Qv(x)来做出预测性提前终止决策。即使在采用多个相机输入的NeuSmoke配置中,这种每视图缓存策略也易于实现,只需要与相机数量成比例地增加内存。此外,由于每个缓存在推理过程中仅用于读取,因此不会产生相机间同步问题。虽然本文为了清晰起见专注于固定相机场景,但所提出的框架可以通过每个相机的缓存管理或视图空间缓存构建来泛化到多视图环境。这对于后续帧,当光线到达坐标xk时,累积不透明度通过Ak≈Q(xk)来近似,\[A_{k} \approx Q(\mathbf {x}_{k}), \tag {7}\],这使得可以在不重新计算累积的情况下即时做出(ET)、(SAT)或(UB)决策。这使得在累积之前能够提前做出决策,防止多余的体素访问。在后面介绍的预测性停止公式中,应用帧间位移Δx来查询Q(xk+Δx),从而可以提前预测终止点。
4) 实施注意事项
不透明度阈值τ的选择范围在0.80~0.95之间,取决于传递函数的对比度和场景特性。对于(SAT),考虑到步长Δs和平均光线长度,8-16个样本的窗口长度L是足够的。Q(?)通过线性插值进行查询,在GPU端,使用纹理内存和页面锁定(固定)传输来减少开销。
5) 有效性
所提出的停止条件系列结合了(1)不透明度阈值、(2)饱和度斜率衰减和(3)上限终止,以减少不必要的体素操作并显著加快总渲染时间。当与预计算的密度缓存Q(?)结合使用时,这些条件甚至在积分开始之前就能够做出早期决策,为静态和动态体积序列提供一致的加速。以下部分使用基于梯度的帧间位移来扩展这一概念,以预测终止点,并通过提出的预测性停止条件更积极地应用相同的原则。
D. 停止条件的预测
尽管经典的提前终止显著减少了多余的体素遍历,但它仍然需要在每帧重新计算停止条件。对于包含数百或数千帧的时间变化体积,这种每帧重新计算会累积成一个主要的瓶颈。为了克服这一限制,我们提出了一种预测方案,利用时间变化来预先估计下一帧的终止点。关键思想是通过梯度向量捕捉帧间密度变化的方向和幅度,并将它们转换为坐标位移,然后与预计算的密度缓存结合进行高效预测。
1) 基本概念
终止条件由累积不透明度Ak是否达到阈值τ(ET、SAT或UB标准)来定义。如果在t帧达到终止的坐标x在t+Δt帧也可能达到类似的终止点,则可以使用坐标位移Δx将t帧的决策转移到t+Δt帧。关键要求是近似Δx,我们使用帧间密度变化的梯度向量来估计它。2) 基于梯度向量的预测对于第t帧的标量密度场ρt(x),空间梯度向量使用中心差分计算:?ρt(x)=????????????ρt(x+1,y,z)?ρt(x?1,y,z)2ρt(x,y+1,z)?ρt(x,y?1,z)2ρt(x,y,z+1)?ρt(x,y,z?1)2????????????(8) 见源代码\begin{align*} \nabla \rho _{t}(\mathbf {x}) = \begin{bmatrix} \dfrac {\rho _{t}(x{+}1,y,z)-\rho _{t}(x{-}1,y,z)}{2} \\[6pt] \dfrac {\rho _{t}(x,y{+}1,z)-\rho _{t}(x,y{-}1,z)}{2} \\[6pt] \dfrac {\rho _{t}(x,y,z{+}1)-\rho _{t}(x,y,z{-}1)}{2} \end{bmatrix} \tag {8}\end{align*} 梯度方向对应于等密度曲面的法线,指示了局部密度变化的方向和大小。使用?ρt,坐标修正Δx可以近似为Δx=κ??ρt(x)∥?ρt(x)∥+εΔt,(9) 见源代码\begin{equation*} \Delta \mathbf {x} \;=\; \kappa \cdot \frac {\nabla \rho _{t}(\mathbf {x})}{\|\nabla \rho _{t}(\mathbf {x})\|+\varepsilon }{\,}\Delta t, \tag {9}\end{equation*} 其中κ是一个稳定常数(用于裁剪和缩放),ε是一个小的常数以确保数值稳定性。直观上,密度梯度较大的区域应用更强的坐标修正。为了确保数值稳定性,Δx被裁剪为∥Δx∥≤Δxmax(例如,2-3个采样步)。3) 多帧加权与置信度门控为了抑制噪声和短期波动,最近K帧的梯度通过时间权重进行平均:Δx?=(∑k=0K?1wk?ρt?k(x)∥?ρt?k(x)∥+ε)κΔt。(10) 见源代码\begin{equation*} \Delta \widehat {\mathbf {x}} = \left ({{ \sum _{k=0}^{K-1} w_{k} \frac {\nabla \rho _{t-k}(\mathbf {x})}{\|\nabla \rho _{t-k}(\mathbf {x})\|+\varepsilon } }}\right){\,}\kappa {\,}\Delta t. \tag {10}\end{equation*} 这里,{wk}K?1k=0是非负权重(wk≥0),满足∑K?1k=0wk=1,并且通常设置为w0≥w1≥?≥wK?1以强调最近的帧。如果体素处的梯度方差Var[?ρ]超过阈值σ2max(例如,由于湍流或突变),则在该位置的预测切换为保守模式,回滚到直接累积:ifVar[?ρ]>σ2max?fallback to on-the-fly accumulation。(11) 见源代码\begin{equation*} \text {if}\;\; \mathrm {Var}[\nabla \rho] \gt \sigma _{\max }^{2} \;\Rightarrow \; \text {fallback to on-the-fly accumulation}. \tag {11}\end{equation*} 这种置信度门控防止了由不可靠预测引起的质量下降。4) 通过预计算查询进行预测性中断预计算的密度查询Q(?)是一个缓存,它将第t帧的累积前缀(不透明度/密度)映射到空间坐标。在预测坐标x′=x+Δx?处,A?t+Δt(x)≈Q(x′),(12) 见源代码\begin{equation*} \widehat {A}_{t+\Delta t}(\mathbf {x}) \;\approx \; Q(\mathbf {x}'), \tag {12}\end{equation*)可以在执行累积之前直接评估终止(ET/SAT/UB)条件。换句话说,光线遍历可以直接跳到预测的终止坐标并提前停止,从而大幅减少平均样本数量。当预测不确定性较高时,上述门控规则会将过程恢复为保守的即时累积。5) 应用与可视化预测的修正向量场Δx?被可视化为箭头(方向和大小),如图2所示,直观地表示了局部密度变化流。实际应用预测进行累积的区域用颜色叠加显示(例如红色),从而可以逐帧检查预测终止位置与观察到的终止位置之间的一致性。使用了两个简单的定量指标:(1)叠加区域比例和(2)终止坐标的一致率(例如,满足|kpred?kobs|≤δ的比例)。图2显示了特定帧的坐标梯度可视化。图3展示了帧间密度变化对应的梯度向量的时空模式。左侧图表(时间图)显示了每个位置的梯度幅度演变——突然的峰值或下降对应于高频变化或边界穿越。右侧的可视化(矢量场)显示了变化集中的空间区域,指示了应应用预测修正的地方与应采用保守终止的地方。通过这种分析,所提出的方法不仅计算了每帧的累积,还利用梯度趋势来预先估计下一帧的终止点。具体来说,(1)在梯度变化平滑的区域,终止预测保持稳定;(2)在边界或具有突然峰值的高频区域,置信度门控确保回滚到即时累积以避免伪影。此外,单独的单帧预测可能对于湍流或不规则事件不够稳健;因此,通过加权平均结合过去K帧的梯度来提高稳定性并减少噪声。实验表明,在平滑区域,预测的终止坐标与观察到的终止坐标高度一致,而在突变区域,门控机制触发保守的累积,保持时间连贯性和视觉一致性。因此,图3支持提出的算法流程:梯度计算→趋势分析→终止预测→门控和更新。E. 应用预测值通过结合预测的坐标修正Δx?和预计算的密度查询Q(?),可以在实际累积之前确定下一帧的终止点。也就是说,与传统渲染中每次样本都重复查询密度值和阈值条件不同,光线遍历可以直接跳到预测的终止坐标,大大减少了平均样本数量。1) 预测-然后-跳过策略对于t+Δt帧的终止决策是通过在预测坐标x′=x+Δx?处查询预计算的前缀Q(x′)来决定的(例如,A?t+Δt(x)≈Q(x′)(方程(12))。如果满足预测条件(ET/SAT/UB),则立即终止光线;否则,对剩余部分执行保守的即时累积。这种预测-然后-跳过程序——包括“预测、早期决策以及在必要时进行部分累积”——最大化了计算效率。2) 泛化到真实数据领域所提出的程序不仅限于合成数据。因为它由基于帧间梯度的预测和基于阈值的早期终止组成,且不需要任何预训练,因此可以广泛应用于基于网格的3D标量场(体素表示)。在实践中,可以采用相同的空闲空间跳过和预测性中断策略来实现实时交互式可视化,用于(1)医学成像(多切片CT/MRI体积)、(2)数值天气模型的3D大气场以及(3)流体/燃烧模拟输出。3) 可视化和合理性检查实际应用预测进行累积的区域用颜色叠加显示(例如红色),如图4所示,从而可以逐帧检查预测终止位置与观察到的终止位置之间的一致性。出于实际用途,我们还报告了两个简单的指标:(1)叠加区域比例(即应用预测的部分的比例)和(2)终止坐标的一致率(例如,满足|kpred?kobs|≤δ的比例)。图4显示了特定帧的坐标梯度可视化。图3通过这种分析,所提出的方法不仅计算了每帧的累积,还利用梯度趋势来预先估计下一帧的终止点。具体来说,在梯度变化平滑的区域,终止预测保持稳定;在边界或具有突然峰值的高频区域,置信度门控确保回滚到即时累积以避免伪影。这种方法在抑制可能的伪影的同时,最大化了预测的好处。此外,单独的单帧预测可能对湍流或不规则事件不够稳健;因此,通过加权平均结合过去K帧的梯度来提高稳定性并减少噪声。实验表明,在平滑区域,预测的终止坐标与观察到的终止坐标高度一致;而在突变区域,门控机制触发保守的累积,保持时间连贯性和视觉一致性。因此,图3支持提出的算法流程:梯度计算→趋势分析→终止预测→门控和更新。E. 应用预测值通过结合预测的坐标修正Δx?和预计算的密度查询Q(?),可以在实际累积之前确定下一帧的终止点。也就是说,与传统渲染中每次样本都重复查询密度值和阈值条件不同,光线遍历可以直接跳到预测的终止坐标,大大减少了平均样本数量。1) 预测-然后-跳过策略对于t+Δt帧的终止决策是通过在预测坐标x′=x+Δx?处查询预计算的前缀Q(x′)来决定的(例如,A?t+Δt(x)≈Q(x′)(方程(12))。如果满足预测条件(ET/SAT/UB),则立即终止光线;否则,对剩余部分执行保守的即时累积。这种预测-然后-跳过程序——包括“预测、早期决策以及在必要时进行部分累积”——最大限度地提高了计算效率。2) 泛化到真实数据领域所提出的程序不限于合成数据。因为它由基于帧间梯度的预测和基于阈值的早期终止组成,且不需要任何预训练,因此可以广泛应用于基于网格的3D标量场(体素表示)。在实践中,可以采用相同的空闲空间跳过和预测性中断策略来实现实时交互式可视化,用于(1)医学成像(多切片CT/MRI体积)、(2)数值天气模型的3D大气场以及(3)流体/燃烧模拟输出。3) 可视化和合理性检查实际应用预测进行累积的区域用颜色叠加显示(例如红色),如图4所示,从而可以逐帧检查预测终止位置与观察到的终止位置之间的一致性。出于实际用途,我们还报告了两个简单的指标:(1)叠加区域比例(即应用预测的部分的比例)和(2)终止坐标的一致率(例如,满足|kpred?kobs|≤δ的比例)。在边界或细节丰富的区域,置信度门控切换到保守的累积以避免质量损失;相比之下,在变化平缓的平滑区域,通常观察到高一致性。图4显示了预测应用区域(用红色突出显示)。红色叠加标记了在即时累积之前触发预测性中断的光线/部分。4) 对运行时间和准确性的影响即使直接应用预测值,残差也通过基于预测的插值和修正得到控制,使得与原始值的差异在定量指标(例如最大密度误差、PSNR/SSIM)上很小,在定性评估上看起来很自然。同时,每条光线的平均样本数量减少了,显著减少了总体渲染时间。总之,应用预测值进行终止既实现了(1)计算节省(在累积之前的早期决策)又实现了(2)准确性保留(门控和保守的回退)。在以下章节中,我们将通过敏感性分析来展示序列级别的性能比较,并针对分辨率、阈值、步长和时间窗口参数提出实际建议。第四节。与NeuSmoke的集成:将预测性信号作为运行时附加组件本节介绍了一种运行时(附加组件)集成,该集成将预测性中断条件和基于梯度的信号插入NeuSmoke流程中,而不修改训练过程[7]。关键思想是(1)通过预测-然后-跳过预先消除冗余的集成,(2)在饱和区域保守地缩小近远范围和采样率,(3)将预测性信号作为辅助特征提供给第二阶段(CNN)以选择性地增强细节。A. 概述本工作中使用的预测信号包括:帧间梯度的大小和方向,∥?ρ∥;预测残差E(x)=|Dactual?Dpred|;相对于早期终止阈值τ的饱和状态(Ak≥τ);从预计算的密度查询Q(?)获得的预估计终止坐标。B. NeuSmoke中的信号到模块映射1) 第一阶段:神经传输场(NTF)预测-然后-跳过:基于Q(x)和Δx?在预测的终止坐标进行早期决策,以阻止冗余的遍历。自适应近远和采样:在饱和区域(Ak≥τ)中,保守地减少下游样本数量并收紧远端界限;在边界/高频区域(大的∥?ρ∥)中,保持或增加局部采样密度。置信度门控:当在湍流过渡中超过方差阈值(σ2max)时,回滚到即时累积以避免伪影。2) 第二阶段:基于CNN的细节细化辅助特征注入:提供Medge(x)(边缘/梯度幅度)、Mres(x)(预测-观测残差)和Mconf(x)(来自门控的置信度)作为额外的通道。选择性地增强细节:在边界/高频区域强调细节恢复,同时在饱和/静态区域保持稳定性以保持时间一致性。在第二阶段,基于CNN的细化保留了原始NeuSmoke架构及其预训练的权重。本工作中使用的辅助特征并不作为额外的输入通道插入到CNN中;相反,它们仅作为运行时掩码/门控信号来控制推理期间的有效计算范围。因此,所提出的方法可以在不进行任何额外训练或重新训练的情况下应用于现有模型。C. 预测信号和门控集成在NeuSmoke流程中,第一阶段光线累积期间计算的预测信号仅用作运行时控制信号,用于置信度门控,选择性调节第二阶段CNN的计算范围,而不修改其输入、架构或预训练的权重。具体来说,第一阶段产生(1)一个预测终止/占用掩码和(2)一个来自梯度方差统计的置信掩码。这些掩码不是作为额外的CNN输入通道附加的;相反,它们在网络外部用于控制选定光线/区域内的推理时间计算。因此,不需要重新训练或微调,原生的NeuSmoke模型保持不变。算法1. 预测性早期终止与NeuSmoke的集成要求:密度场ρt、相机参数、缓存Q(x)、阈值(τ,σ2max)确保:精细的体积渲染输出1 第一阶段:基于光线的累积和预测信号生成 2对于每条光线r执行3执行光线遍历并计算前缀不透明度Ak 4估计梯度统计和时间方差Var(?ρ) 5生成控制用的运行时信号:终止/占用提示和置信度提示6 结束 for 7 确信度门控和掩码构建(仅运行时) 8对于每条光线或空间区域执行9 如果 Var(?ρ)>σ2max 则 10将区域标记为不确定并设置Mconf=0 (回退)11禁用预测并回退到标准累积12 否则 13设置Mconf=1 并启用预测性早期终止14 结束 if 15形成门控掩码MET(终止/跳过)和Mconf(置信度)用于第二阶段16 结束 for 17 第二阶段:基于CNN的细化(模型不变) 18应用具有固定架构和预训练权重的原始NeuSmoke CNN19在网络外部应用MET和Mconf以限制推理期间的有效计算范围20(不需要额外的输入通道、训练或重新训练)21返回:最终的精细渲染1) 评估指标使用每帧体素遍历减少比率Rtraverse和推理时间加速Sinfer来评估效率,同时用PSNR、SSIM和LPIPS来报告图像质量。第五节。NeuSmoke集成:预测性运行时优化本节详细介绍了将提出的预测性中断条件和基于梯度的信号集成到NeuSmoke框架中,以减少推理期间的冗余集成,同时保持视觉质量。核心思想是(1)通过预测-然后-跳过主动消除不必要的体素遍历,(2)在饱和段中保守地减少样本数量和积分长度,(3)将预测性信号作为辅助输入提供给第二阶段(基于CNN的细化)以选择性地增强细节。A. 预测采样和集成在第一阶段,神经传输场动态调整采样密度,使用预测信号。在边界或高频区域,where梯度幅度∥?ρ(x)∥较大时,保持或更密集地放置样本;而在饱和区域(Ak≥τ)中,减少样本数量并调整近远范围。这个过程可以用数学表达为:p(x)∝α∥?ρ(x)∥+(1?α)E(x),α∈[0,1],(13) 其中E(x)代表预测-观测差异(残差),为变化较大的区域分配更高的采样概率。B. 第一阶段的预测性早期终止在不透明度饱和的区域,额外样本的贡献最小。因此,在光线追踪过程中,使用预测性终止信号来动态减少近距离-远距离范围和样本数量(Nsamples):如果Ak≥τ,则减少下游样本数量,收紧远距离限制。(14)查看源代码\begin{equation*} \text {如果}\; A_{k} \ge \tau \Rightarrow \text {减少下游样本数量,收紧远距离限制。} \tag {14}\end{equation*} 在这个阶段,使用预测坐标x′=x+Δx?来查询预计算的高速缓存Q(x′),从而在开始累积之前就可以做出提前终止的决策。因此,在保持边界和高细节区域质量的同时,缩短了积分长度。C. 第二阶段的辅助特征集成在第二阶段,基于CNN的细节细化将预测信号作为额外的输入通道。辅助特征图由三个部分组成:Medge(x):边缘/梯度幅度图。Mres(x):预测-观测残差图。Mconf(x):来自门控机制的置信度图。这些图增强了细微结构的恢复,同时提高了饱和区域的稳定性,并保持了时间一致性。D. 算法本节总结了将预测信号插入NeuSmoke推理流程的完整过程,作为即插即用的附加组件,无需对训练架构进行任何修改。该流程包括:(1)预测核,它根据帧t的?ρt计算预测位移Δx?,并通过置信度门控屏蔽不确定区域;(2)光线核,在预测坐标x′=x+Δx?处查询预计算的高速缓存Q(x′),以确定提前终止(预测-然后跳过),并根据饱和区域或边界区域动态调整近距离-远距离范围和样本数量Nsamples。随后,生成渲染结果,并为基于CNN的细化创建辅助特征图(Medge,Mres,Mconf)。最后,根据Trefresh规则更新高速缓存和置信度字段。算法2. 带有预测性运行时优化的NeuSmoke推理需要:预计算的高速缓存Q(x)、梯度场?ρt、阈值(τ,σ2max)、刷新参数(W,θ,β)1输入:体积ρt、传递函数T、相机/视图、步长Δs 2输出:渲染图像It(第一阶段)和细化图像Ireft(第二阶段)3对于每一帧t执行以下操作4[预测核] 计算每个体素点的梯度?ρt并形成多帧加权位移Δx?←(∑K?1k=0wk?ρt?k∥?ρt?k∥+ε)κΔt 5为了稳定性,剪切Δx?:∥Δx?∥≤Δxmax(数值稳定)6置信度门控:如果Var[?ρ]≥σ2max,则将体素标记为不确定7预测坐标:x′←x+Δx? 8[光线核] 对于每个像素光线r,沿着r(s)进行追踪:9查询高速缓存Q(x′)以估计A?t+Δt(x)≈Q(x′) 10 ET掩码: 1ET(x)←1[A?≥τ∧confident] 11 自适应采样: 12如果1ET(x)=1:停止光线追踪(预测-然后跳过)13否则:14如果Ak≥τ:减少下游样本数量,收紧远距离限制15否则如果∥?ρ∥较大:保持或增加边缘附近的样本数量16通过前向-后向累积(c,α)直到停止/退出17[第二阶段准备] 生成辅助图:Medge←∥?ρ∥,Mres←|Aobs?Apred|,Mconf←prob(confident) 18 [第二阶段CNN] Ireft←RefineCNN(It,Medge,Mres,Mconf) 19[刷新] 如果1W∑W?1i=0Δ∥?ρ∥>θ或Var[?ρ]≥β?σ2max:刷新Q(?)和置信度字段;否则每10–20帧刷新一次20 结束对于1) 解释输入/输出:从帧t的体积ρt和传递函数T开始,第一阶段生成图像It,结合辅助图,第二阶段CNN生成细化图像Ireft。预测核:(i)计算?ρt;(ii)使用方程(10)得出多帧加权位移Δx?;(iii)应用剪切和置信度门控以实现数值和感知稳定性。光线核:在预测坐标x′处查询高速缓存Q(x′),以在累积之前做出提前决策(预测-然后跳过)。不确定区域恢复为实时累积,而饱和区域或边界区域动态调整近距离-远距离范围和样本数量Nsamples。第二阶段的辅助图:Medge强调边界和高频结构;Mres突出预测-观测差异;Mconf提供置信值,使CNN能够选择性地增强细节。刷新:根据变化条件或定期(每10–20帧)自适应更新高速缓存和置信度字段,以保持一致性。2) 复杂性和实现说明复杂性:预测-然后跳过机制减少了平均积分长度和样本数量Nsamples,将平均体素遍历次数降低到原始NeuSmoke基线的大约0.58倍(减少了约42%)[7]。内存层次结构:高速缓存Q(?)高效存储在纹理或常量内存中。为了减少分支发散,使用掩码算术实现终止决策。稳定性:Δx?的剪切、置信度门控以及饱和区域和边界区域之间的互补采样策略(减少 vs. 加强)共同保持了等质量。E. 每帧工作流程梯度估计:从每个帧的密度场ρt(x)计算?ρt。预测查询:使用Δx?查询Q(x′)并确定终止状态。自适应采样:在饱和区域减少采样,在边界区域保持或增强采样。累积和细化:在第一阶段进行累积,在第二阶段CNN中进行详细细化。更新和刷新:根据Trefresh规则更新预测高速缓存和置信度字段。高速缓存和置信度字段的更新规则定义如下:当最近W帧内∥?ρ∥的平均变化超过θ,或者当Var[?ρ]≥β?σ2max(θ∈[0.05,0.15],β∈[1.0,1.5])时,立即触发Trefresh。否则,每10–20帧进行一次定期更新。F. 有效性和稳定性预测性积分将第一阶段的平均体素遍历次数减少了约40%,同时提高了输入到第二阶段CNN的质量,保持了PSNR/SSIM方面的等质量。对于预测不确定性较高的帧(例如,湍流过渡),置信度门控机制自动切换到实时累积,从而防止伪影和闪烁。G. 复杂性和部署所提出的流程作为对现有NeuSmoke流程的细小插入来实现。主要修改包括高速缓存查询(Q)、提前终止掩码和辅助图的生成。使用PyCUDA内核实现,该方法可以轻松移植到其他体积渲染器或NTF变体。所有实验都在相同的场景、种子和传递函数条件下进行,以确保可重复性。效率通过平均体素遍历次数减少比率(Rtraverse)和推理时间加速(Sinfer)来评估,而质量则使用PSNR、SSIM和LPIPS来评估。H. GPU实现(PyCUDA)为了实现预测性中断条件的实时利用,系统使用PyCUDA实现。PyCUDA自然结合了Python级别的预处理和可视化灵活性与CUDA内核并行性,允许在统一的脚本环境中端到端管理数据加载→GPU传输→内核执行→结果收集。1) 环境和工具链Python(3.x)和PyCUDA与CUDA工具链结合使用。内核计时使用CUDA事件进行测量,主机级壁钟计时使用perf_counter。为了确保可重复性,随机种子和执行参数(步长Δs、阈值τ、帧窗口K、权重{wk}等)通过脚本参数固定并记录。2) 数据布局和传输体积ρt∈RX×Y×Z按连续的数组(行优先)布局排列,以便进行合并访问。帧元数据(分辨率、插值模式、传递函数参数)通过JSON管理,以最小化加载和设置成本。CPU–GPU传输使用页面锁定(固定)内存来优化带宽,并使用copyBatchAsync异步重叠帧流。3) 内核设计和并行化像素级光线投射采用每像素一个线程的策略,线程块按16×16排列(根据分辨率自动缩放)。每个线程以步长Δs沿着光线进行追踪,应用传递函数以获取颜色和不透明度,并执行前向-后向累积。如果累积不透明度Ak超过阈值τ,则提前终止循环(ET)。支持可选的3D纹理插值(线性),以减少高频区域的积分伪影。为了数值稳定性,默认使用32位浮点数,必要时可以使用混合精度(64位累积)。4) 预测性中断集成预计算的密度高速缓存Q(x)(累积前缀)和预测位移Δx?通过两个内核进行积分。(i)预测核:通过中心差分计算?ρt(适用于2D和3D数据),并使用加权平均和置信度门控累积Δx?跨K帧。(ii)光线核:在光线追踪过程中,在预测坐标x′=x+Δx?处查询Q(x′),以在累积之前进行提前终止(满足条件时跳过遍历)。两个内核都在同一个CUDA流中执行,根据访问模式将Q(?)存储在纹理或常量内存中。5) 流和重叠构建了一个多流管道,以便将帧t+1的数据传输/预测与帧t的光线累积重叠。事件定义依赖关系以避免危险,而异步传输和内核执行重叠以隐藏延迟。6) 分析和可重复性在采样循环和预测查询操作中识别出热点。优化指标包括纹理缓存命中率和分支发散。对于每种配置(分辨率、Δs、τ、K、{wk}),在热身之后进行了五次重复实验,报告平均值±标准差。所有代码-参数-数据路径都被记录下来,以确保可重复性,包括随机种子。7) 总结总之,PyCUDA实现:通过固定内存、异步传输和流重叠最小化了I/O瓶颈,在内核级别合并了预测、查询和提前终止,从而在累积之前允许跳过,并通过纹理/常量内存放置和合并访问最大化了内存效率。因此,与传统的累积方法相比,所提出的实现显著减少了平均样本数量和执行时间,同时保持了视觉准确性(最大误差≤0.03)和时间一致性。在我们的实现中,预计算的高速缓存Q(x)存储在GPU全局内存中,并通过CUDA纹理对象以只读方式访问。尽管早期的文本在概念上使用了“纹理或常量内存”这一术语,但对于多吉字节的高速缓存来说,常量内存是不可行的。因此,我们澄清Q(x)是作为绑定到纹理对象的全局内存实现的,这与报告的内存占用是一致的。I. 数据集分辨率和内存需求本研究中使用的数据集的分辨率和内存需求可以如下指定。我们实验中使用的主要体积数据是一个大小为800×800×800的三维标量场,每个体素以32位浮点格式存储(4字节)。因此,单个原始体积每帧大约需要2.05 GB的内存,这代表了在我们的PyCUDA环境中将一个体积加载到GPU内存所需的最小基线容量。此外,预测性中断条件所需的辅助字段、预计算的前缀高速缓存Q(x)和梯度场?ρt(x)都是以相同的分辨率计算的。相应的内存需求总结如下:预计算的密度前缀Q(x):约2.05 GB(float32),梯度场?ρ(3通道矢量场):约6.15 GB,置信度/残差图:几百MB的数量级,当所有字段同时保留时,总内存占用约为10–12 GB。实际上,为了提高GPU内存效率,前缀高速缓存存储在纹理或常量内存中,仅在需要多帧加权时保留梯度场,并通过逐帧交换/流处理不必要的字段。通过这些策略,GPU内存的使用峰值保持在8–10 GB范围内。实验在RTX 4090 GPU上进行,该GPU具有24 GB的VRAM。在NeuSmoke集成实验中,原始NeuSmoke流程大约需要8–10 GB的基线内存,而我们的无学习优化模块额外增加了约2–3 GB的内存使用。因此,整个系统在大约12 GB的GPU内存下稳定运行,同时保持实时性能。最后,本工作中使用的数据集分辨率(800×800×800)和内存需求在NeuSmoke、基于NeRF的演示系统以及之前的GPU体积渲染研究中报道的标准范围内。我们还确认,更高分辨率的数据集可以在相同的框架内处理,内存使用量大致呈线性扩展。VI. 实验结果A. 预测性中断条件的性能评估在本研究中,我们比较和分析了所提出的中断条件及其基于扩展的梯度向量的预测版本的性能。实验不仅关注渲染的视觉结果,还强调了每种优化对总计算时间的影响。图5显示了预测终止点随时间的变化(横轴)。蓝色曲线(停止条件)表明预测终止指数或累积的停止位置Bt随帧逐渐增加。这表明随着序列的进展,预测中断条件根据场景特征(如沿光线路径的逐渐密度扩散或平移)稳定更新。局部波动(大约在第350–420帧之间)被解释为对瞬态湍流或边界变化的保守调整,但总体趋势仍然是平滑的单调增加。图5. 随时间的自然梯度预测。蓝色:预测终止指数(每帧);橙色:预测平滑后的帧间斜率ΔBt。显示全部橙色曲线(斜率)代表帧间差异ΔBt=Bt?Bt?1,可视化了预测平滑和置信度门控后的有效变化率。这条曲线的接近零的行为表明帧间终止位置的变化得到了很好的规范化和平滑,这意味着(i)最小化了每帧的重新计算,以及(ii)即使在变化迅速的帧中,置信度门控(在不确定时切换到实时累积)也防止了质量下降。因此,预测性中断条件在大多数情况下只需要进行微小的更新,从而允许在数据积累之前提前做出终止决策,并持续减少平均样本数量和设备处理时间。总之,逐渐增加的蓝曲线和接近零的橙曲线的结合表明,预测性中断条件 (a) 在时间上是稳定的,(b) 在动态区域中是保守安全的,能够在整个动态体积序列中提供一致的计算节省。图6比较了应用所提方法前后的渲染结果。尽管预测性中断条件减少了图6a中的冗余体素积累,但与原始渲染(图6b)的视觉差异几乎不可察觉。从定量上看,相对于原始体积的最大密度差异被确认为≤0.03,这表明预测性终止不会过度截断有意义的贡献。图6. 应用我们方法前后的结果(使用不同的底色进行区分)。
从定性上看,细节结构的保留也非常明显。(1) 在上部湍流区域,边缘清晰度和细小烟雾的微妙曲率变化在两种结果中都是相同的,没有边界欠整合或光环伪影。(2) 在中等密度层,逐渐的密度下降被平滑地维持,再现了自然的色调过渡,没有条带效应或过度平滑。(3) 在接近地面接触的区域,接触阴影和半影宽度几乎相同,沿阴影边界的不透明度过渡也是一致的。这些观察结果确认了基于不透明度阈值的重启仅在贡献可以忽略的饱和区域起作用,而在高频边界区域则采取保守的操作。总之,图6a在减少计算量的同时保持了与图6b相当的边缘清晰度和色调连续性。因此,所提出的预测性中断条件有效地减少了累积的样本数量,而不降低视觉质量,即使在动态场景中也能提供稳定的结果,没有闪烁或边界抖动。图7展示了渲染结果(每个面板的上部)以及与基线相比的绝对误差分布(底部,彩虹色图)。面板(a)–(c)对应于不同的场景和时间步骤,选择它们是为了检查整体趋势和时间稳定性。图7. 使用我们方法的体积渲染结果(每个面板的上部)及其对应的误差图(底部,彩虹色图)。面板(a)–(c)显示不同的场景/时间步骤。较暖的颜色表示较大的绝对误差。
视觉质量:顶部面板显示,即使在边界明确的区域,如烟雾边缘或地面接触阴影,视觉保真度与基线相比也没有差异。低频密度梯度(平滑的强度变化)也被保留,且没有观察到条带效应或光环伪影。这表明预测性中断条件仅在饱和区域积极减少样本数,而在边界和高频区域则保持保守行为。误差分布分析:底部色图描绘了我们方法与基线之间的绝对误差的空间分布。高误差区域(暖色)局限于薄的外层烟雾或经历快速变化的局部湍流区域,而大部分体积显示冷色(低误差)。从定量上看,最大密度差异保持在≤0.03以内,确认了整体亮度、对比度和结构完整性得到了很好的保留。在连续的帧中,误差的空间模式保持一致,表明没有可见的闪烁或边界振荡,从而保持了时间上的连贯性。总体而言,图7表明所提出的方法在(1)保持边缘清晰度和色调连续性,(2)将误差限制在≤0.03以内,(3)确保时间稳定性方面显著降低了计算成本。因此,所提出的方法适用于实时体积渲染和大规模数据可视化。此外,该技术自然可以扩展到基于网格的3D标量场,如多层CT/MRI体积、气象3D场以及流体或燃烧模拟。例如,在医学成像中,它可以实现用于手术辅助的实时3D可视化;在气象学中,可以实现大规模预报场的交互式可视化;在模拟工作流中,可以在参数变化时提供即时反馈。
第七节 评估NeuSmoke集成中的效率
A. 评估目标
在本节中,我们将定量和定性评估所提出的预测性中断条件和基于梯度的预测信号在集成到NeuSmoke框架中时,减少了所需的数据(输入图像)和计算(体素遍历、推理时间),同时保持相同的视觉质量。这项工作的主要目标不是提高原始质量,而是实现实时效率提升,以更少的计算量维持等质量。
B. 评估协议
数据集:NeuSmoke中使用的多相机烟雾场景和流体/燃烧模拟数据集。
配置:800×800的帧分辨率;所有比较中的渲染参数(传递函数、τ、Δs、K等)都是相同的。
基线:原始NeuSmoke(基于训练的推理)与我们集成的变体(NeuSmoke + Predictive Addon)相比,后者具有预测性提前终止和基于梯度的采样控制。
指标:PSNR/SSIM/LPIPS(质量)、平均体素遍历比率(Rtraverse)、推理时间加速(Sinfer)和每帧平均计算量。
消融实验:(1) 仅基于梯度的采样;(2) 仅预测性提前终止(ET);(3) 仅第二阶段辅助特征注入;(4) 完整集成(A+B+C)。
C. 结果与分析
表2报告了将预测信号逐步集成到NeuSmoke第一/第二阶段时的结果。在保持基线质量(PSNR约为31.5 dB,SSIM约为0.93)的同时,平均体素遍历减少了多达42%,每帧推理时间缩短到了原来的0.75倍。
D. 单因素与完整集成对比
表3总结了每个预测模块的独立效果。(A) 仅基于梯度的重新分配样本到边界/高频区域,同时保持PSNR/SSIM,同时将体素遍历减少了大约10-15%。(B) 仅ET缩短了饱和段的集成时间,将平均体素遍历减少到约82%,并将推理时间减少到0.90倍。(C) 仅Aux通过第二阶段辅助图(Medge, Mres, Mconf)提高了LPIPS,但单独使用时计算节省有限。完整集成结合了(A)–(C),在保持等质量的情况下实现了最大的收益,体素遍历减少了42%,推理时间减少了25%。
表4报告了与完整积累基线相比的绝对渲染时间和相对加速。基线使用固定步长的标准光线遍历且没有提前终止,而仅ET配置应用了传统的不透明度阈值。所提出的方法结合了提前终止、预计算的缓存和预测性中断条件,在接近最佳情况下实现了高达19.8倍的加速。所有测量结果都以每帧毫秒为单位,在相同的渲染设置下报告。
表5总结了用于所有计时和加速测量的默认实验配置。除非另有说明,我们保持体积分辨率、步长Δs、不透明度阈值τ、最大遍历步长K、传递函数和相机设置相同,以确保公平和可重复的比较。所有结果都在表中列出的同一GPU平台上报告。
表6提供了在不同时间动态水平下基于梯度的预测稳定性的定量分析。随着高度湍流区域的梯度方差增加,置信度门控机制被更频繁地触发,选择性地禁用预测并恢复到标准光线遍历。没有门控时,高度动态区域表现出显著更大的最大不透明度误差,而启用门控有效地抑制了这些误差,并与基线保持视觉一致性。
E. 定性评估
图8展示了预测集成前后的视觉对比。即使在第一阶段进行预测集成后,边缘清晰度和高频细节仍然得到保留;通过添加第二阶段辅助图(Medge, Mres, Mconf),细小烟雾和接触阴影的色调过渡得到了进一步改善。在饱和区域,不必要的样本被剪除,减少了渲染时间;在连续帧中,没有观察到闪烁伪影。
F. 效率增益讨论
预测性中断条件缩短了第一阶段的光线积分段,而第二阶段的辅助图增强了边界感知细节的恢复,从而在不牺牲视觉质量的情况下提高了效率。通过将样本集中在信息量大的区域(通过重要性信号)并在饱和段抑制计算(通过预测性终止),该方法减少了计算量、时间和内存,同时达到了相同的等质量目标。
根据经验,我们观察到:在较小的(单相机)数据集上,等质量得以保持,推理时间平均减少了约25%;在多相机场景中,体素遍历时减少了约42%,推理时间减少了约25%;通过包括第二阶段辅助特征的完整集成,PSNR/SSIM得到保持,LPIPS得到降低。这些结果确认NeuSmoke + Predictive Addon作为实时可视化和模拟工作流的有效运行时优化,无需对训练流程进行任何修改。
第八节 讨论
应当明确的是,本工作中提到的“无需学习的优化框架”特指所提出的预测性中断条件和预计算的密度查询,两者都是作为独立的运行时优化模块,不需要训练或重新训练。NeuSmoke第二阶段中使用的CNN和神经表示与原始工作中完全相同,我们的方法没有引入任何额外的学习、微调或参数更新。因此,本研究的主要贡献不是构建一个新的基于学习的神经模型,而是在现有的学习模型之上插入一个完全无需学习的(仅运行时的)优化层,以减少计算量并提高效率。所提出的模块完全独立于已学习的组件运行,CNN仅在推理期间消耗我们方法生成的辅助线索;它不是所提出的“优化框架”本身的一部分。
A. 与经典加速技术的关系
为了提高体积渲染的计算效率,先前的工作引入了多种经典加速技术,如空空间跳跃、提前终止(ET)和自适应采样。空空间跳跃分析密度贡献可以忽略的区域,并跳过这些区域的光线遍历,而自适应采样通过根据局部密度变化或梯度大小调整步长来减少不必要的评估。这些方法的共同特点是它们主要利用单个帧内的空间属性。相反,所提出的预测性提前终止方法利用帧间的时间连续性作为关键资源。具体来说,它重用了前几帧中计算的累积不透明度前缀(prefix opacity)和梯度变化信息作为空间缓存,从而以预测方式缩短了后续帧中的光线遍历。因此,我们的方法并不是为了替代空空间跳跃或自适应采样等空间加速技术,而可以被解释为另一个可以并行操作并与它们结合的时间加速层。
此外,这种关系也反映在我们的实验结果中。虽然仅ET设置相对于完整积累提供了一定的加速效果,但我们的完整方法通过增加预测缓存和置信度门控进一步提高了加速效果。这些结果表明,我们的贡献在于减少了使用纯空间加速策略难以消除的时间冗余计算。因此,本工作并没有通过微小的变化来解决同一个问题,而是引入了一个沿时间轴的互补优化视角,以实现动态体积序列的实时渲染。B. 将预测性终止框架应用于NeuSmoke 在本节中,我们分析了如何将提出的预测性终止条件整合到NeuSmoke:高效的烟雾重建和带有神经传输场的视图合成[7]中,从而在不修改训练框架的情况下提高运行效率。NeuSmoke是一个两阶段框架:(1)使用神经传输场(NTFs)优化密度和变形场;(2)通过基于2D CNN的细节增强来提高视觉质量。通过将我们的预测信号(预计算的密度缓存Q(?)、预测位移Δx?和提前终止阈值τ)注入这两个阶段,我们在保持等质量的同时实现了运行时间的优化,减少了平均体素遍历和推理时间。
1) 整合点及效果
在第一阶段(NTF),我们应用预测性提前终止(先预测再跳过)策略,在不透明度超过阈值τ的区域停止数据积累,并使用基于梯度的位移Δx?来预估终止坐标。这减少了不必要的体素访问,同时保持了边界附近的精细采样。在第二阶段(CNN细化)中,我们添加了辅助特征图Medge、Mres、Mconf作为输入通道,以基于边界强度、残差和置信度来增强细节。结果,整个框架的推理时间减少了约25%,平均体素遍历时间减少了约40%,而无需额外的训练。
2) 错误与稳定性分析
图9比较了整合前后的视觉效果。整合预测性终止后,全局烟羽形状和柔和的体积边界得到了保持,高频区域(如丝状物和涡旋核心)的重建仍然清晰。误差图显示,大多数偏差仅限于局部快速变化的区域(从冷到热的区域),并没有在不同的视点之间扩散(图9.烟雾渲染结果。(a)通过将我们的预测性终止插件整合到NeuSmoke中获得的最终渲染结果。(b-d)在没有使用我们插件的情况下使用NeuSmoke时的误差图(彩虹色标;颜色越暖表示绝对误差越大):(b)与(a)相同的视点;(c-d)不同的视点,用于评估视点依赖性和时间稳定性。从数量上看,最大密度差异保持在≤0.03以内,这在视觉上是可以忽略的。
3) 视觉变化与后处理
图10展示了由NeuSmoke加上我们的预测性终止插件生成的同一基础密度场得出的几种后处理变体。(a)基础渲染保留了内部湍流、层流-湍流过渡以及涡旋核心周围的柔和边界。(b)仅调整了密度色调(例如伽马/曲线),提高了对比度并突出了细长的丝状物和低密度晕圈,而没有改变密度场(等密度)。(c)添加了地面平面阴影,产生了增强深度效果的接触阴影和半影,同时保持绝对误差不变。(d)应用了颜色分级和着色器变化(例如蓝色调),强调了烟羽边界的透明度梯度,展示了在同一密度基础上的风格灵活性。总体而言,(a)-(d)从视觉上确认了我们的插件在保持等质量的同时实现了效率提升(更少的样本/更短的时间);地面颜色/色调的差异(例如(c)-(d)之间)仅仅是视觉上的辅助,并不表示质量的优越性。在所有情况下,最大密度误差都保持在配置的阈值范围内(例如≤0.03)。
图10. 使用NeuSmoke和我们的预测性终止插件以及简单的后处理得到的烟雾渲染结果。(a)基础渲染(NeuSoft + 我们的插件)。(b)对密度场进行色调调整。(c)添加了地面平面阴影。(d)艺术性的颜色分级/着色器变体。
图11进一步展示了相同的 learned 密度场如何通过轻量级的后处理支持多种风格化的表现方式。从左到右,仅外观层——全局色调和颜色分级——发生了变化,而体积密度和传输映射保持不变。左边的两张图片(没有阴影)强调了颜色差异,但在接触区域减少了深度线索;右边的两张图片添加了自阴影和地面接触阴影,增强了空间感知,同时没有改变密度。这强调了我们的主要观点:所提出的插件旨在在保持等质量的前提下提高效率(保持密度/结构),而风格化选择(色调、颜色、阴影)可以在后续灵活应用。
4) 可重复性和实现指南
实验是在与公开NeuSmoke设置相同的场景和分辨率下进行的。我们的预测信号被应用于第一阶段的采样器/整合循环和第二阶段的深度渲染。所有指标(PSNR/SSIM/LPIPS、体素遍历比率、推理时间)都是在相同的条件下测量的。缓存Q(?)被放置在GPU纹理/常量内存中以提高缓存命中率,终止决策通过使用带掩码的算术实现,以最小化分支分歧。
C. 限制与失败模式
该框架旨在在保持等质量的前提下提高效率,但存在以下限制:湍流区域:当在快速变化或边界过渡区域的梯度方差较高时,置信度门控会切换到即时积累,暂时减少了可以节省的样本数量。虽然这种回退措施保持了视觉稳定性并防止了伪影,但在以这种动态为主的帧中,速度提升可能受到限制。极度稀疏的体积:对于占据率非常低或有大面积空区域的体积,传统的提前终止或空域跳过已经消除了大部分光线遍历。在这种情况下,时间预测和缓存的额外好处就会减少,因为可利用的时间冗余有限。视点变化:该方法假设帧与帧之间存在 moderate 的时间连贯性。当摄像机视点突然改变或在不同视角之间快速切换时,之前缓存的透明度前缀与当前光线路径之间的对应关系会减弱。因此,预测性终止更频繁地被门控禁用,性能提升可能会下降,尽管视觉正确性得到了保持。传输函数依赖性:ET阈值τ及相关参数取决于传输函数的规模和对比度;推荐的设置是τ∈[0.80,0.95],窗口长度L=8~16。领域差异:该方法针对基于网格的3D标量场(例如烟雾、CT/MRI体积、气象3D场)。对于以表面为主的场景,可能需要其他重要性函数或预测线索。内存层次结构敏感性:Q(x)的性能取决于GPU内存的位置;高分辨率或多场景部署可能需要重新调整以避免缓存未命中开销。
总之,我们的方法优先考虑在保持等质量的情况下提高效率,而不是绝对质量的提升。保守的置信度门控确保了在湍流动态和突然变化条件下的鲁棒性,而时间连贯的序列则受益于平均体素遍历和推理时间的显著减少。
IX. 未来工作
尽管本研究展示了基于时间连贯性的预测性提前终止的有效性,但仍有几个方向可以用于未来的研究。首先,对于空间空域占主导地位的极度稀疏体积,时间预测的好处可能会受到限制。一个重要的扩展是将提出的时间缓存与传统的空间加速技术(如空域跳过或分层数据结构)更紧密地整合,以共同利用空间和时间冗余。其次,当前的框架主要针对帧与帧之间视角变化适中的场景。将方法扩展到更鲁棒地处理快速摄像机运动或多视图设置是一个有前景的方向。可能的方法包括估计摄像机运动以适应性地调整缓存置信度,或执行视图空间对齐以改善跨视点的缓存透明度前缀的重用。第三,在高度湍流或强烈时间变化的区域,保守的置信度门控策略更重视鲁棒性而不是速度提升。未来的工作可以探索更具表现力的预测模型,这些模型结合了长期的时间模式或低维动态表示,能够在不牺牲稳定性的情况下实现更细粒度的置信度估计。最后,尽管本研究关注基于网格的标量体积,但时间缓存的累积量的核心思想可以推广到其他体积表示,例如神经辐射场或混合神经-网格模型。研究这些扩展可以扩展预测性、无学习加速在更广泛的动态3D渲染问题中的适用性。
X. 结论
本研究将预测性终止条件和预计算的密度缓存整合到NeuSmoke推理路径中,作为一种即插即用的运行时模块,从而在保持等质量的同时提高了实时效率。在第一阶段,先预测再跳过和自适应的近远/样本控制减少了整合长度和样本数量;在第二阶段,边界/残差/置信度驱动的辅助特征保持了视觉质量和时间稳定性。与原始NeuSmoke相比,集成系统实现了平均体素遍历减少42%,推理时间加快了0.75倍。在湍流帧中,置信度门控保证了安全回退。限制包括对传输函数的依赖性和缓存的内存层次结构敏感性。未来的工作将探索自适应阈值(例如θ,β,Δxmax)、多场景缓存策略以及更广泛的跨领域评估,以进一步推广该方法的应用范围。