通过屏幕空间最前方采样方法，基于感知引导的关键帧选择用于水粒子动画压缩

《IEEE Access》：Perceptually Guided Key Selection for Water Particle Animation Compression via Screen-Space Frontmost Sampling

　　摘要：本文提出了一种基于感知的关键帧选择框架，用于高效总结和压缩大规模3D水粒子模拟动画。传统的关键帧选择方法是为运动捕捉数据开发的，它们假设关节结构是固定的，并采用层次化表示。相比之下，水粒子数据在不同帧中的粒子数量会变化，并且缺乏任何内在的结构层次，这使得这些方法难以直接应用于水粒子数据。此外，直接在高维空间处理大量粒子会导致计算成本显著增加。为了解决这些问题，我们将粒子集投影到与相机对齐的屏幕空间中，并在固定分辨率的网格上进行最前面粒子的采样，每个单元格选择单个可见粒子。这种策略无论帧与帧之间的粒子数量如何变化，都能产生固定长度、固定维度的表示。另外，我们为每一帧定义了一个相对于质心的坐标系统，并应用基于距离的重要性加权，即使在没有明确结构参考点的情况下，也能够进行稳定的比较和近似成本评估。基于这种表示，我们应用了一种基于动态规划的优化关键帧选择算法，使用少量代表性帧来总结动画序列。实验结果表明，所提出的方法有效地保留了各种水模拟场景中的主导流动结构，同时大幅减少了帧数。重建误差主要集中在高速度区域和飞溅区域，表明动画的感知保真度得到了很好的保持。CCBY - IEEE并非该材料的版权持有者。请通过https://creativecommons.org/licenses/by/4.0/获取全文和API文档中的规定。

第一节 引言
基于水的模拟是电影、游戏和虚拟现实应用中视觉内容的基本组成部分。最近在基于粒子的流体模拟技术方面的进展使得生成高度复杂且真实的水动画成为可能。然而，这样的模拟通常每帧包含数千到数万个粒子，粒子数量和空间分布随时间显著变化。因此，模拟数据的存储、传输、编辑和重用仍然面临重大的计算和内存挑战。
长期以来，基于关键帧的表示一直被用作总结动画数据的有效手段。特别是对于运动捕捉数据，许多研究提出了通过利用固定的关节层次结构和预定义的自由度来选择最佳关键帧的方法，以最小化帧间近似误差。这些方法促进了动画编辑和压缩，并在被广泛采用的实际制作流程中得到了应用。相比之下，水粒子动画由没有固定拓扑或层次语义的非结构化点集组成，且粒子数量可能会随帧而变化。这一根本差异使得直接将基于运动的关键帧选择技术应用于水粒子数据变得困难。
此外，水粒子动画本质上是极高维的数据。如果将每一帧表示为所有粒子位置的向量，那么帧间距离评估和优化的计算成本会迅速增加。更严重的是，当粒子数量随帧变化时，表示本身的维度也会发生变化，使得直接的帧间比较和优化在结构上变得不可行。这些问题构成了将基于关键帧的压缩技术应用于水粒子动画的主要障碍。
为了解决这些挑战，本文提出了一种新的压缩框架，该框架将水粒子动画转换为具有感知意义的固定维度表示，并基于这种表示进行最佳关键帧选择。核心思想是将粒子集投影到与相机对齐的屏幕空间中，并在固定分辨率的网格上每个单元格最多采样一个可见（最前面的）粒子。这种策略确保了无论帧与帧之间的粒子数量如何变化，采样数量都是一致的。没有粒子的单元格被填充为虚拟的零值粒子，从而在所有帧中保持了一致的表示维度。
此外，水粒子数据缺乏运动捕捉中常用的关节层次结构或相对于根点的坐标系统。为了弥补这种结构上的不足，我们计算了每一帧的粒子分布的质心，并定义了一个相对于质心的坐标系统。我们进一步引入了一种基于距离的加权方案，假设靠近质心的粒子在视觉和结构上扮演更重要的角色。这使我们能够间接地为非结构化粒子集重建相对于根点的表示和重要性加权的概念。
基于这种固定维度的屏幕空间表示，我们应用了一种基于动态规划的最佳关键帧选择算法，以使用少量代表性帧来总结动画序列。实验结果表明，所提出的方法有效地保留了不同水模拟场景中的主导流动结构，同时大幅减少了帧数。重建误差主要集中在高速度和飞溅区域，表明动画的感知保真度得到了很大程度的保持。

第二节 相关工作
本节从四个方面回顾了与我们的方法相关的先前工作：（1）运动数据的关键帧/关键姿态选择和编辑，（2）基于粒子的流体模拟，（3）屏幕空间可见性、采样和基于点的渲染，以及（4）高维模拟和点云的数据还原和压缩。

A. 关键帧选择和运动编辑
基于关键帧的动画长期以来一直是制作流程中的标准表示方法，选择合适的关键帧对于运动捕捉编辑在可编辑性和保真度方面都至关重要。Roberts等人提出了一种方法，将运动捕捉帧解释为高维姿态空间中的点，定义了段近似误差作为边成本，并通过动态规划计算出一组最佳关键帧[1]。类似地，Lim和Thalmann提出了一种从曲线简化角度提取运动数据中的关键姿态的技术[2]。关键帧选择也与经典的代表性点选择和曲线简化问题密切相关，Ramer [9]和Douglas与Peucker [10]的算法提供了基于误差的基础标准。
虽然关键帧选择侧重于总结，但运动编辑研究强调在约束下的转换。Gleicher引入了具有时空约束的运动编辑，以保留原始运动的特性，同时满足用户约束[3]，后来又形式化了基于约束的运动适应[4]。Lee和Shin结合了层次曲线拟合和逆运动学，用于交互式编辑类似人类的运动[5]。运动图[6]和基于示例的运动生成[7]通过选择和过渡现有片段来构建新的运动，这在概念上与我们通过代表性帧选择来总结模拟序列的目标是一致的。视频纹理也通过帧相似性和过渡来合成任意长的序列[8]。

B. 基于粒子的流体模拟
流体模拟可以大致分为基于网格的方法和基于粒子的方法；本研究针对大规模的时间粒子数据。Stam的稳定流体方法[13]和Fedkiw等人的工作[14]为视觉上合理的烟雾和气体现象建立了数值技术，构成了图形流体模拟的基础。对于基于粒子的流体，基于SPH的交互式模拟被广泛采用[15]，Eurographics STAR报告提供了SPH方法及相关渲染和耦合问题的全面概述[17]。Macklin和Müller在基于位置的动态学框架内引入了基于位置的水流模拟，实现了适用于实时应用的稳定不可压缩流体模拟[16]。虽然这些方法能够生成高分辨率的水粒子数据，但高效总结大量随帧变化的粒子时间序列以进行编辑、传输或存储仍然是一个未解决的问题。

C. 屏幕空间采样和基于点的渲染
我们的方法不是在世界空间中处理所有粒子，而是优先考虑从相机视角来看感知上重要的信息，使用屏幕空间表示。在基于点的渲染中，Surfel[18]和表面飞溅[19]通过在屏幕空间中过滤和累积点样本来重建表面，证明了屏幕空间采样和聚合对于大规模点数据集的有效性。这些想法为我们在固定分辨率网格上选择可见粒子并构建一致表示的方法提供了方法论上的动机。

D. 高维动力学的数据还原和压缩
已经采用了模型还原技术来加速和简化大规模动态系统。Treuille等人引入了实时流体模拟的模型还原[20]，Kim等人提出了从小分辨率模拟中合成高频细节的小波湍流[21]。从几何角度来看，二次误差度量（QEM）网格简化[22]和基于点的多尺度表示[23]提供了控制误差的数据还原的代表性方法。
由于我们的输入类似于随时间变化的点集，点云压缩标准也相关。MPEG G-PCC（ISO/IEC 23090-9）[24]和V-PCC（ISO/IEC 23090-5）[25]高效地编码了点云的几何和属性，Draco是一个广泛使用的开源库，用于实际的网格和点云压缩[26]。然而，这些方法主要集中在每帧的编码效率上，而不是在整个时间序列中的最佳关键帧选择上。

E. 我们工作的定位
表1比较了用于总结和压缩大规模时变数据（特别是水粒子动画）的代表性方法，从固定维度表示、视图依赖性和关键选择的全局最优性方面进行评估。基于运动的最佳关键帧选择方法[1]假设固定的自由度和一致的索引，使其不适用于变化数量的粒子集，而点云压缩标准[24]则侧重于编码效率而非时间关键帧选择。我们的工作通过使用屏幕空间中的最前面采样来构建固定维度表示，通过相对于质心的坐标引入结构重要性，并通过动态规划全局选择代表性帧，从而克服了这些限制。

表1 比较了与总结/压缩时变数据和基于粒子的动画相关的方法。固定维度：是否在所有帧中都存在一致的固定长度表示。视图依赖性：是否明确包含了视图/可见性线索。最佳性：该方法是否在定义的成本下提供了全局最优的关键选择。符号?/△/× 表示每个标准的高/中等/低满意度。
最近，关于动态点云压缩的大量研究正在进行中，以提高大规模基于点数据的存储和传输效率。例如，Jiang等人[27]提出了一种在潜在空间中的端到端压缩网络，通过利用跨帧的运动信息实现了高效压缩。类似地，夏等人[28]介绍了一种基于学习的动态点云压缩方法，该方法结合了层次运动估计和帧间预测。最近的研究也探索了使用深度学习来有效利用动态点云中的时空相关性。例如，潘等人[29]提出了一个基于块的深度压缩框架，该框架利用结构块来捕捉动态点云中的帧间相似性。此外，罗等人[30]提出了一种动态点云压缩方法，该方法利用时空结构来减轻帧与帧之间的不对齐问题。这些研究主要关注利用点云数据中的空间或时空冗余来实现高效压缩。相比之下，当前的工作解决了一个不同的问题：粒子动画序列中的时间关键帧选择问题，其目标不是压缩单个帧的几何信息，而是从序列中选择具有感知代表性的帧。具体来说，我们提出了一种框架，它结合了屏幕空间表示和基于动态规划的关键帧选择策略，以高效地总结可变数量的粒子动画，同时保留感知上重要的流动结构。总之，以前的工作可以分为（1）结构化运动数据的关键帧选择[1]、[2]，（2）基于粒子的流体模拟[15]、[16]、[17]，（3）用于点处理的屏幕空间采样和聚合[18]、[19]，以及（4）动态和几何数据的减少和压缩[20]、[21]、[24]。本工作的特点是提出了一个框架，通过屏幕空间最前沿采样和基于动态规划的最优关键帧选择来总结非结构化的、可变维度的水粒子时间序列。

第三节 提出的框架

本文提出了一个框架，用于将大规模3D水粒子动画总结为一小组代表性帧，该方法包括：（1）将可变数量的粒子集合转换为固定维度的表示，（2）为没有结构层次的粒子数据引入重要性加权，以及（3）执行最小化帧间近似误差的最优关键帧选择。图1提供了所提出的水粒子动画压缩框架的概述。该框架首先将基于粒子的模拟数据转换为具有感知意义的固定维度表示，然后基于此表示进行全局关键帧选择。

图1. 所提出的水粒子动画压缩框架的概述。该流程首先使用最前沿采样将粒子序列转换为固定维度的屏幕空间表示，然后应用质心相对归一化和基于距离的加权来捕捉感知上重要的结构。最后，评估段近似成本，并使用动态规划选择最优关键帧。

输入的粒子序列被表示为一个非结构化的点集，其中每个帧包含数千个水粒子。在第一阶段，将每个帧的粒子相对于相机视图投影到屏幕空间。然后在一个固定分辨率的H×W网格上进行最前沿采样。当多个粒子落在同一个网格单元中时，只选择离相机最近的粒子。这个过程在将每个帧转换为一致的固定维度表示的同时，保留了视觉上重要的粒子信息。接下来，为了减少全局平移对粒子集的影响，计算每个帧的粒子分布的质心，并应用质心相对归一化。此外，在假设靠近质心的粒子倾向于包含相对更重要的结构信息的假设下，引入了基于距离的加权。这种加权方案允许表示反映集合内粒子的结构重要性。

在构建了归一化表示之后，计算所有帧间隔的段近似成本。该成本衡量了使用线性插值近似两个关键帧之间的帧时发生的最大偏差。成本函数旨在有效捕捉在短时间间隔内发生的感知上显著的流体运动变化，如飞溅或碰撞。最后，基于计算出的段成本，使用动态规划全局选择最小化整个序列中累积重建误差的关键帧集。与均匀时间采样不同，这种优化过程为动态变化较大的段分配更多的关键帧，从而在实现高效动画压缩的同时保留了重要的流体运动结构。

因此，所提出的框架即使对于帧间粒子数量变化的水粒子动画也能构建一个一致的表示空间。这使得在保留感知上重要的流体流动模式的同时，能够高效地进行基于关键帧的数据压缩。

A. 问题描述

水粒子动画被表示为随时间演变的粒子集序列。我们定义第t帧的粒子集为 Pt={p(i)t∈R3∣i=1,…,Nt}(1)，其中Nt可能随帧而变化。我们的目标是在使用大小为K?T的关键帧索引集K={k1,k2,…,kK}（1=k1段落近似成本被定义为这些中间帧与线性段的最大垂直偏差。图中显示的垂直偏差表示在该段内偏差最大的帧，这个值直接对应于关键帧对（i,j）的段落成本ei,j。与基于平均误差的公式不同，这种成本定义能够有效地捕捉到短时间但显著的形状变化和感知上重要的流动事件。因此，段落近似成本指导动态规划优化来选择保留视觉上显著变化的关键帧，从而有助于对水粒子动画进行感知上忠实的总结。

E. 通过动态规划进行最佳关键帧选择

整个序列中的最佳关键帧选择被构建为一个有向图上的最短路径问题，其节点对应于各个帧。每个节点代表一个帧索引t∈{1,…,T}，边（i,j）的成本由前一小节定义的段落成本ei,j给出。当关键帧的数量被限制为K时，让C(k,j)表示使用k个关键帧到达帧j的最小累积成本。然后得到以下动态规划递归关系：
C(1,j) = e1,j, = min{i15: 结束循环
16: 结束循环
17: 回溯最优路径以恢复关键帧集 k

返回 k

g. 复杂度和实现细节

设 t 表示帧的数量，d=3h×w 表示屏幕空间表示的维度。屏幕空间最前方采样阶段将粒子投影到屏幕空间，并将它们栅格化到 h×w 网格上，每个帧的计算成本与每帧的粒子数量成线性关系。由于帧是独立处理的，这个阶段非常适合并行化。

流程中最计算密集的部分是计算所有帧对（i,j）的段落近似成本 ei,j。在简单的实现中，这需要检查每个 o(t2) 段中的最多 o(t) 个中间帧，导致理论复杂度为 o(t3d)。实际上，采取了以下策略来减少计算负担：（i）强制执行最小关键帧间隔 δmin 以排除非常短的段落，（ii）设定最大段落长度，以及（iii）在时间上下采样的帧上评估近似成本。roberts 等人也提出了类似的实际策略 [1]。

动态规划阶段的计算复杂度为 o(kt2)。在典型的压缩场景中，当 k?t 时，这部分成本占总运行时间的比例相对较小。重要的是，因为所提出的屏幕空间表示对所有帧保持固定的维度 d，即使在粒子数量随时间变化的情况下，距离计算和成本评估也保持稳定。

所提出的框架不修改流体模拟过程本身，可以作为现有模拟输出的后期处理步骤。此外，最前方采样和段落成本计算都可以在帧或段落级别上进行并行化，使得该方法非常适合在 gpu 加速的环境中高效实现。

第四部分 实验设置

为了评估所提出方法的性能，我们在多个具有不同粒子数量和流动动态的三维水粒子模拟序列上进行了实验。本研究中使用的水粒子动画序列不是从公共数据集中获取的，而是专门为该研究使用基于粒子的流体模拟生成的。这些模拟是使用基于平滑粒子流体动力学（sph）的流体模拟方法产生的。sph 是计算机图形学中广泛使用的一种基于粒子的模拟技术，用于表示自由表面流体。通过模拟粒子之间的相互作用，sph 能够稳定地模拟水流、碰撞、湍流和飞溅现象。

在实验中，生成了几个具有不同动态特性的水流场景。例如，u 形走廊场景包括循环流动和由于与走廊墙壁碰撞而引起的粒子重新分布。移动的两个盒子场景模拟了局部流动变化以及流体与两个移动障碍物之间的相互作用产生的波纹模式。在落水到悬崖的场景中，水在重力作用下下落，并在与地面碰撞时产生碰撞和飞溅事件。水碰撞场景表示两个相反水流之间的相互作用，产生复杂的湍流和粒子扩散模式。

每个序列包含一组包含数千个粒子 的三维水粒子，形成了一种非结构化的点集表示，其中粒子的数量及其空间分布随帧而变化。这些序列的长度大约在 90 到 280 帧之间，具体取决于场景。这些序列用于评估在不同压缩比率下所提出的基于关键帧选择的动画压缩方法的性能。

除非另有说明，所有实验都是使用固定的相机视角进行的。粒子使用标准的透视相机模型投影到屏幕空间。屏幕空间网格的分辨率在所有帧中保持一致，以确保表示维度的统一性。作为默认设置，使用了 h×w=32×32 的网格分辨率，这在视觉保真度和计算效率之间提供了合理的平衡。

在质心相对距离加权中使用的比例参数 σ 与屏幕空间中粒子分布的空间范围成正比。在每个实验中，对所有帧使用固定的 σ 值，以保持时间一致性并防止成本计算中的偏差。

选定的关键帧数量 k 被选为显著少于总帧数 t。为了评估不同的压缩比率，实验使用了不同的 k 值，同时始终包括第一和最后一帧作为关键帧。

根据选定的关键帧集，在固定维度表示空间中通过线性插值重构中间帧。为了定量评估重构精度，重构误差被计算为重构粒子位置与屏幕空间中原始粒子位置之间的平均欧几里得距离。这个指标反映了插值后的粒子分布与表示中使用的相机视角下的原始模拟数据的匹配程度。

重构误差被计算为重构粒子位置与屏幕空间中原始粒子位置之间的平均欧几里得距离。这个指标反映了插值帧在保持从相机视角观察到的可见粒子分布方面的准确性。

然后使用段落近似成本和视觉检查将重构序列与原始动画进行比较，使我们能够分析所提出方法在保留感知上重要的流动模式方面的有效性。

除了定性分析外，我们还将所提出的方法与一个简单的基线关键帧选择策略进行了比较。在可能的基线中，选择了均匀时间采样，因为它可以直接应用于粒子动画序列，而不需要固定的拓扑结构或一致的粒子索引。

许多现有的关键帧选择方法是为结构化运动数据设计的，例如人体运动捕捉，其中状态向量的维度是固定的，并且有一个一致的骨骼结构。相比之下，水粒子动画由非结构化的点集组成，其基数随时间变化，这使得这些方法的直接应用变得困难。类似地，几何压缩方法如 g-pcc 或 draco 主要关注在每帧基础上高效编码点云几何，而不是选择代表性的帧。因此，均匀采样被用作评估时间关键帧选择性能的实用基线。

第五部分 实验结果

本节展示了所提出的基于感知的关键帧选择方法的有效性和实用性的实验结果。实验在多个具有不同动态特性的水粒子模拟场景上进行。对于每个场景，我们比较了原始动画和基于选定关键帧通过插值重建的序列，使用了定性和定量评估。

特别是，我们分析了在不同压缩比率下视觉质量的保持情况、选定关键帧的时间分布特征，以及插值引入的重构误差的空间分布。通过这些分析，我们展示了所提出的方法如何保留全局流动结构以及感知上重要的局部事件。以下部分中呈现的所有结果都是使用相同的相机配置和相同的屏幕空间表示参数获得的，确保了公平和一致的比较。

图 5 展示了使用所提出的最佳关键帧选择方法对 u 形走廊场景进行压缩的结果的定性比较。每一行对应于以不同比率压缩的同一场景，每行中的四个快照显示了序列过程中代表性的时间点，说明了粒子分布。图 5. u 形走廊场景下水粒子动画压缩的定性比较。每行显示了从粒子数据渲染的四个代表性帧。

图 5a 显示了由总共 229 帧组成的原始水粒子数据。随着水流在走廊内的发展，整个序列中连续观察到了主要的动态行为。特别是，沿着墙壁形成的大粒子积聚区域、碰撞后的局部向上飞溅和喷射，以及沿 u 形路径的旋转和循环流动模式都非常清晰可见。

图 5b 显示了帧数减少了 25% 的结果。与原始序列相比，几乎观察不到明显的结构差异。大尺度体积流动结构和由碰撞和反射引起的宏观变化得到了稳定保留。关键帧在视觉上重要的事件周围被充分选择，从而整体动态感与原始效果非常接近。这表明所提出的方法不依赖于均匀时间采样，而是在近似成本较大的段落中更密集地分配关键帧，从而优先考虑感知上显著的变化。

图 5c 对应于帧数减少了 50% 的情况。虽然主要的流动结构仍然被保留，但在更细小的粒子事件中逐渐出现了差异。例如，高频现象如薄水层或短时间内发生的细小喷射在密度上有所平滑或减弱。尽管如此，全局流动方向和大型流体质量的运动，由于走廊几何的强烈约束，仍然相对稳定。这证实了即使在适度压缩的情况下，场景的 essential visual behavior 也没有严重退化。

最后，图 5d 显示了帧数减少了 70% 的结果，对应于高度激进的压缩设置。在这种情况下，整体进程和大型流体质量的位置仍然得到保持，但短时事件（如碰撞后的突然飞溅、短暂形成的薄结构）以及局部粒子峰值更频繁地被省略或简化。 + ei,j] 15: 结束循环 16: 结束循环 17: 回溯最优路径以恢复关键帧集 k 返回 k g. 复杂度和实现细节 设 t 表示帧的数量，d=3H×W 表示屏幕空间表示的维度。屏幕空间最前方采样阶段将粒子投影到屏幕空间，并将它们栅格化到 h×w 网格上，每个帧的计算成本与每帧的粒子数量成线性关系。由于帧是独立处理的，这个阶段非常适合并行化。 流程中最计算密集的部分是计算所有帧对（i,j）的段落近似成本 ei,j。在简单的实现中，这需要检查每个 o(t2) 段中的最多 o(t) 个中间帧，导致理论复杂度为 o(t3d)。实际上，采取了以下策略来减少计算负担：（i）强制执行最小关键帧间隔 δmin 以排除非常短的段落，（ii）设定最大段落长度，以及（iii）在时间上下采样的帧上评估近似成本。roberts 等人也提出了类似的实际策略 [1]。 动态规划阶段的计算复杂度为 o(kt2)。在典型的压缩场景中，当 k?t 时，这部分成本占总运行时间的比例相对较小。重要的是，因为所提出的屏幕空间表示对所有帧保持固定的维度 d，即使在粒子数量随时间变化的情况下，距离计算和成本评估也保持稳定。 所提出的框架不修改流体模拟过程本身，可以作为现有模拟输出的后期处理步骤。此外，最前方采样和段落成本计算都可以在帧或段落级别上进行并行化，使得该方法非常适合在 gpu 加速的环境中高效实现。 第四部分 实验设置 为了评估所提出方法的性能，我们在多个具有不同粒子数量和流动动态的三维水粒子模拟序列上进行了实验。本研究中使用的水粒子动画序列不是从公共数据集中获取的，而是专门为该研究使用基于粒子的流体模拟生成的。这些模拟是使用基于平滑粒子流体动力学（sph）的流体模拟方法产生的。sph 是计算机图形学中广泛使用的一种基于粒子的模拟技术，用于表示自由表面流体。通过模拟粒子之间的相互作用，sph 能够稳定地模拟水流、碰撞、湍流和飞溅现象。 在实验中，生成了几个具有不同动态特性的水流场景。例如，u 形走廊场景包括循环流动和由于与走廊墙壁碰撞而引起的粒子重新分布。移动的两个盒子场景模拟了局部流动变化以及流体与两个移动障碍物之间的相互作用产生的波纹模式。在落水到悬崖的场景中，水在重力作用下下落，并在与地面碰撞时产生碰撞和飞溅事件。水碰撞场景表示两个相反水流之间的相互作用，产生复杂的湍流和粒子扩散模式。 每个序列包含一组包含数千个粒子 的三维水粒子，形成了一种非结构化的点集表示，其中粒子的数量及其空间分布随帧而变化。这些序列的长度大约在 90 到 280 帧之间，具体取决于场景。这些序列用于评估在不同压缩比率下所提出的基于关键帧选择的动画压缩方法的性能。 除非另有说明，所有实验都是使用固定的相机视角进行的。粒子使用标准的透视相机模型投影到屏幕空间。屏幕空间网格的分辨率在所有帧中保持一致，以确保表示维度的统一性。作为默认设置，使用了 h×w=32×32 的网格分辨率，这在视觉保真度和计算效率之间提供了合理的平衡。 在质心相对距离加权中使用的比例参数 σ 与屏幕空间中粒子分布的空间范围成正比。在每个实验中，对所有帧使用固定的 σ 值，以保持时间一致性并防止成本计算中的偏差。 选定的关键帧数量 k 被选为显著少于总帧数 t。为了评估不同的压缩比率，实验使用了不同的 k 值，同时始终包括第一和最后一帧作为关键帧。 根据选定的关键帧集，在固定维度表示空间中通过线性插值重构中间帧。为了定量评估重构精度，重构误差被计算为重构粒子位置与屏幕空间中原始粒子位置之间的平均欧几里得距离。这个指标反映了插值后的粒子分布与表示中使用的相机视角下的原始模拟数据的匹配程度。 重构误差被计算为重构粒子位置与屏幕空间中原始粒子位置之间的平均欧几里得距离。这个指标反映了插值帧在保持从相机视角观察到的可见粒子分布方面的准确性。 然后使用段落近似成本和视觉检查将重构序列与原始动画进行比较，使我们能够分析所提出方法在保留感知上重要的流动模式方面的有效性。 除了定性分析外，我们还将所提出的方法与一个简单的基线关键帧选择策略进行了比较。在可能的基线中，选择了均匀时间采样，因为它可以直接应用于粒子动画序列，而不需要固定的拓扑结构或一致的粒子索引。 许多现有的关键帧选择方法是为结构化运动数据设计的，例如人体运动捕捉，其中状态向量的维度是固定的，并且有一个一致的骨骼结构。相比之下，水粒子动画由非结构化的点集组成，其基数随时间变化，这使得这些方法的直接应用变得困难。类似地，几何压缩方法如 g-pcc 或 draco 主要关注在每帧基础上高效编码点云几何，而不是选择代表性的帧。因此，均匀采样被用作评估时间关键帧选择性能的实用基线。 第五部分 实验结果 本节展示了所提出的基于感知的关键帧选择方法的有效性和实用性的实验结果。实验在多个具有不同动态特性的水粒子模拟场景上进行。对于每个场景，我们比较了原始动画和基于选定关键帧通过插值重建的序列，使用了定性和定量评估。 特别是，我们分析了在不同压缩比率下视觉质量的保持情况、选定关键帧的时间分布特征，以及插值引入的重构误差的空间分布。通过这些分析，我们展示了所提出的方法如何保留全局流动结构以及感知上重要的局部事件。以下部分中呈现的所有结果都是使用相同的相机配置和相同的屏幕空间表示参数获得的，确保了公平和一致的比较。 图 5 展示了使用所提出的最佳关键帧选择方法对 u 形走廊场景进行压缩的结果的定性比较。每一行对应于以不同比率压缩的同一场景，每行中的四个快照显示了序列过程中代表性的时间点，说明了粒子分布。图 5. u 形走廊场景下水粒子动画压缩的定性比较。每行显示了从粒子数据渲染的四个代表性帧。 图 5a 显示了由总共 229 帧组成的原始水粒子数据。随着水流在走廊内的发展，整个序列中连续观察到了主要的动态行为。特别是，沿着墙壁形成的大粒子积聚区域、碰撞后的局部向上飞溅和喷射，以及沿 u 形路径的旋转和循环流动模式都非常清晰可见。 图 5b 显示了帧数减少了 25% 的结果。与原始序列相比，几乎观察不到明显的结构差异。大尺度体积流动结构和由碰撞和反射引起的宏观变化得到了稳定保留。关键帧在视觉上重要的事件周围被充分选择，从而整体动态感与原始效果非常接近。这表明所提出的方法不依赖于均匀时间采样，而是在近似成本较大的段落中更密集地分配关键帧，从而优先考虑感知上显著的变化。 图 5c 对应于帧数减少了 50% 的情况。虽然主要的流动结构仍然被保留，但在更细小的粒子事件中逐渐出现了差异。例如，高频现象如薄水层或短时间内发生的细小喷射在密度上有所平滑或减弱。尽管如此，全局流动方向和大型流体质量的运动，由于走廊几何的强烈约束，仍然相对稳定。这证实了即使在适度压缩的情况下，场景的 essential visual behavior 也没有严重退化。 最后，图 5d 显示了帧数减少了 70%>15: 结束循环
16: 结束循环
17: 回溯最优路径以恢复关键帧集 k

返回 k

g. 复杂度和实现细节

设 t 表示帧的数量，d=3h×w 表示屏幕空间表示的维度。屏幕空间最前方采样阶段将粒子投影到屏幕空间，并将它们栅格化到 h×w 网格上，每个帧的计算成本与每帧的粒子数量成线性关系。由于帧是独立处理的，这个阶段非常适合并行化。

流程中最计算密集的部分是计算所有帧对（i,j）的段落近似成本 ei,j。在简单的实现中，这需要检查每个 o(t2) 段中的最多 o(t) 个中间帧，导致理论复杂度为 o(t3d)。实际上，采取了以下策略来减少计算负担：（i）强制执行最小关键帧间隔 δmin 以排除非常短的段落，（ii）设定最大段落长度，以及（iii）在时间上下采样的帧上评估近似成本。roberts 等人也提出了类似的实际策略 [1]。

动态规划阶段的计算复杂度为 o(kt2)。在典型的压缩场景中，当 k?t 时，这部分成本占总运行时间的比例相对较小。重要的是，因为所提出的屏幕空间表示对所有帧保持固定的维度 d，即使在粒子数量随时间变化的情况下，距离计算和成本评估也保持稳定。

所提出的框架不修改流体模拟过程本身，可以作为现有模拟输出的后期处理步骤。此外，最前方采样和段落成本计算都可以在帧或段落级别上进行并行化，使得该方法非常适合在 gpu 加速的环境中高效实现。

第四部分 实验设置

为了评估所提出方法的性能，我们在多个具有不同粒子数量和流动动态的三维水粒子模拟序列上进行了实验。本研究中使用的水粒子动画序列不是从公共数据集中获取的，而是专门为该研究使用基于粒子的流体模拟生成的。这些模拟是使用基于平滑粒子流体动力学（sph）的流体模拟方法产生的。sph 是计算机图形学中广泛使用的一种基于粒子的模拟技术，用于表示自由表面流体。通过模拟粒子之间的相互作用，sph 能够稳定地模拟水流、碰撞、湍流和飞溅现象。

在实验中，生成了几个具有不同动态特性的水流场景。例如，u 形走廊场景包括循环流动和由于与走廊墙壁碰撞而引起的粒子重新分布。移动的两个盒子场景模拟了局部流动变化以及流体与两个移动障碍物之间的相互作用产生的波纹模式。在落水到悬崖的场景中，水在重力作用下下落，并在与地面碰撞时产生碰撞和飞溅事件。水碰撞场景表示两个相反水流之间的相互作用，产生复杂的湍流和粒子扩散模式。

每个序列包含一组包含数千个粒子 的三维水粒子，形成了一种非结构化的点集表示，其中粒子的数量及其空间分布随帧而变化。这些序列的长度大约在 90 到 280 帧之间，具体取决于场景。这些序列用于评估在不同压缩比率下所提出的基于关键帧选择的动画压缩方法的性能。

除非另有说明，所有实验都是使用固定的相机视角进行的。粒子使用标准的透视相机模型投影到屏幕空间。屏幕空间网格的分辨率在所有帧中保持一致，以确保表示维度的统一性。作为默认设置，使用了 h×w=32×32 的网格分辨率，这在视觉保真度和计算效率之间提供了合理的平衡。

在质心相对距离加权中使用的比例参数 σ 与屏幕空间中粒子分布的空间范围成正比。在每个实验中，对所有帧使用固定的 σ 值，以保持时间一致性并防止成本计算中的偏差。

选定的关键帧数量 k 被选为显著少于总帧数 t。为了评估不同的压缩比率，实验使用了不同的 k 值，同时始终包括第一和最后一帧作为关键帧。

根据选定的关键帧集，在固定维度表示空间中通过线性插值重构中间帧。为了定量评估重构精度，重构误差被计算为重构粒子位置与屏幕空间中原始粒子位置之间的平均欧几里得距离。这个指标反映了插值后的粒子分布与表示中使用的相机视角下的原始模拟数据的匹配程度。

重构误差被计算为重构粒子位置与屏幕空间中原始粒子位置之间的平均欧几里得距离。这个指标反映了插值帧在保持从相机视角观察到的可见粒子分布方面的准确性。

然后使用段落近似成本和视觉检查将重构序列与原始动画进行比较，使我们能够分析所提出方法在保留感知上重要的流动模式方面的有效性。

除了定性分析外，我们还将所提出的方法与一个简单的基线关键帧选择策略进行了比较。在可能的基线中，选择了均匀时间采样，因为它可以直接应用于粒子动画序列，而不需要固定的拓扑结构或一致的粒子索引。

许多现有的关键帧选择方法是为结构化运动数据设计的，例如人体运动捕捉，其中状态向量的维度是固定的，并且有一个一致的骨骼结构。相比之下，水粒子动画由非结构化的点集组成，其基数随时间变化，这使得这些方法的直接应用变得困难。类似地，几何压缩方法如 g-pcc 或 draco 主要关注在每帧基础上高效编码点云几何，而不是选择代表性的帧。因此，均匀采样被用作评估时间关键帧选择性能的实用基线。

第五部分 实验结果

本节展示了所提出的基于感知的关键帧选择方法的有效性和实用性的实验结果。实验在多个具有不同动态特性的水粒子模拟场景上进行。对于每个场景，我们比较了原始动画和基于选定关键帧通过插值重建的序列，使用了定性和定量评估。

特别是，我们分析了在不同压缩比率下视觉质量的保持情况、选定关键帧的时间分布特征，以及插值引入的重构误差的空间分布。通过这些分析，我们展示了所提出的方法如何保留全局流动结构以及感知上重要的局部事件。以下部分中呈现的所有结果都是使用相同的相机配置和相同的屏幕空间表示参数获得的，确保了公平和一致的比较。

图 5 展示了使用所提出的最佳关键帧选择方法对 u 形走廊场景进行压缩的结果的定性比较。每一行对应于以不同比率压缩的同一场景，每行中的四个快照显示了序列过程中代表性的时间点，说明了粒子分布。图 5. u 形走廊场景下水粒子动画压缩的定性比较。每行显示了从粒子数据渲染的四个代表性帧。

图 5a 显示了由总共 229 帧组成的原始水粒子数据。随着水流在走廊内的发展，整个序列中连续观察到了主要的动态行为。特别是，沿着墙壁形成的大粒子积聚区域、碰撞后的局部向上飞溅和喷射，以及沿 u 形路径的旋转和循环流动模式都非常清晰可见。

图 5b 显示了帧数减少了 25% 的结果。与原始序列相比，几乎观察不到明显的结构差异。大尺度体积流动结构和由碰撞和反射引起的宏观变化得到了稳定保留。关键帧在视觉上重要的事件周围被充分选择，从而整体动态感与原始效果非常接近。这表明所提出的方法不依赖于均匀时间采样，而是在近似成本较大的段落中更密集地分配关键帧，从而优先考虑感知上显著的变化。

图 5c 对应于帧数减少了 50% 的情况。虽然主要的流动结构仍然被保留，但在更细小的粒子事件中逐渐出现了差异。例如，高频现象如薄水层或短时间内发生的细小喷射在密度上有所平滑或减弱。尽管如此，全局流动方向和大型流体质量的运动，由于走廊几何的强烈约束，仍然相对稳定。这证实了即使在适度压缩的情况下，场景的 essential visual behavior 也没有严重退化。

最后，图 5d 显示了帧数减少了 70% 的结果，对应于高度激进的压缩设置。在这种情况下，整体进程和大型流体质量的位置仍然得到保持，但短时事件（如碰撞后的突然飞溅、短暂形成的薄结构）以及局部粒子峰值更频繁地被省略或简化。>换句话说，在高压缩比下，流体的整体“轮廓”得以保留，而原始序列中存在的高频率细节和瞬态变形则会逐渐丢失，这揭示了一个固有的权衡。总体而言，图5表明，所提出的基于最佳关键帧的压缩方法可以在保持原始动画的感知行为的同时，有效减少帧数（例如，在25%到50%的压缩比例下）。在非常高的压缩比例下（例如70%），主要的流动结构仍然得以保留，但细微的喷射和短暂的事件可能会丢失，这可以解释为随着压缩比的增加而自然发生的质量下降。因此，在实际应用中，通过平衡目标视觉质量和所需的数据压缩量来选择合适的压缩比例（或关键帧预算）是可取的。图6可视化了图5中U形走廊场景在不同压缩比（25%、50%和70%）下所选最佳关键帧的时间分布。每个子图显示了基于动态规划的优化在整个229帧序列的时间轴上选择了哪些帧作为关键帧。因此，图6不仅仅展示了帧数的减少，还定量说明了可用关键帧预算是如何随时间分配的。图6显示了在不同压缩比下U形走廊场景中选出的最佳关键帧的分布情况。每个子图显示了在整个时间线上（总帧数：229）哪些帧被选为关键帧，其中垂直标记表示被选中的帧。(a) 25%的压缩比。(b) 50%的压缩比。(c) 70%的压缩比。随着压缩比的增加，被选中的关键帧变得更为稀疏，并且集中在时间上复杂的区域，反映了基于动态规划的关键帧预算的优化分配。图6a显示了25%压缩比下的关键帧分布。由于关键帧预算相对充足，因此大多数序列中选中的帧之间的时间间隔不会变得过大，并且在流动发生快速变化的区间内观察到更密集的选择。这种行为反映了优化目标，即优先分割具有较大近似成本的段落。因此，关键帧在视觉上重要的区域被密集放置，从而能够稳定地保留原始的动态效果。图6b对应于50%的压缩比设置。与(a)相比，关键帧之间的总体间隔增加了，但动态变化显著的区域仍然显示出相对密集的选择。这表明即使关键帧预算减少，优化也不会简单地将序列均匀稀疏化，就像等间隔采样那样。相反，它优先处理包含复杂流动变化的区间（例如，碰撞、反射、飞溅和局部形状变化），从而在全局压缩和局部质量保留之间取得了平衡。图6c显示了70%压缩比下的结果，此时关键帧预算受到严格限制。在这种情况下，选中的关键帧总体非常稀疏，长时间内变化相对平稳的区间往往由一对关键帧来近似。尽管预算有限，但在发生突然变化的时间范围内，关键帧仍被更密集地分配。这种行为源于基于最大偏差的段落成本设置，该设置旨在最小化最大的近似误差，从而鼓励分割包含事件性变化的段落。总之，图6表明，所提出的基于动态规划的关键帧选择方法并不会随着压缩比的增加而均匀减少关键帧。相反，它会优先将可用的关键帧预算分配给具有显著流动变化的时间复杂区域。这种分布特征与图5中显示的定性结果一致，并解释了为什么在低到中等压缩比例下主要事件能够得到很好的保留，而在更高压缩比例下一些短暂事件会被省略。图7可视化了使用所提出的基于关键帧的压缩方法得到的水粒子动画与原始动画之间的逐粒子重建误差。每个粒子根据其相对于原始动画的位置误差的大小进行颜色编码，其中较大的误差映射到较高的误差值。由于所提出的方法首先选择最佳关键帧，然后通过线性插值重建中间帧，因此观察到的大部分误差并非来自关键帧本身，而是来自插值过程中自然引入的近似误差。如图7所示，整体粒子分布的误差水平非常低，大规模流动结构和连贯的水体体积的再现几乎与原始序列完全相同。相对较大的误差通常发生在粒子在短时间内表现出高速度或快速形状变化的局部区域。特别是在粒子与墙壁或障碍物碰撞后立即出现的飞溅区域，以及薄水层迅速形成和消散的区域，偏差更为明显。在这些情况下，帧与帧之间的运动高度非线性，使得线性插值难以完全捕捉到潜在的动态。然而，这些误差主要局限于高频、短暂的粒子事件，并且不会显著影响宏观的流动方向或场景的主要动态模式。这表明，所提出的方法通过在关键帧选择阶段优先考虑感知上重要的帧，使得尽管无法完全避免由插值引起的误差，但不会转化为感知上的明显差异。总之，图7表明，所提出的基于最佳关键帧的压缩方法在压缩比增加时并不会均匀减少关键帧。相反，它会优先将可用的关键帧预算分配给具有显著流动变化的时间复杂区域。这种分布特征与图5中显示的定性结果一致，并解释了为什么在低到中等压缩比下主要事件能够得到很好的保留，而在更高压缩比下一些短暂事件会被省略。图8展示了将所提出的基于最佳关键帧的压缩方法应用于移动两个盒子场景的结果，在该场景中，两个盒子随时间移动并扰动周围的水流。与之前使用静态障碍物的实验不同，这个场景更具挑战性，因为场景的内部结构本身会随时间动态变化。图8显示了基于关键帧的压缩在移动两个盒子场景上的效果。(b)和(c)底部的图表可视化了整个序列中选出的最佳关键帧的时间分布。图8a显示了由281帧组成的原始水粒子动画。随着两个盒子的移动，水面和内部流动发生局部变形，盒子周围频繁出现相对快速的粒子运动和形状变化。图8b显示了通过减少大约35%的帧数得到的结果。底部的图表显示了选出的关键帧的时间分布，表明关键帧在整个时间轴上分布相对均匀，而在盒子运动引起明显变化的区间内选择更加密集。因此，尽管帧数减少了，但盒子移动引起的流动变化仍然以视觉上连贯的方式得到了保留。图8c对应于更激进的压缩设置，其中帧数减少了大约64%。即使在这种情况下，与相对静态的水域或平滑时间变化相关的区间关键帧之间的间隔较大，而在由于盒子运动导致流动模式快速变化的时期内，关键帧的选择更为密集。这种行为表明，所提出的方法并不依赖于均匀的时间采样，而是通过最小化帧间近似误差来自动反映时间上的重要性。总体而言，移动两个盒子场景的结果表明，所提出的框架能够有效地捕捉场景内的动态结构变化和局部流动事件，同时大幅减少总帧数。特别是，关键帧分布的分析证实了所提出的方法能够有意义地总结沿时间轴的流体模拟的复杂物理行为。图9展示了所提出方法在悬崖上落水的场景中的评估结果。与前例不同，这个场景由于重力和地面撞击引起的飞溅事件而涉及快速的速度变化，为基于关键帧的近似提供了更加不利的条件。图9显示了落水场景的结果。虽然在高速度飞溅和撞击区域出现了较大的误差，但整体偏差在视觉上可以忽略不计。图9a显示了由131帧组成的原始水粒子动画，而图9b显示了通过选择最佳关键帧并插值中间帧得到的重建结果，大约去掉了45%的帧。视觉比较确认了水块的整体下落形状及其在地面撞击后的空间分布几乎与原始情况完全相同。图9c可视化了与原始数据相比插值引入的位置误差。较大的误差主要出现在水在落下过程中加速迅速或在地面撞击时产生湍流和飞溅的局部区域。这些误差源于线性插值在捕捉高度非线性粒子运动和快速粒子分离时的局限性。然而，这些误差主要局限于整个场景的非常有限的区域，并不会导致明显的视觉失真或时间上的不连续性。特别是，主要质量中心的轨迹和整体流动行为保持稳定，表明所提出的关键帧选择和插值策略即使在存在下落和碰撞动态的情况下也能提供实用的视觉质量。这些结果表明，所提出的方法能够在视觉保真度和数据减少之间实现有效的平衡。图10展示了将所提出的基于最佳关键帧的压缩方法应用于两个水源碰撞场景的结果。与单向流动不同，这个场景涉及多个流动之间的复杂动态相互作用，导致频繁的碰撞、分散和飞溅，因此代表了特别具有挑战性的测试案例。图10显示了水粒子动画压缩在碰撞场景中的结果。场景描绘了两个水源的碰撞，其中发生了复杂的飞溅和相互作用。图10a显示了由91帧组成的原始水粒子动画，在碰撞区域附近粒子密度迅速增加，形成了具有大速度变化的区域。这些区域在基于关键帧的总结中通常容易丢失信息。图10b显示了通过所提出的方法减少大约54%的帧数后得到的结果。在关键帧选择过程中，碰撞事件及其紧接着的区间分配了相对较多的关键帧，从而有效地保留了由碰撞引起的形状变化和飞溅结构。相比之下，碰撞前后流动相对稳定的时间区间用较少的帧表示，从而实现了高效的数据减少。这些结果表明，所提出的最佳关键帧选择方法不依赖于均匀的时间采样，而是根据帧间近似误差动态调整关键帧密度。因此，能够稳健地捕捉到局部的高频事件，如碰撞。特别是，由于两个水源之间的相互作用而产生的非线性流动变化得到了保留，且没有明显的视觉伪影，证实了所提出方法在感知有效性和实用性方面的有效性。A. 失效案例分析尽管所提出的方法能够在保留主导流体流动结构的同时高效地总结粒子动画，但在某些情况下重建质量可能会下降。第一个限制出现在短时间内发生飞溅事件或快速湍流时。在这种情况下，粒子分布变化非常迅速，关键帧之间的线性插值可能无法准确近似中间帧中的真实粒子运动。特别是在喷射事件中，当小液滴快速分离时，一些细微的粒子运动可能在重建过程中无法被完全捕捉到。第二个限制与插值伪影有关，当关键帧之间的时间间隔较大时可能会发生这种伪影。例如，在具有高度非线性动态变化的段落中，如流体碰撞或流动方向的突然变化，线性插值可能无法充分表示真实的流体动力学。这可能导致重建的粒子轨迹与原始模拟中观察到的轨迹略有偏差。第三个限制与屏幕空间中最前面粒子的采样策略有关。由于该方法只选择每个屏幕空间单元中最接近摄像机的粒子，因此流体体积内的粒子结构可能被排除在表示之外。特别是当多个粒子投影到同一个屏幕空间位置时，细粒度的内部粒子动力学可能无法直接反映出来。此外，当摄像机视图发生显著变化时，之前被遮挡的粒子可能会变得可见。在这种情况下，从原始视图选中的关键帧集可能不再适用于新的视图。

尽管有这些限制，所提出的方法在大多数场景中仍然能够保留主导的流体流动结构和主要动态事件。特别是，即使在相对较高的压缩比下，整体流动模式和视觉上突出的结构也能得到保持。未来的工作可以通过结合非线性插值策略或多视图关键帧选择方法来进一步缓解这些限制。

第六节 讨论
A. 压缩比与重建质量之间的权衡
图11定量说明了重建误差如何随选定的关键帧数量K的变化而变化。通过联合分析平均误差、第95百分位误差和最大误差，不仅可以观察到整体的近似质量，还可以观察到那些表现出较大局部偏差的帧的行为。

如图所示，所有误差指标随着关键帧数量的增加而单调减小。然而，一旦K超过某个阈值，误差减少的速率就会显著放缓。特别是，即使对于相对较小的K值，平均误差和第95百分位误差也会迅速下降，而最大误差的下降则较为缓慢。这一观察结果表明，所提出的方法仅使用少量关键帧就能有效地捕捉到全局流动模式和感知上重要的变化。同时，过度增加K所带来的感知收益相对于数据规模的增加是有限的。这些特性为在实际压缩设置下选择关键帧数量提供了实用的指导。

B. 屏幕空间表示的感知影响
本工作的其中一个关键设计选择是在与摄像机对齐的屏幕空间中而不是在世界坐标中表示水粒子集。这种选择更注重保持视觉上的感知行为，而不是物理上精确的3D状态的保存。屏幕空间中最前面的采样自然考虑到了遮挡和投影效应，并鼓励将表示资源分配给对观察到的图像贡献最大的粒子。这一特性防止了在关键帧选择过程中过度强调视觉上不重要的内部粒子或遮挡区域中的微妙变化。因此，所提出的方法旨在产生感知上令人信服的重建结果，而不仅仅是最小化物理误差。这使得该方法特别适合于大型模拟数据的存储、传输和预览等实际使用场景。

C. 最优关键帧分布的行为
结果部分中呈现的关键帧分布可视化清楚地表明，所提出的最优关键帧选择方法并不进行均匀的时间采样，而是采用基于帧间近似误差的自适应策略。当压缩比较低时，关键帧分布相对均匀，反映出一种保守的策略，即使是细微的流动变化也能得到保留。然而，随着压缩比的增加，关键帧倾向于集中在动态变化较大的时间间隔附近，如碰撞、喷射和突然的形状变化，而在相对稳定的间隔中，帧之间的间距显著扩大。这种行为源于所提出的片段近似成本是基于最大偏差而不是平均误差来定义的。这样的定义有效地防止了在压缩过程中忽略短暂但重要的事件帧。

D. 压缩效率的定量分析
除了定性结果外，我们进一步分析了压缩比与重建误差之间的关系，以便更清晰地评估所提出方法的压缩效率。在本研究中，压缩比定义为选定关键帧数量K与原始动画序列中总帧数T之间的比率：
\[ \text{压缩比} = 1 - \frac{K}{T} \]
较高的压缩比表示移除了更多的帧，对应于更强的数据缩减程度。在实验中，针对多个模拟场景在不同的压缩比条件下选择了关键帧，并使用线性插值重建了这些关键帧之间的中间帧。然后通过比较重建的粒子位置与原始模拟数据中的粒子位置来测量重建误差。重建误差是重建粒子位置与屏幕空间中原始粒子位置之间的平均欧几里得距离。这一指标反映了插值帧在保持从摄像机视角看到的可见粒子分布方面的准确性。

表2总结了在不同压缩比下几个代表性场景的平均重建误差和第95百分位误差。如表所示，相对较低的压缩比（例如25%–50%）将平均误差和第95百分位误差维持在非常低的水平，表明主导的流动结构得到了最小化的损失。随着压缩比的增加，重建误差逐渐增加。然而，这些误差主要发生在高频动态事件中，如喷射或碰撞，这些事件发生在非常短的时间间隔内。此外，所提出的框架使用基于屏幕空间的最前面采样策略来表示粒子数据。在这个过程中，从摄像机视角被遮挡或视觉上不那么显著的粒子可能被排除在表示之外。然而，这种设计的目标不是平等地保留所有物理粒子，而是有效地保持用户观察到的视觉上可感知的流动结构。实验结果表明，即使使用屏幕空间采样表示，大多数情况下主要的流动结构和动态模式仍然保持稳定。重建误差主要局限于高速喷射区域，并不会显著影响流体的整体视觉运动。这表明所提出的方法在数据缩减和视觉保真度之间提供了有效的权衡。

图12定量说明了在不同压缩比条件下的重建误差变化。该图报告了平均误差、第95百分位误差和最大误差，使我们能够分析整体重建质量和出现较大局部误差的情况。如图所示，随着压缩比的增加，重建误差通常会增加。这是预期之中的，因为移除更多帧会增加关键帧之间的时间间隔，从而导致通过线性插值重建中间帧时产生较大的近似误差。然而，在相对较低的压缩比范围内，平均误差和第95百分位误差的增加只逐渐出现。这表明所提出的关键帧选择策略能够使用少量关键帧保留主导的流动结构和感知上重要的运动模式。最大误差的增加速度比其他指标更快，主要是因为局部的高频事件（如碰撞或喷射）在插值过程中可能会产生较大的偏差。尽管如此，这些误差仍然在空间上局部化，并不会显著影响流体的整体视觉运动。这些结果表明，所提出的方法在压缩比和重建质量之间提供了合理的权衡。

表3展示了所提出的方法与简单基线方法（均匀关键帧采样）之间的比较。均匀采样在相等的时间间隔选择关键帧，是最简单的关键帧选择策略。然而，它没有考虑帧间运动动态的变化。

如结果所示，与所提出的方法相比，均匀采样产生的平均误差和第95百分位误差更高。特别是在水流发生快速变化的间隔期间，如碰撞或喷射事件，均匀采样无法充分捕捉这些动态变化，导致重建误差较大。相比之下，所提出的方法根据片段近似成本为时间复杂的区域分配了更多的关键帧。因此，它在动态事件周围实现了更稳定的重建，并且在相同的压缩比下一致地产生了更低的重建误差。

表4进行了一项消融研究，评估了所提出框架的关键组成部分的贡献。当移除质心相对归一化时，全局粒子平移直接导致重建误差增加，从而增加了误差值。同样，移除基于距离的重要性加权会导致周围粒子的微小变化对误差指标的影响加大，从而导致第95百分位误差升高。相比之下，完整提出的方法实现了最低的平均误差和第95百分位误差。这些结果表明，基于质心的表示和重要性加权在保留感知上显著的流动结构中发挥了重要作用。总体而言，结果表明所提出的框架在压缩效率和重建质量之间提供了有效的平衡。即使在相对较高的压缩比下，感知上主导的流体流动结构在大多数情况下仍然保持稳定。

为了更清楚地分析所提出方法的性能，我们进行了额外的基线比较实验。作为简单的参考方法，我们使用了在整个序列中以相等时间间隔选择关键帧的均匀关键帧采样。这种方法没有考虑帧间动态变化的程度，因此在捕捉发生快速时间变化的片段中的重要动态事件时存在局限性。特别是当出现喷射或碰撞等突然运动时，均匀采样可能无法分配足够的关键帧来表示这些高频动态。实验结果显示，在相同的压缩比条件下，均匀采样方法产生的重建误差高于所提出的方法。这种差异在包含高频动态事件（如喷射或流体碰撞）的片段中更为明显，其中重建误差趋于显著增加。相比之下，所提出的方法根据片段近似成本为时间变化较大的片段分配了更多的关键帧。因此，它能够在动态事件周围保持更稳定的重建质量。

为了进一步分析压缩效率，我们还以图形形式考察了压缩比与重建误差之间的关系。这种分析说明了随着压缩比的增加，重建误差如何变化，从而直观地了解了数据缩减和视觉保真度之间的权衡。结果表明，随着压缩比的增加，重建误差逐渐增加，这是预期之中的，因为移除更多的帧会增加关键帧之间的时间间隔，从而在通过线性插值重建中间帧时产生较大的近似误差。然而，在相对较低的压缩比范围内，平均误差和第95百分位误差的增加仅是逐渐的。这表明所提出的关键帧选择策略能够使用少量关键帧保留主导的流动结构和感知上重要的运动模式。最大误差的增加速度比其他指标快，主要是因为局部的高频事件（如碰撞或喷射）在插值过程中可能产生较大的偏差。尽管如此，这些误差仍然在空间上局部化，并不会显著影响流体的整体视觉运动。这些结果表明，所提出的方法在压缩比和重建质量之间提供了合理的权衡。在实际应用中，可以根据所需的视觉保真度和数据存储约束选择适当数量的关键帧。

此外，我们还分析了压缩比与重建误差之间的关系，以便更清楚地评估所提出方法的压缩效率。这项观察表明，基于质心的归一化步骤在通过补偿粒子分布的全局运动来更稳定地表示整体流体结构方面起着重要作用。同样，当去除基于距离的加权时，靠近质心的粒子和位于外围区域的粒子被赋予了相同的权重。结果，发生在边界附近的小范围局部粒子变化（如飞溅或碰撞事件）在误差计算中被过度放大，从而导致重建误差增加。这表明基于距离的加权方案有助于强调感知上重要的流体结构，同时减少不那么显著的外围变化的影响。

为了分析最前沿采样在屏幕空间表示阶段的作用，我们进一步研究了所提出的方法与随机粒子采样策略之间的差异。虽然随机采样实现简单，但它没有考虑粒子的可见性，因此无法可靠地保留屏幕上实际观察到的流体结构。特别是当多个粒子投影到相同的屏幕空间位置时，随机采样可能会选择被其他粒子遮挡的粒子，这可能导致视觉上重要的流体表面结构表示不准确。相比之下，最前沿采样选择了最接近相机的粒子，从而更一致地保留了流体的可见表面结构。这一特性对于基于屏幕空间的动画总结尤为重要，因为在保持重建动画的视觉保真度方面起着关键作用。

**E. 视点变化的影响**

所提出的方法依赖于屏幕空间最前沿采样表示，因此表现出依赖于视图的特征。在本研究的主要实验中，使用固定的相机视图来评估在一致条件下的关键帧选择过程和重建结果。然而，在实际应用中，相机视图可能会发生变化，因此有必要分析视图变化如何影响重建质量。为此，我们使用从原始参考视图选出的关键帧集，评估了不同相机视点的重建误差。通过将相机方向相对于参考视图旋转15°、30°、45°和60°来模拟视图变化。表5显示了不同相机视图变化下的重建误差。随着视图变化的增加，重建误差逐渐增大。这种行为是由于在原始视图中被遮挡的粒子可能从新的视角变得可见，从而改变了屏幕空间表示。

图13展示了不同视图变化下平均误差和第95百分位误差的变化。如图所示，随着视图变化的增大，重建误差逐渐增加。然而，对于适度的视图变化，主要的流体流动结构仍然得以大部分保留。

为了进一步提高对较大视图变化的鲁棒性，可以考虑使用多视图为基础的关键帧选择策略。例如，可以结合多个相机视角的屏幕空间表示来评估关键帧的重要性，或者使用视图自适应的关键帧选择方法根据视图变化动态重新选择关键帧。此外，结合考虑世界空间粒子动力学和屏幕空间感知重要性的混合表示可以进一步减少对视图的影响。这样的扩展将是未来工作的一个重要方向。

**F. 所提出表示的感知验证**

所提出的方法基于两个感知假设。首先，屏幕空间中最接近相机的粒子（最前沿粒子）对观众感知到的视觉结构有更强的影响。其次，位于粒子分布质心附近的粒子在形成整体流体结构中起着重要作用。这些假设是由在屏幕上观察基于粒子的流体模拟时出现的可见性和投影效应所驱动的。为了定量检查这些感知特性，我们分析了基于渲染帧的感知相似性。具体来说，我们比较了原始模拟渲染的帧和压缩后重建的帧，并计算了SSIM（结构相似性指数）和LPIPS（学习感知图像块相似性）。这些指标在计算机图形和计算机视觉中广泛用于评估图像之间的感知相似性。除了平均重建误差之外，我们还分析了第95百分位误差，以评估在压缩过程中视觉上重要事件（如飞溅或碰撞）的保留情况。即使在高压缩率下，SSIM值仍然保持在0.88以上，而LPIPS值保持较低。这表明尽管在压缩过程中会发生一些粒子位置误差，但整体流体流动结构和观众感知到的视觉运动模式仍然以稳定的方式得到保留。

特别是，在存在较大局部变形（如飞溅或碰撞）的区域，主导的流动模式仍然在视觉上保持一致。这表明结合屏幕空间最前沿采样和基于质心的重要性加权有效保留了感知上重要的粒子结构。图14展示了压缩比率与使用SSIM测量的感知相似性之间的关系。随着压缩比率的增加，SSIM值逐渐减小，这是预期之中的，因为用于重建动画的关键帧数量减少了。然而，即使在相对较高的压缩比率下，感知相似性仍然很高。这一结果表明，所提出的关键帧选择方法可以在有效保留感知上重要的流体运动模式的同时显著减少帧数。

尽管这项工作没有包括专门的用户研究，但感知指标和实验观察表明，所提出的表示有效地保持了视觉上重要的流体结构。在未来的工作中，我们计划通过成对动画比较和MOS（平均意见得分）分析来进行基于用户的感知评估，以更直接地评估感知质量。

**G. 视点依赖性和相机敏感性**

所提出的方法采用屏幕空间表示，因此本质上依赖于相机视图。这种设计优先考虑了有效地保留视觉感知的流体流动结构，而不是保持所有粒子的物理完整三维状态。在本研究的主要实验中，使用固定的相机视图来评估在一致条件下的关键帧选择过程和重建结果。然而，在实际应用中，相机可能会随时间移动，或者同一动画可能从多个视角观察。当相机在相对较小的范围内移动时，屏幕空间表示倾向于稳定地保留主导的流动结构。这是因为大规模的流体运动模式通常对适度的视图变化具有鲁棒性。我们的实验还表明，在适度的视图变化下，重建的动画仍然保留了整体流动结构和主要动态事件。然而，当相机视图显著变化时，屏幕空间中观察到的粒子分布可能会有所不同。因此，为特定视图选择的关键帧集可能从另一个视角来看并不理想。特别是，之前被遮挡的粒子可能从新的视角变得可见，这些区域的详细时间动态可能无法完全捕捉到。这种视图依赖性是屏幕空间表示的固有特性，但也与本工作中考虑的动画总结的感知目标一致。具体来说，所提出的方法侧重于保留对观众感知上重要的主导流体运动模式，而不是以相同的保真度保持所有物理粒子。

为了进一步提高对视图变化的鲁棒性，可以使用多视图关键帧选择策略来扩展该框架。例如，可以结合多个相机视角的屏幕空间表示来评估关键帧的重要性，或者使用视图自适应的关键帧选择方法根据相机移动动态重新选择关键帧。另一个可能的方向是引入一种同时考虑世界空间动态属性和屏幕空间感知重要性的混合表示。这种方法可以潜在地减少视图敏感性，同时仍然保留感知上重要的流体结构。开发明确考虑相机运动和多视图环境的视图鲁棒关键帧选择方法仍然是未来研究的重要方向。

**H. 限制和适用范围**

尽管所提出的方法旨在基于感知质量进行高效总结，但它也有一些局限性。首先，由于屏幕空间表示依赖于相机视图，因此不能保证相同的键帧集在较大的视图变化下仍然是最优的。此外，由于基于插值的重建，高粒子速度或强烈飞溅现象的区域可能会出现局部误差。然而，正如实验结果所证实的，这些误差主要集中在对物理上极端但对感知来说不太显著的区域，因此对整体感知质量的影响较小。尽管如此，所提出方法的一个主要优点是它不修改模拟过程本身，可以作为后处理步骤应用。这确保了与现有模拟流程的高度兼容性。因此，该方法可以广泛应用于各种实际应用中，包括轻量级表示、交互式预览和大规模水粒子动画的网络传输。特别是，所提出的框架非常适合AR/VR场景，在这些场景中必须高效地表示大规模水粒子动画，同时保持视觉上主导的流动模式。例如，在涉及喷泉、瀑布、浅溪或碰撞引起的飞溅效果的VR应用中，传输或渲染每一帧都会造成大量的存储、带宽和运行时成本。在这种情况下，所提出的基于关键帧的压缩可以提供动画的紧凑表示，同时保留从给定视角观察到的感知上重要的运动。这也使得该方法适用于模拟预览、轻量级播放和沉浸式环境中预计算水粒子效果的网络高效传输。由于该框架作为后处理步骤操作而不修改底层流体模拟器，因此可以最小化修改地集成到现有的AR/VR内容流程中。

**VII. 结论**

在本文中，我们提出了一个基于屏幕空间的关键帧选择框架，用于高效总结大规模3D水粒子动画。所提出的方法使用屏幕空间最前沿采样将每帧粒子数量可变的非结构化粒子数据转换为固定维度的表示。然后使用基于质心的坐标和基于距离的加权来强调感知上重要的流体结构。基于这种表示，定义了一个片段近似成本，并应用动态规划在整个序列中全局选择一组最优关键帧。实验结果表明，与简单的均匀采样基线相比，所提出的方法在相同的压缩比率下实现了更低的重建错误。特别是在流体运动变化迅速的片段（如飞溅和碰撞）中，该方法提供了更稳定的重建结果。此外，消融分析证实，基于质心的表示和基于距离的重要性加权有效地有助于保留感知上重要的流动结构。所提出的框架为将基于运动的关键帧选择技术扩展到变量数量的粒子动画提供了一种通用方法。对于未来的工作，该方法可以扩展以纳入对相机视图变化更具鲁棒性的多视图关键帧选择策略。此外，结合考虑屏幕空间感知重要性和世界空间粒子动力学的混合表示将是进一步研究的一个有趣方向。