评估人类对新型视图合成的感知：动态场景中高斯溅射与NeRF的主观质量评估

《Displays》：Evaluating human perception of Novel View Synthesis: Subjective quality assessment of Gaussian Splatting and NeRF in dynamic scenes

　　

张宇航|乔舒亚·马拉瓦尔|张正宇|尼古拉斯·拉明|田世顺|张璐

• •
  首个针对包含移动物体的动态场景的NVS-QA数据集。
• •
  对基于GS和NeRF的NVS方法进行联合评估。
• •
  包含13个具有不同观看路径的真实场景。
• •
  采用双重主观测试：无参考与有参考评估。
• •
  客观指标难以完全匹配人类感知。

引言

图像质量评估在诸多视觉应用中都有广泛应用，比如3D显示系统[1]、元宇宙[2]、自然图像分析与修复[3]、[4]、[5]、水下视觉系统[6]、[7]以及医学分析[8]。与此同时，生成式人工智能和深度表示学习的进步进一步推动了智能视觉内容分析的发展[9]、[10]。随着沉浸式3D媒体越来越普及，对合成视角的视觉质量进行评估变得愈发重要。近年来，虚拟现实、增强现实以及360度视频等3D沉浸式媒体迅速进入了人们的日常生活。这些媒体和技术能够为用户提供逼真的沉浸式体验，让他们无需出门就能获得类似虚拟购物、医疗诊断、游戏以及虚拟导览等真实体验。²尽管像基于深度图像的渲染技术DIBR[11]和多视图立体技术MVS[12]能够在理想条件下生成逼真的新视角，但它们在处理场景重建中的复杂光效时存在局限性。为了实现更真实的沉浸式体验，神经辐射场技术和高斯溅射技术这两种新方法彻底改变了用于生成逼真新视角的3D模型表示方式。神经辐射场通过神经网络来预测3D空间中任意点的颜色和透明度，从而构建3D模型，这与传统使用离散几何元素如三角形并组成三角网格或体素网格的表示方法有所不同。高斯溅射技术则通过构建3D高斯椭球体来表示体积内每个数据点的影响，在渲染新视角时，通过叠加和整合相关高斯椭球体的颜色和透明度，实现平滑连续的视觉过渡。需要注意的是，神经辐射场和高斯溅射技术各有优势：神经辐射场借助深度学习技术，能够轻松处理大型复杂场景；而高斯溅射技术由于不需要使用神经网络，因此渲染速度更快。

虽然这些NVS方法的表现优于传统方法，但在某些复杂场景下仍可能存在困难，尤其是在面对快速摄像机运动、大规模场景以及数据量不足的情况时。因此，评估NVS方法的有效性至关重要，这有助于深入了解这些方法的差异与局限性，并针对现有缺陷对其重新设计和完善[15]、[16]。通常，质量评估可以通过一些模型来完成，比如PSNR[18]和SSIM[19]，这类评估被称为客观评估[20]；但当最终用户是人类时，最可靠的方法还是通过人类观察者来进行评估，这就是主观评估[21]。我们在图1中展示了NVS方法的主观评估流程：首先选择多视图源数据集，再通过多种重建方法组合生成PVS，供观察者进行评估。这种主观评估旨在衡量不同NVS方法的重建精度和渲染稳定性。有一些研究[22]、[23]、[24]、[25]、[26]、[27]、[28]探讨了NVS方法的主观质量评估，但这些研究尚未充分探究人类视觉感知与NVS方法生成的PVS之间的关系。其局限性可总结为以下几点：

(1)目前针对基于神经辐射场的质量评估的研究数据集[22]、[23]、[25]、[26]已经被广泛研究。同时，基于高斯溅射技术的评估研究[29]、[30]、[31]也相继出现。然而，同时涵盖基于神经辐射场和高斯溅射技术的数据集仍然有限，因此要在这两种技术之间进行公平全面的比较仍然具有挑战性。

(2)之前的多项研究[22]、[25]、[26]、[28]都使用由3D建模软件如Blender[32]生成的合成多视图数据集。从这样的合成3D模型中，既可以生成用于体积重建的输入视图，也可以生成渲染序列的参考视图，这样观察者就可以进行全参考评估。不过，虽然合成数据集便于进行可控的全参考评估，但它们往往缺乏真实场景的复杂性和不可预测性，因此基于真实内容的评估才能更好地反映实际应用中的性能。

(3)现有的数据集主要使用正面视角或同心视角的场景PVS作为质量评估的依据，而没有同时利用这两种视角。此外，现有数据集通常使用具有多视图路径的PVS进行质量评估，而忽视了对静态视角PVS的质量评估。因此，这些方法难以对NVS方法进行全面的性能评估。

(4)在动态场景的NVS质量评估方面存在较大的研究空白。以往的NVS质量评估基准都是在没有移动物体的静态场景中进行主观实验，图像中的所有物体都是静态的，比如建筑物、树木等等。而针对动态场景的NVS技术则能够模拟不断变化的结构和外观，进一步拓展了NVS技术的应用范围，这类应用包括虚拟3D传送以及实时体育赛事等。动态场景为视觉质量评估增加了时间维度，此时感知质量不仅取决于空间精度，还取决于帧与帧之间的时间一致性和运动连贯性。

为填补上述空白，本文采用了已经用于NVS评估的视频质量主观评估方法SAMVIQ[33]来开展主观实验[11]。我们构建了一个同时包含基于神经辐射场和高斯溅射技术的动态场景主观质量评估数据集。与其他现有数据集不同的是，该数据集涵盖了更为丰富的真实场景，并从多视图和单视图两个角度对PVS质量进行评估，以此全面了解现有NVS方法的性能与不足。本文的贡献可总结如下：

• •
  我们构建了一个用于动态场景中NVS方法的质量评估数据集。据我们所知，这是首个用于评估基于高斯溅射技术和神经辐射场技术生成的动态场景内容的NVS质量评估数据集。
• •
  该数据集包含了13个真实场景，涵盖了同心视角、正面移动视角以及单视角类型的PVS，用于主观测试，其场景数量和丰富程度都超过了其他数据集。
• •
  通过两种不同的主观实验——无参考多视图路径评估和有参考单视图路径评估，验证了主流NVS方法的效果，揭示了同一场景在不同视觉路径下的表现差异。
• •
  据我们所知，现有文献中还没有关于基于辐射场技术（包括神经辐射场技术和高斯溅射技术）生成的动态场景质量评估的相关研究（GSQA[28]仅包含两个动态场景）。虽然关于静态场景的研究很多，但这却是首项专注于动态场景的研究。
• •
  我们对所提出的数据集上的各种先进客观指标进行了全面评估，结果表明现有方法在准确反映主观质量评估方面仍面临挑战。

本文的其余结构如下。第一部分第2节介绍相关研究工作。第二部分第3节详细阐述两种主观评估实验。第三部分第4节展示实验结果与分析。第四部分第5节介绍在我们提出的数据集上各种优秀客观指标的对比情况。最后，第六部分第6节对本文进行总结。

章节要点

质量评估指标

在图像/视频处理领域，质量评估已经得到了广泛研究，数十年来由此诞生了大量客观评估指标。根据是否拥有完整的参考信息，客观质量评估方法通常可以分为全参考、降参考和无参考三类。其中，全参考方法通常通过将失真后的内容与其原始内容直接对比，从而获得最高的预测精度

提出的评估基准

我们在前一节已经介绍了本研究的基本背景。接下来的章节将详细介绍我们的主观评估流程，首先在3.1节介绍所选用的源图像。3.2节介绍我们用于评估的NVS方法，3.3节介绍用于生成PVS的虚拟摄像机路径。3.4节则详细说明主观评估的流程，包括实验设置、环境条件以及参与者筛选标准。最后，3.5节将重点介绍我们的独特贡献。

结果分析

分析结果包括分数分布、整体平均评分、不同视觉路径之间的关系，以及不同HRC指标之间的关系。

客观实验设置

前述的主观实验为客观指标提供了两个新的数据集：一个无参考的多视图NVS数据集，一个有参考的单视图NVS数据集。为了全面评估这些客观指标在所提出的NVS数据集上的表现，我们选择了20多种常用的图像和视频质量评估指标来进行性能测试。这些IQA指标包括PSNR[18]、PSNR-L、SSIM[19]、MS-SSIM[78]、VIF[79]、FSIM[34]、NQM[80]、IFC[81]，

结论

在本文中，我们构建了一个全面的NVS质量评估数据库，该数据库在构建过程中充分考虑了NVS方法的选择、场景覆盖范围以及评估方式等因素。首先，在NVS方法的选择方面，该数据库着眼于基于神经辐射场和高斯溅射技术的方法的失真情况，通过深入分析指出二者之间的差异。其次，该数据库包含了13个由不同距离的摄像机阵列拍摄的真实场景，其数量几乎超过了以往的

利益冲突声明

作者声明，他们不存在任何可能影响本文研究成果的已知财务利益或个人关系。

致谢

本研究部分得到了中国国家自然科学基金的资助，项目编号为62501180，同时还得到了广东省自然科学基金的资助，项目编号为2026A1515011493。