《Displays》：A supervised no-reference quality assessment model for animated videos using 3D Gaussian derivative steerable filtering and statistical feature modeling
编辑推荐：
动画视频质量评估方法研究。本文提出一种基于监督学习的无参考动画视频质量评估模型，通过分解视频为3D局部块并运用高斯导数-steerable滤波器提取多方向子带响应，结合韦伯分布建模统计特性，并引入熵分量化不确定性，最终采用支持向量回归（SVR）实现质量预测。实验表明该方法在多种失真场景下均优于现有模型，尤其在硬件渲染和软件压缩失真方面表现突出。
Sunny Ganavdiya | Ramya Saisree Mogasati | Balasubramanyam Appina | Ram Bilas Pachori
印度印度理工学院印多尔分校电气工程系
摘要
动画视频（AV）内容在各种数字平台和显示设备上的消费量不断增加，确保高感知保真度对于提供令人满意的用户体验至关重要。在这项工作中，我们提出了一种基于监督的无参考质量评估模型，该模型将统计驱动的子带建模与基于不确定性的特征表征相结合，用于感知质量估计。首先，我们将每个AV序列分解为不重叠的3D局部块，以评估失真对时空结构的影响。这些块使用配置在多个方位角和高度方向上的3D高斯导数可控滤波器进行处理，以提取方向敏感的子带响应。然后使用Weibull分布对每个子带进行实证建模，并估计相应的形状和尺度参数，以量化对失真敏感的统计变化。为了进一步捕捉感知不确定性，我们从每个子带响应中计算熵分数，从而生成由视觉伪影引入的模糊性的全面表示。接着，我们根据各自子带的能量强度对所有子带级别的描述符进行加权合并。最后，我们将所有特征向量以及相关的人类评估标签整合在一起，并随后训练支持向量回归模型，以学习这些特征与主观分数之间的映射，从而实现感知质量的自动评估。我们使用了包含多种软件和硬件渲染失真的基准AV数据集。在该数据集上的实验评估表明，所提出的框架与人类感知具有很强的相关性，并且在预测失真动画视频的质量方面显著优于现有模型。
引言
由于技术的进步、创造力的提升以及用户需求的增加，近年来动画多媒体领域取得了巨大的发展。这一演变促使从传统的手绘动画迅速转向了先进的计算机生成（CG）场景。CG使开发人员能够使用简化的可视化方式传达复杂的思想和理论，提供沉浸式和引人入胜的感知体验。随着硬件和软件架构的不断进步以及互联网和在线可视化平台的普及，动画视频（AV）已广泛应用于教育、娱乐、虚拟现实、增强现实等多个领域。然而，由于在处理、传输、渲染和存储过程中引入的各种压缩技术和失真，这类内容的质量经常受到影响。这些损坏会不利地影响观众的整体感知体验。因此，精确的质量评估（QA）模型对于优化压缩模型、减轻导致感知用户满意度下降的因素以及指导未来的发展具有重要意义。
传统的图像和视频处理方法[1]、[2]、[3]、[4]依赖于像素变化、边缘检测、结构特征等来评估人工图像和视频内容的感知质量。然而，这些模型是专门为具有平滑结构和运动模式的自然场景内容设计的。因此，它们不适用于处理具有锐利边缘、合成结构、突然的形状变化和复杂时间动态的场景。这种局限性导致在应用于动画多媒体内容时性能不佳。因此，一个专门的动画视频质量评估框架不仅是有利的，而且是必要的，以便提取动画媒体所独有的感知和结构属性。与自然场景统计（NSS）不同，动画视频表现出根本不同的结构、统计和感知行为。
Zang等人[5]是第一个指出动画多媒体缺乏专用QA模型的研究小组。他们证明，由于与自然场景的固有差异，尤其是空间和时间特性方面的差异，传统QA模型在AV上的表现较差。此外，他们提出了一个基于块压缩计算的结构和时间特征变化的AV内容QA模型，并得出结论，在低带宽条件下AV的感知质量会大大下降。在[6]中，提出了一种基于计算色度信息和块级结构特征的新的盲图像QA（IQA）模型。进一步地，通过对计算出的特征与主观分数进行支持向量回归分析（SVR），来预测动画图像的最终质量。
Li等人[7]提出了一种基于动画场景的空间结构和颜色属性的极其有效的FR IQA模型。他们受到人类视觉系统（HVS）行为的启发提出了这一模型，并在预测质量时比现成的传统IQA模型具有更高的准确性和更少的错误。Chen等人[8]提出了一种基于从单个颜色通道和灰度图像计算结构特征的无参考（NR）IQA模型。此外，他们还加入了基于熵的测量来提高所提算法的有效性。Xian等人[9]提出了一种针对CG视频的内容感知NR VQA模型。他们从视频的空间和时间信息以及基于HVS的特征中计算了多个统计特征来估计最终质量。在[10]中，他们引入了一种基于深度学习的NR模型来进行动画IQA，通过估计纹理模式后进行PSNR计算。此外，他们开发了一个大规模的卡通图像数据集来比较所提模型与合成图像数据集的有效性。Darici等人[11]对CG视频的传统VQA模型进行了性能调查。他们考虑了多种内容变化，并得出结论，传统VQA模型在CG视频上的表现较差。
近年来，基于大规模自然视频数据集的多个深度和自监督VQA框架[12]、[13]、[14]、[15]已经被开发出来，以捕捉现实世界内容典型的感知质量退化（例如运动模糊、曝光变化、数据包丢失）。然而，动画视频内容在合成结构属性、非自然运动模式以及由渲染、合成边缘压缩和帧序列伪影引起的领域特定失真方面存在根本差异。因此，这些模型的训练数据与动画内容之间往往存在显著的分布不匹配，直接应用这些模型可能会导致性能下降。此外，许多这些方法依赖于大型训练集或辅助模态，而这些并不直接适用于动画质量评估。相比之下，所提出的方法使用了一种针对动画序列特征定制的时空统计表示，在动画特定的失真下提供了更稳健的性能。
上述模型在评估动画内容质量方面取得了显著进展。然而，这些方法都没有考虑结合了失真类型和级别的局部时空特征的变异。此外，分析和性能报告要么是基于内容感知的CG内容，要么是基于有限的视频测试刺激的。为了解决这些限制，我们提出了一种用于评估动画视频感知质量的无参考算法。这项工作的主要贡献如下：
- 首先，我们将视频分割成不重叠的块以提取3D局部块，从而捕获结构和纹理（ST）属性。然后，我们将它们与时间和空间分数结合起来，以估计测试AV内容的整体质量分数。
- 接下来，我们使用3D高斯导数可控滤波器处理计算出的3D局部块。我们在多个方位角和高度方向上进行滤波器分析，并使用Weibull分布对计算出的子带进行实证建模。估计相应的拟合的形状和尺度参数，以证明其在区分失真方面的有效性。
- 此外，我们计算每个子带的熵分数，以分析相对于测试刺激的不确定性程度。我们根据各自子带的能量强度对所有子带级别的特征进行加权合并。进一步，进行SVR分析以评估视频的最终质量。
- 在基准数据集上对所提模型进行的实验验证表明，该模型在不同类型的失真下表现出一致的性能，并且与流行的QA模型相比具有更好的性能。
文章的其余部分结构如下。第2节介绍了所提出的AV NR VQA模型的方法论。第3节展示了所提数据集的实验验证和消融研究。第4节总结了可能的未来研究方向。
方法论
方法论
多项关于哺乳动物视觉皮层的心理视觉实验[16]、[17]表明，背侧和腹侧流中的简单细胞主要负责处理空间和时间频率。此外，Sekuler等人[18]和Adelson等人[19]的研究探讨了V1和MT区域中对空间和时间信号的处理，并将时空信号的分谱响应分解为多尺度和多方向的子带。我们的研究受到了这些研究的启发
结果与讨论
在本节中，我们首先描述了用于评估所提模型性能的基准数据集和评估指标。接下来，我们展示了所提模型的全面实验分析，并与现有的现成模型进行了基准测试。最后，我们通过消融研究验证了算法的鲁棒性。
结论
在这项工作中，我们提出了一个基于大规模人类评分数据集的监督无参考质量评估框架，用于预测动画视频的感知质量。我们使用3D高斯导数可控滤波器分析了局部视频块的空间时间行为，并用Weibull分布对其统计响应进行了建模。我们的研究表明，提取的模型特征以及相关的子带不确定性
利益冲突声明
作者声明他们没有已知的可能会影响本文所述工作的财务利益或个人关系。
