A2CSM-Net：面向神经渲染场景无参考质量评估的伪影感知跨流调制

《Digital Signal Processing》：A2CSM-Net: Artifact-Aware Cross-Stream Modulation for No-Reference Quality Assessment of Neural Rendering Scenes

　　

摘要

神经辐射场（Neural Radiance Fields, NeRF）能够从稀疏的多视图图像中实现逼真的新视角合成。然而，NeRF渲染可能引入失真，从而降低感知质量。评估这些失真对于渲染质量评价至关重要。在实际的自由视点渲染中，参考视图通常不可用。神经渲染场景中还包含局部高频伪影以及沿观察轨迹的时间不一致性。外视场景进一步增加了质量评估的复杂性，因为相机需要同时观察前景物体和远处的背景区域。为了解决这些问题，我们提出了A2CSM-Net，一种面向外视神经渲染场景无参考质量评估的伪影感知跨流调制网络。A2CSM-Net采用非对称双流框架：空间流从稀疏高分辨率裁剪区域中提取伪影感知特征，而时间流从密集低分辨率帧中捕获轨迹相关信息。我们进一步设计了拉普拉斯引导的质量感知高频聚合（LG-QHA），利用拉普拉斯引导来聚合高频伪影线索；以及质量一致性门控融合（QCGF），利用伪影感知的空间表示来调制时间特征。在OF-NeRF和两个公开的神经渲染质量评估数据集上的实验结果表明，该方法在不同评估设置下均具有竞争力。在OF-NeRF上，A2CSM-Net的Pearson线性相关系数（PLCC）和Spearman秩相关系数（SRCC）分别达到0.9560和0.9304。然而，该研究仍受到主观质量数据集规模和多样性的限制。

引言

新视角合成（NVS）是沉浸式媒体、体积视频和自由视点视觉应用的关键技术[1]。作为NVS技术的代表，神经辐射场（NeRF）能够从稀疏的多视图图像中实现逼真的视角合成[2]。然而，在NeRF渲染过程中会出现各种失真，这可能降低神经渲染场景的感知质量。测量这些失真对于评估渲染质量并为改进基于NeRF的渲染方法提供反馈是必要的[3]。然而，开发可靠的神经渲染场景质量评估方法仍然具有挑战性。

最近一项关于NeRF渲染场景质量评估的研究已识别出神经渲染场景中的若干特定伪影[4]。由于这些伪影与3D场景表示和视角合成过程密切相关，它们无法被传统的图像和视频失真模型完全表征。在神经渲染场景中，这些退化通常表现为局部高频伪影和轨迹依赖的时间不一致性。浮空体（floaters）和断裂结构是典型的局部高频伪影，通常出现在稀疏的空间区域，而闪烁（flickering）反映了沿观察轨迹的时间不一致性[5]、[6]。因此，需要针对神经渲染场景设计专门的质量评估方法。

迄今为止，NeRF渲染场景的质量评估使用的是全参考指标，如PSNR[7]、SSIM[8]和LPIPS[9]。然而，在实际的自由视点应用中，用户可以自由导航，渲染视图的参考图像通常不可用。因此，全参考指标无法完全评估神经渲染场景的感知质量[10]。这一局限性促使人们关注神经渲染场景的无参考（NR）质量评估，但目前仅有少数NR方法被开发出来。现有方法[11]、[12]、[13]主要学习全局质量表示或依赖手工设计的时空特征，它们在建模NeRF特定的局部伪影和时间不一致性方面的能力仍然有限。

如图1所示，NeRF的场景捕获可以遵循三种典型设置：360°内视设置、前视设置和外视设置[14]。在前两种设置中，相机视图通常集中在中央物体或狭窄的视野区域周围，导致场景覆盖范围有限。相比之下，外视设置覆盖更广阔的空间范围，允许相机同时观察前景物体和远处的背景区域。外视设置对实际自由视点应用非常重要，但也引入了更复杂的空间布局和更多样的视点变化[15]。在这种设置下，外视场景中的质量退化通常表现为空间不均匀的局部伪影和轨迹依赖的时间不一致性。然而，现有的评估方法[11]、[12]、[13]大多基于内视、前视或相对受限的设置，而外视设置尚未得到充分研究。

本工作的目标是在没有参考视图的情况下预测外视神经渲染场景的感知质量。为此，我们提出了A2CSM-Net，一种伪影感知跨流调制网络。由于局部伪影和时间不一致性的评估需要不同的建模策略，我们设计了一种非对称双流框架来分别建模空间和时间质量表示[16]。对于空间质量建模，精细的局部细节对于捕获局部高频伪影至关重要。相应地，空间流使用稀疏的高分辨率裁剪区域来提取伪影感知的空间特征。对于时间质量建模，沿观察轨迹的连续变化对于捕获时间不一致性至关重要。相应地，时间流使用密集的低分辨率帧来建模与轨迹相关的时间信息。

对于空间质量建模，可见伪影通常仅占据渲染帧中较小的局部区域。相反，如果将所有空间特征以相同的重要性进行池化，则大面积的弱伪影区域可能会主导聚合表示。为解决这一问题，我们设计了拉普拉斯引导的质量感知高频聚合（LG-QHA）。它引入拉普拉斯结构引导来突出高频结构变化，并从多裁剪帧中聚合与质量相关的伪影线索。对于时间质量建模，并非所有的时间变化都表明质量退化，有些变化来自沿观察轨迹的正常视点变化。因此，我们设计了质量一致性门控融合（QCGF），利用伪影感知的空间表示来调制时间特征。最终的质量分数从调制后的时空表示中预测得出。在实际的自由视点NeRF应用中，任意渲染视图的参考视图通常不可用。因此，实用的质量评估方法需要在没有参考视图的情况下同时评估局部伪影和时间不一致性。

本文的主要贡献总结如下：

- 我们提出了A2CSM-Net，一种面向外视神经渲染场景的非对称双流无参考质量评估框架。它通过稀疏高分辨率空间流建模局部高频伪影，并通过密集低分辨率时间流捕获时间不一致性。
- 我们设计了LG-QHA用于伪影感知的空间聚合。它利用拉普拉斯结构引导来聚合与质量相关的高频线索。
- 我们设计了QCGF用于跨流调制。它利用伪影感知的空间表示来调制时间特征，以区分与质量相关的时间不一致性和正常视点变化。
- 我们在OF-NeRF和公开的神经渲染质量评估数据集上进行了大量实验，包括重复的场景级划分和跨数据集评估。

本文的组织结构如下。第2节回顾无参考图像和视频质量评估方法以及神经渲染场景质量评估方法。第3节介绍所提出的A2CSM-Net，包括非对称双流框架、LG-QHA和QCGF。第4节描述实验设置并展示性能对比、消融实验和敏感性分析、可视化结果以及计算效率。第5节总结全文。

小节摘要

无参考图像和视频质量评估

无参考图像质量评估（NR-IQA）旨在不使用参考图像来预测图像质量。早期的NR-IQA方法主要依赖于手工设计的质量特征。这些特征通常从自然场景统计、局部亮度统计或纹理统计中设计得出，用于描述图像退化。代表性方法包括NIQE[17]、BRISQUE[18]、PIQE[19]和BMPRI[20]。后来，基于深度学习的NR-IQA方法从数据中学习特征用于质量预测。

方法概述

本工作关注外视神经渲染场景的无参考质量评估。在本文中，每个场景通过沿预定义观察轨迹渲染的序列进行评估，在后续章节中将其称为处理后的视频序列（PVS）。令X={It}Tt=1表示包含T个渲染帧的PVS，令y∈R表示其主观平均意见分数（MOS）。目标是学习一个质量预测函数fθ，将渲染的PVS映射到预测的质量[分数]。

实验设置

数据集与协议。我们在OF-NeRF[43]数据集上进行实验，该数据集专为外视神经渲染场景的感知质量评估而设计。与内视或前视基准相比，外视场景通常包含更广阔的空间布局、更复杂的前景与背景关系以及更多样的视点变化。这些场景特征使得对渲染PVS的感知质量评估更具挑战性。OF-NeRF包含11个[场景]。

结论

在本文中，我们提出了A2CSM-Net用于外视神经渲染场景的无参考质量评估。该方法关注神经渲染场景中的两个重要退化特征：局部高频伪影和沿观察轨迹的时间不一致性。A2CSM-Net采用非对称双流框架。空间流从稀疏高分辨率裁剪区域中提取伪影感知特征。时间流从[数据中]捕获轨迹相关的时间信息。

CRediT作者贡献声明

Qian Wang：方法论、软件、验证、形式化分析、可视化、撰写——初稿。Zongju Peng：概念化、监督、资源、撰写——审查与编辑。Fen Chen：方法论。Yao Yao：验证。Zixuan Liu：可视化。

利益冲突声明

作者声明他们没有已知的竞争经济利益或个人关系可能会影响本文报告的工作。

Qian Wang于2023年从重庆理工大学获得工学学士学位。她目前在重庆理工大学电气与电子工程学院攻读电子信息工程硕士学位。她的研究兴趣包括神经渲染场景的主观和客观质量评估，重点关注神经辐射场。

Qian Wang | Zongju Peng | Fen Chen | Yao Yao | Zixuan Liu