用于无参考光场图像质量评估的伪4D-DCT表示学习方法

《Image and Vision Computing》：Pseudo-4D-DCT representation learning for no-reference light field image quality assessment

本文提出基于伪4D-DCT的深度学习方法用于无参考光场图像质量评估，通过空间DCT变换、角向DCT特征提取和全局聚合的三阶段策略降低计算复杂度，结合Transformer网络提取光场畸变特征并映射为预测质量分数，实验表明其优于现有方法。

　　

Xuehui Wei|Chenyu Wu|Luyao Wang|Feifan Wu|Biao Liu|Yidan Zhang|Wenhui Zhou|Lili Lin

杭州电子科技大学计算机科学与技术学院，中国杭州

摘要

光场图像的主观视觉质量是直接影响大多数光场应用用户体验的关键因素。现有的光场图像质量评估方法主要集中在空间和角度域分析上，而忽略了人类视觉系统（HVS）也对频率信息非常敏感这一事实。鉴于离散余弦变换（DCT）域与人类视觉感知之间的相似性，本文提出了一种用于无参考光场图像质量评估的伪4D-DCT表示学习方法。通过利用深度学习的优秀特征学习和表示能力，我们从4D光场图像的DCT频率域中提取光场畸变特征，从而无需任何参考信息即可评估感知质量。由于直接从光场图像计算4D DCT的计算复杂性和内存占用较大，我们将4D光场DCT特征提取过程分解为三个步骤：对子孔径图像（SAIs）进行2D空间DCT变换、沿极线平面图像（EPI）方向提取伪3D角度DCT特征，以及跨所有EPI方向进行伪4D畸变特征学习。最后，这些畸变特征通过一个包含两个全连接线性层的前馈网络映射到一维预测质量分数。在四个常见的光场质量评估基准测试上的实验结果表明，所提出的方法优于现有的最先进方法。

引言

光场成像作为一种有前景的成像技术，近年来受到了持续关注，因为它不仅记录了光线的二维投影，还记录了光线的方向分布，从而带来了许多奇妙的应用[1]、[2]。然而，压缩和渲染操作（涉及光场采集、重建和显示）会在光场图像中引入各种畸变，从而降低用户的视觉体验[3]、[4]、[5]、[6]。因此，建立一个健壮的光场图像质量评估（LF-IQA）系统对于提升用户体验和促进光场图像的应用至关重要。目前，大多数现有的LF-IQA研究主要集中在光场图像的空间和角度域分析上[7]、[8]、[9]、[10]，而忽略了频率域的分析。

频率域变换是图像处理中的一种常用方法。在频率域中，图像空间中的像素值变化表示为一组频率分量。像素值的微小变化对应于图像的低频分量，而剧烈变化则反映在高频分量中。通过分析不同频率分量的幅度，我们可以区分图像的边缘、纹理、噪声等特征。

DCT是一种流行的频率域变换技术。其能量集中特性能够有效地将图像能量聚集在低频区域，这与人类视觉系统对低频信息的较高敏感性相吻合。2012年，Saad等人[11]发现DCT系数的统计特性会随着图像畸变的程度和类型而变化。他提出了一种基于DCT系数自然场景统计（NSS）模型的无参考（NR）图像质量评估（IQA）算法，证明了从DCT域提取特征的可行性。受人类眼睛对高频和低频信息不同敏感性的启发，Yang等人[12]设计了一种基于DCT的频率域颜色度量，以补充空间域度量，用于水下图像质量评估。Li等人[13]将3D-DCT引入视频质量评估，并使用3D-DCT系数来描述局部空间区域的时空规律。Xiang等人[14]利用梯度图像的4D-DCT系数来表征光场图像的角度和空间信息，并提出了一种基于4D-DCT的无参考LF-IQA方法。然而，大多数现有的基于DCT的IQA方法都是传统的，它们手工设计的特征提取策略通常较为浅层且不充分，难以提取特征之间的全局依赖性。此外，块状DCT变换由于块间信息交互不足而加剧了这一挑战。另外，直接在深度神经网络中使用4D DCT不可避免地会导致较高的计算复杂性和内存占用。为此，本文将DCT分析扩展到4D光场，并提出了一种用于无参考LF-IQA的伪4D-DCT表示学习方法，旨在充分利用DCT与人类视觉系统（HVS）在频率域中的敏感性特征之间的兼容性。与仅关注空间和角度域分析的现有方法相比，我们的方法同时提取了低频和高频分量，能够捕捉更符合人类感知的畸变特征表示。实验比较证明了我们方法的优越性和有效性。我们的主要贡献如下：

• •
  提出了一种基于Transformer的光场频率表示学习框架，用于无参考LF-IQA。它从光场图像的DCT频率域中提取具有全局依赖性的光场畸变特征，然后利用这些特征预测感知质量分数，而无需任何参考信息。
• •
  提出了一种伪4D-DCT特征提取策略，以降低计算复杂性和内存占用。该方法采用分解-聚合的三阶段策略来分解4D光场DCT特征提取任务：2D空间DCT变换、伪3D角度DCT特征提取和伪4D畸变特征聚合。
• •
  该方法已在Win5-LID、NBU-LF1.0和MPI-LFA数据集上进行了评估。在比较实验中，它与主观评估结果高度相关，并在各种畸变类型和不熟悉场景中表现出竞争力，证明了其鲁棒性。

部分内容摘录

基于频率域的IQA方法

Liu等人[15]分别对HDR图像的亮度分量应用Gabor和Butterworth滤波器，以提取局部和全局频率特征，用于HDR图像质量评估。Xiang等人[16]使用4D小波变换对原始和畸变的伪光场图像（PLFIs）进行分解，并提出了一种新的空间-角度加权策略用于质量评估。Zhou等人[17]采用离散Haar小波变换来获取多频率信息

所提出的方法

所提出方法的总体网络架构如图1所示。它是一个端到端的架构，包括四个模块：2D空间DCT变换模块、伪3D角度DCT特征提取模块、伪4D畸变特征聚合模块和质量分数预测模块。网络输入是一个9 × 9星形排列的光场SAIs阵列。

数据集

比较实验在4个公共数据集上进行：Win5-LID [28]、NBU-LF1.0 [29]、MPI-LFA [30]和SHU [31]。

Win5-LID [28]数据集包含220张具有六种畸变的LFIs，包括HEVC、JPEG2000、LN、NN以及两种基于CNN模型的畸变。除两种基于CNN模型的畸变外，每种畸变包含五个强度级别。这些LFIs来自四个合成场景和六个由Illum光场相机捕获的真实场景。

结论

在本文中，我们提出了一种用于无参考LF-IQA的伪4D-DCT表示学习框架，旨在提高光场畸变特征与人类视觉系统（HVS）之间的感知一致性。与主要在空间或角度域学习的现有方法不同，我们的方法引入了伪4D-DCT特征表示模块，利用了DCT与HVS在频率域中的良好兼容性。

CRediT作者贡献声明

Xuehui Wei：撰写 – 原始草稿、验证、方法论、数据管理、概念化。Chenyu Wu：验证、软件、形式分析、数据管理、概念化。Luyao Wang：软件、数据管理。Feifan Wu：验证、数据管理。Biao Liu：软件、数据管理。Yidan Zhang：资源获取、资金筹措。Wenhui Zhou：撰写 – 审稿与编辑、撰写 – 原始草稿、可视化、验证、方法论、概念化。Lili Lin：撰写 – 原始草稿

利益冲突声明

作者声明他们没有已知的可能会影响本文工作的竞争性财务利益或个人关系。

致谢

本工作部分得到了国家自然科学基金（项目编号：62471437）、浙江省“先锋”和“领头鹅”研发计划（项目编号：2023C01030）以及杭州市重点科研计划（项目编号：2024SZD1B01）的支持。