CTB-NLFIC：内容感知与目标码率感知的神经光场图像压缩

《Displays》：CTB-NLFIC: content and target bitrate aware neural light field image compression

　　

• •
  一种新颖的神经伪视频光场图像（LFI）压缩方法。
• •
  一个轻量级网络通过LFI内容和目标码率预测最优稀疏模式。
• •
  一种LFI适配的具有层次化视图合成的神经视频编解码器。
• •
  一个增强层选择性优化低质量视图以实现角一致性。

引言

四维（4D）光场图像（LFI）是一种代表性的结构化视觉信号，其中空间外观和角度光线被联合观测[1]，[2]，[3]。与传统二维（2D）图像相比，它能更有效地记录场景信息，并对深度估计[4]、视图合成[5]、[6]、三维（3D）重建[7]和LFI质量评估[8]、[9]具有重要价值。同时，相关研究还涉及水下图像质量评估[10]、无参考图像质量评估模型的鲁棒性[11]以及视听质量评估[12]。然而，在LFI中联合采样空间维度和角度维度也会产生海量数据，使得高效压缩对于实际的存储、传输和部署至关重要。特别是在可用带宽和LFI内容动态变化的网络传输场景中，神经LFI压缩面临更大的挑战：目标码率随网络条件变化，而不同的LFI内容需要不同的最优稀疏采样配置。因此，设计能够同时理解LFI内容和目标码率的压缩方法是至关重要的。

传统的LFI压缩方法大致可分为基于变换的方法和基于预测的方法。前者利用变换域中的能量压缩特性，但受限于手工设计的变换[13]、[14]。后者通常使用HEVC[15]和VVC[16]等视频编解码器来压缩帧内/帧间冗余，通过要么将LFI的视图重排为伪视频序列（PVS）[17]、[18]，要么直接编码LFI的宏像素图像（MPIs）[19]、[20]。然而，这些方法依赖于手工设计的编码工具，并非针对LFI进行联合优化。基于稀疏重建的LFI压缩方法[21]、[22]、[23]、[24]、[25]、[26]提供了一种降低码率的有前景的替代方案。值得注意的是，这些方法采用固定的稀疏模式，无法根据场景内容或目标码率进行调整。此外，现有方法仍依赖HEVC和VVC等传统视频编解码器作为其底层压缩框架，而非利用神经压缩网络。因此，它们缺乏根据变化的场景特征和特定码率约束动态调整稀疏结构的灵活性，凸显了对LFI内容和目标码率感知编码方法的需求。

近年来，神经图像/视频压缩技术取得了显著进展，例如端到端（2D）图像压缩[27]、[28]、[29]和视频压缩。受端到端学习图像压缩方法的启发，提出了一些端到端LFI压缩方法来直接建模视差感知或空间-角度相关性[30]、[31]、[32]、[33]、[34]、[35]。与传统手工设计的流程相比，这些方法有效利用了LFI中的耦合依赖性并超越了许多传统基线。然而，大多数端到端学习的LFI压缩框架采用刚性的全采样模式，在所有视图上均匀分配比特，忽略了场景中视差、纹理和重建难度方面的变化。此外，这些图像压缩方法通常在MPIs上操作，在每个块内联合编码空间和角度信息，而非处理单独的SAI。尽管基于MPI的处理能捕获局部空间-角度相关性，但它未能充分利用整个角度域上的全局视图间预测关系。

为了更好地利用LFI的视图间相关性，视频压缩技术[36]、[37]、[38]、[39]可能通过将相邻视图视为PVS中的连续帧来提供天然的LFI压缩框架。神经视频压缩（NVC）从早期的端到端残差编码框架[36]迅速发展到更先进的上下文和实时设计[37]、[38]、[39]。这些方法通过学习的运动估计和时间上下文建模在利用结构化帧间冗余方面特别有效。由于PVS中的相邻视图主要因几何约束的视差而不同，NVC网络为LFI压缩提供了有前景的机会。然而，直接将通用NVC网络应用于LFI的PVS并非最优，因为光场视图过渡受限于刚性几何而非不受约束的自然运动。迄今为止，设计能够充分考虑LFI独特的空间-角度结构和视差约束的LFI适配神经视频压缩方法仍然是一个开放且重要的研究问题。

为解决上述问题，本文提出了一种内容和目标码率感知的神经LFI压缩（CTB-NLFIC）方法。大量实验结果证明了所提方法的有效性。

本文的主要贡献总结如下：

• 1)
  提出了一种内容和目标码率感知的神经LFI压缩（CTB-NLFIC）方法，集成了自适应稀疏模式选择、LFI适配的神经视频压缩、层次化视图合成和选择性残差增强。所提方法在可变码率约束下有效处理多样化的空间-角度结构，在可变网络条件下具有较强的实际压缩应用潜力。
• 2)
  设计了一个轻量级自适应稀疏模式选择网络（ASMS-Net）来高效预测最优稀疏采样模式。通过显式利用场景几何、视差线索和目标码率，网络动态地将编码比特分配给最具信息量的视图和困难区域。这种单次前向传播预测取代了计算代价昂贵的穷举搜索，在率失真性能和计算效率之间实现了优秀平衡。
• 3)
  提出了一个角一致性增强（ACE）层来选择性优化低质量合成视图。通过显式提取并传输具有挑战性的非关键视图的残差信息，ACE层有效抑制了合成伪影并显著提高了重建LFI的整体角质量一致性。

本文其余部分组织如下。第2节回顾相关工作与动机。第3节描述所提的CTB-NLFIC方法。第4节报告实验结果与分析。第5节总结全文。

章节摘要

相关工作与动机

本节首先简要描述LFI的表示与可视化，然后回顾LFI压缩技术的发展，包括传统方法、基于稀疏重建的方法和端到端方法。最后，详细分析现有方法的局限性，并识别未解决的挑战，从而引出所提方法的动机。

整体框架

基于上述分析并考虑LFI的特性，本文提出了一种内容和目标码率感知的神经LFI压缩（CTB-NLFIC）方法，如图2所示。所提方法主要包括LFI内容和目标码率感知的自适应稀疏模式选择网络（ASMS-Net）、LFI适配的神经视频压缩（DCVC-LFI）网络、视图合成模块和角一致性增强（ACE）层。

具体而言，在图2的编码器端，ASMS-Net

实验设置

所提的CTB-NLFIC方法在PyTorch中实现，并在配备Intel Core i7-12700 CPU和NVIDIA GeForce RTX 4070 Ti Super GPU的工作站上训练/测试。为获得不同码率水平下LFI适配的神经视频压缩网络，使用四个拉格朗日乘数$\lambda \in \{85,170,380,840\}$对预训练的DCVC-HEM[38]进行微调，对应四个目标码率水平，分别标记为Q1、Q2、Q3和Q4。网络使用AdamW优化，批量大小为2。

结论

本文提出了一种内容和目标码率感知的神经光场图像压缩方法，以解决现有方法中的一个基本局限性：先前的基于稀疏重建的光场图像（LFI）压缩方法统一依赖固定的采样模式，无法适应网络传输下多样化的场景内容和可变的目标码率。为克服这一局限性，设计了一个自适应稀疏模式选择网络来联合感知代表性的

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能会影响本文报告的工作。

致谢

本工作部分得到国家自然科学基金资助，项目编号62271276、62401301、62501322、62471264和62171243；部分得到浙江省自然科学基金资助，项目编号LQ24F010002和LQN26F010013；部分得到甬江人才工程项目资助，项目编号2024A-128-G；部分得到宁波市自然科学基金资助，项目编号2024J455；以及宁波市公益研究项目资助，项目编号2024S054。

Zheyu Feng|Yeyao Chen|Haiyong Xu|Lifei Wan|Chongchong Jin|Zhouyan He|Ting Luo|Gangyi Jiang