结合状态空间模型的隐式神经表示方法用于光场图像压缩

《Signal Processing: Image Communication》：Implicit Neural Representation with State Space Model for Light Field Image Compression

　　

• •
  为了高效地对光场伪时间域t上的长距离依赖关系进行建模，采用了一种改进的Mamba结构来替代现有基于INR的模型中常用的传统MLP层。此外，Mamba模块的选择性扫描机制还可以与子SAIs的光栅扫描顺序相匹配，从而进一步提高重建质量。实验结果见第4.6节。
• •
  为了进一步增强空间和角度特征提取，在解码器中设计并引入了一个全局注意力卷积残差块（Global Attention Convolutional Residual Block）来调节后期信息流。同时，为了解决目标帧解码过程中特征对齐不足的问题，还将一个时域感知仿射变换（Temporal-aware Affine Transform，TAT）模块纳入了INR框架中。
• •
  大量的实验结果表明，与我们提出的框架相比，其他最先进的方法（SOTA methods）在率和失真性能上存在显著差距。全面的消融研究和分析证明了每个组件的有效性。

引言

近年来，随着新一代智能视觉技术的崛起，对沉浸式感知的需求变得越来越迫切。在各种视觉数据表示方式中，记录光线角度和空间信息的光场（Light Field，LF）图像已成为最具潜力的数据类型之一。然而，光场图像是否能在未来得到广泛应用，在很大程度上取决于能否克服几个关键挑战。目前，实现光场图像实际应用的一个主要障碍是庞大的数据量。因此，迫切需要高效的光场压缩技术，以便有效地传输和存储光场数据。

为了解决这一关键问题，早期的研究主要采用了传统的图像和视频压缩技术，如JPEG [1]、高效视频编码（High Efficiency Video Coding，HEVC）[2]等。这些方法的流程可以分为三个步骤：首先，通过沿角度维度提取和重组镜头图像中的像素来生成子孔径图像（Sub-Apperture Images，SAIs），然后可以使用JPEG等传统图像编码器对这些图像进行压缩；其次，通过对SAIs重新排序，将光场图像表示为伪视频序列（Pseudo-Video Sequence，PVS），再由传统视频编解码器进行压缩。然而，这些传统编码技术是为普通图像和视频设计的，旨在减少空间和时间冗余，无法有效利用SAIs之间的视图间冗余。尽管有一些编码方法是为3D视频设计的，例如多视图高效视频编码（Multiview High Efficiency Video Coding，MV-HEVC）[3]，它可以通过视差补偿减少视图间依赖性，但由于SAIs之间的视差很小，尤其是 在深度不连续区域，这些3D视频编解码器很难有效减少光场图像的视图间依赖性。

鉴于传统方法在建模复杂视图间相关性和非线性几何变化方面的局限性，研究人员开始探索更具表现力和适应性的压缩范式。为了克服这些挑战，提出了一些基于学习的图像/视频压缩方法 [4,5]。尽管深度学习取得了显著进展，但这些方法仍然面临参数冗余和建模灵活性有限的挑战。最近，隐式神经表示（Implicit Neural Representation，INR）作为一种新的信号参数化范式出现，为高效的光场建模和压缩提供了有前景的替代方案。INR将视觉信号表示为神经网络近似的连续函数。这种功能表示使得基于INR的方法在视频压缩任务中展现出巨大潜力 [[9], [10], [11], [12], [13], [14], [15], [16]]，其压缩性能可与标准或学习得到的视频编解码器相媲美。然而，现有的基于INR的编解码器主要是为单视图视频压缩设计的。关于基于INR的光场压缩方法的文献很少 [17]。在 [17] 中，Wang等人使用INR框架进行了光场压缩，将光场重新组织为伪序列。实验结果表明，基于INR的框架在感知质量上优于传统压缩方法。尽管如此，现有的INR模型仍然难以捕捉光场数据固有的全局依赖性。

已经证明，视觉状态空间模型（Visual State Space Models，SSMs）[18] 在长距离依赖关系建模方面可以取得不错的性能。一些基于Mamba的模块 [19] 在捕捉长距离依赖性方面表现出优于Transformers [20] 的性能。因此，它们被广泛应用于多种视觉任务中，如医学图像分割 [21]、图像分类 [22] 和图像恢复 [23]。受此启发，本文提出了一种将Mamba模块整合到INR框架中的方法，用更有效的模型替代了传统的多层感知器（MLP），以更好地利用伪时间维度上的SAIs之间的相关性，并捕捉光场的角度结构特征。此外，当前的基于NeRV的架构在光场SAIs的重建过程中仍存在一定的失真。为了解决这个问题，在解码器中加入了全局注意力卷积残差块（Global Attention Convolutional Residual Block，GACRB）以增强信息保留和表示能力。另外，为了解决目标帧解码过程中中间特征的对齐问题，还引入了时域感知仿射变换（Temporal-aware Affine Transform，TAT）模块 [24]，利用帧索引作为先验来有效地将中间特征与目标帧对齐。最后，应用模型压缩技术来压缩模型参数。压缩后生成一个紧凑的比特流，INR解码器从中重建SAIs。实验结果表明，所提出的框架在高比特率场景下能够实现更好的视觉质量和压缩性能。这进一步验证了基于Mamba的隐式神经表示在光场图像压缩方面的潜力。

章节片段

基于INR的视频压缩框架

INR提供了一种新的编码策略，通过学习参数化函数来编码连续信号。Chen等人提出了一个称为NeRV [9] 的基于INR的框架，在低比特率下能够取得优于传统编解码器的性能。为了进一步提高NeRV的编码效率，Li等人提出了E-NeRV [10]，该框架通过将图像级的隐式神经表示分解为独立的空间和时间上下文来显著加速编码过程。

提出方法

本节介绍了所提出框架的详细内容。首先，在3.1小节中介绍了Mamba和位置编码的一些基础知识。然后，在3.2小节中介绍了框架的流程和架构细节。

数据集

实验中使用了EPFL光场数据集 [47] 和HCI数据集 [48]，这两个数据集在光场图像处理研究中被广泛使用。为了确保评估的公平性和一致性，从EPFL数据集中选择了十个具有代表性的光场图像，分别是I01: Ankylosaurus_Diplodocus_1、I02: Backlight_1、I03: Bench_in_Paris、I04: Bikes、I05: Billboards、I06: Black_Fence、I07: Books、I08: Danger_de_Mort、I09: Fountain_&_Vincent_2 和 I10: Stone_Pillars_Outside。

结论

本文提出了一种用于光场图像压缩的新隐式神经表示网络。该网络引入了改进的Mamba模块来建模伪时间域中的长距离依赖关系，有效地替代了传统的MLP层。为了进一步提高重建质量，在解码器中加入了全局注意力卷积残差块，并引入了时域感知仿射变换（TAT）模块来改善目标帧解码过程中的特征对齐。

未引用的参考文献

[[6], [7], [8]]

CRediT作者贡献声明

Min Mao：概念设计。 Wenshuang Dai：撰写 – 原稿编写、软件实现、项目管理、形式分析、数据整理、概念设计。 Yuyang Liu：撰写 – 审稿与编辑、监督、方法论设计。 Hongwei Guo：资金获取。 Kun Zhang：撰写 – 审稿与编辑、监督。 Yu Xu：监督、资源协调。