《Displays》：Central-view-assisted low-bitrate coding for large-disparity light field videos
编辑推荐：
低码率光场视频压缩通过中心视图辅助和时空融合提升重建质量，有效解决大视差场景下的码率-失真难题。
Xinpeng Huang|Yao Zhang|Huan Li|Chao Yang|Xin Fu|Ping An
上海大学通信与信息工程学院，中国上海南陈路333号，200444
摘要
光场（LF）视频能够捕捉到多个视角下的丰富时间、空间和角度信息，但压缩这些大量数据却是最具挑战性的任务。现有的LF压缩方案通常只编码稀疏的角视图，并在解码端重构剩余的视图。然而，在大视差场景中，由于深度估计的限制以及缺乏中心视图的指导，重构质量会显著下降。为了解决这个问题，本文提出了一种基于中心视图辅助和时间融合的低比特率LF视频压缩框架。具体来说，该方法联合编码中心视图和角视图，利用中心几何约束和时间相关性来提高重构精度，同时将比特率开销降至最低。实验结果表明，在具有挑战性的大视差场景中，该方法在保持竞争力性能的同时，实现了显著的速率-失真改进。
引言
光场（LF）成像不仅记录了光线的强度，还记录了光线的传播方向，从而捕获了完整的普伦诺普蒂克函数[1]。在静态LF成像的基础上，光场视频（LFV）通过连续捕捉动态场景将这一概念扩展到时间域，能够同时记录光线的空间和角度信息及其时间演变，提供了更加自然的显示效果[2]、[3]。得益于空间-角度超分辨率[4]、[5]、[6]、[7]、[8]、[9]、[10]、深度估计[11]、[12]、[13]和去遮挡[14]、[15]、[16]、[17]、[18]等基本处理任务，LFV在面部识别[19]、虚拟现实[20]和高速运动捕捉[21]等应用中展示了强大的潜力。
最近，从更宽的基线或多个摄像机阵列获取的大视差LF视频引起了越来越多的关注，因为它们提供了准确的深度线索和强烈的视差效果，这对于高保真3D感知至关重要。然而，增大的视差放大了角度变化和视图间的不一致性。再加上LF表示本身的高维度，这导致了极高的数据冗余性，给存储、传输带宽和计算资源带来了巨大负担。因此，高效的LFV压缩对于克服这些障碍并在资源受限的环境中实现实际应用至关重要。
现有的LF视频压缩方法依赖于传统的视频编解码器来编码所有子孔径图像[22]、[24]、[25]、[26]、[27]、[28]，将LF数据视为多视图视频序列，并使用MV-HEVC等扩展。然而，编码所有视图本质上会导致高比特率。为了实现低比特率压缩，如UPS[22]这样的方法不得不采用较大的量化参数（QP）。如图1所示，这种权衡引入了严重的块状伪影和模糊，最终导致重构质量下降和比特率升高（944 kbps）。
我们之前的工作提出了一种基于稀疏编码和角度重构的低比特率压缩框架[23]。通过仅编码四个角视图，该框架显著降低了编码比特率。然而，它面临三个根本限制。首先，缺乏中心视图序列使系统无法获得恢复细节的关键参考信息。其次，缺乏明确的深度建模严重限制了在大视差场景中的性能，使得合成容易因几何不准确而产生结构错误。第三，重构过程未能利用时间相关性，忽略了有价值的帧间一致性。如图1所示，尽管我们之前的工作[23]有效降低了比特率（从944 kbps降低到788 kbps），但这些缺陷导致合成视图过度平滑和细节丢失，因为缺少了几何和时间约束。
为了解决这些问题，提出了中心视图辅助的低比特率光场编码框架。该框架包括一个中心视图辅助的视图间预测机制和一个中心视图辅助的多域协作重构网络。作为光场的几何中心，中心视图具有最高的空间代表性，并与周围视图具有最高的相关性[29]。利用这一特性，引入中心视图序列可以为预测提供丰富的纹理细节。此外，中心视图序列还充当辅助的空间锚点。从概念上讲，这与在多媒体处理[30]、[31]、[32]中广泛使用的空间显著性机制和注意力机制一致。在视觉质量评估和多模态分析中，空间显著性有效地优先考虑了感知上关键的区域并指导特征提取[30]、[31]。受此启发，我们的框架将中心视图视为最“显著”的参考，以指导其他视图的解码和合成。这显著提高了整体重构质量，同时将比特率开销降至最低。具体来说，中心视图辅助的多域协作重构网络由三个关键组件组成：（1）多尺度视差增强模块（MSDEM），通过探索角视图之间的跨尺度相关性生成初始深度图；（2）中心引导的残差模块（CGRM），利用中心视图细化深度细节以实现精确的视图合成；（3）时间细化模块（TRM），通过利用相邻帧之间的时间相关性来恢复被遮挡的细节。通过协同这些模块，我们在效率和质量之间取得了更好的平衡。如图1所示，中心视图序列帮助改进了重构视图的细节恢复（更清晰的服装纹理），同时仅增加了10%的比特率（从944 kbps降低到866 kbps）。
本研究的主要贡献如下：
- •
提出了一种中心视图辅助的低比特率光场编码框架，专门针对大视差光场视频优化了速率-失真权衡。该框架协同整合了预测机制和协作重构网络，确保了结构完整性和纹理细节的精细度，实现了比特率消耗和重构质量之间的更高效平衡。
- •
通过利用中心视图的高空间代表性，实现了中心视图辅助的视图间预测机制。该机制有效地利用几何中心作为稳定的空间锚点，最小化了视图间的冗余，为设计用于大视差场景的低比特率光场编码框架奠定了坚实的基础。
- •
设计了中心视图辅助的多域协作重构网络
，通过显式估计深度来稳健处理大的几何位移。该网络创新地融合了跨尺度的空间-角度特征和时间线索，以重构高质量的光场序列。
相关研究
相关工作
近年来，由于光场（LFV）固有的空间-角度-时间表示方式引入了巨大的数据量和高冗余性，LFV压缩得到了广泛研究。通过随时间记录密集的方向性光信息，LFV实现了先进的视觉效果和沉浸式体验，同时也给存储、传输和实时处理带来了巨大挑战。这种数据量挑战在所有类型的沉浸式媒体中都很常见。中心视图辅助的视图间预测机制
作为光场视频的几何中心，中心视图通常包含最密集的空间信息和最高的视觉显著性。它与周围视图的相似性理论上高于任意两个角视图之间的相似性，因此更具代表性。通过利用中心视图的优势，它可以更有效地指导其他视图的重建，为非关键视图的合成提供更丰富的纹理和几何信息。
实施细节
所提出的方法使用Sintel-4D数据集[52]进行评估，该数据集包含具有大视差特征的合成LFV。具体来说，训练集包含16个LFV，每个LFV包含20到50帧。测试集包括4个序列，分别是ambushfight5、bamboo3、shaman2和thebigfight2，每个序列包含50帧。为了实验兼容性，进行了预处理以满足编码要求。由于MV-HEVC要求输入视频分辨率是8的倍数，讨论
在这项工作中，使用了Y-PSNR和SSIM来确保与现有最先进方法的公平定量比较。虽然Y-PSNR仍然是编码效率的标准指标，但感知质量评估对于沉浸式媒体来说变得越来越重要。对于未来的光场编码研究，结合高级通用指标（例如BPRI、BMPRI、RichIQA、UCA）和专门的光场质量指标[53]是一个有前景的方向。
结论
对于大视差LF视频，本文提出了一种基于稀疏编码和多视图协作重构的框架，该框架通过利用角度、空间和时间相关性实现了高效压缩和高质量重构。具体来说，编码器利用中心视图作为全局参考锚点来构建围绕它的视图间预测机制。在解码端，MSDEM提取多尺度空间-角度
CRediT作者贡献声明
Xinpeng Huang：撰写——原始草稿、方法论、软件。Yao Zhang：撰写——原始草稿、方法论、软件。Huan Li：方法论、软件。Chao Yang：资金获取、撰写——审阅与编辑。Xin Fu：撰写——审阅与编辑。Ping An：资金获取、撰写——审阅与编辑。
利益冲突声明
作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。
