通过增强重采样重建和角度注意力估计实现高效的光场传输

《ACM Transactions on Sensor Networks》：Efficient Light Field Transmission via Enhanced Resampling Reconstruction and Angular Attention Estimation

光场（LF）成像技术提升虚拟现实体验和计算机视觉任务，但大体积LF数据传输存在挑战。本文提出智能传输方法，结合增强降采样重建（预计算残差图辅助）与角度注意力网络（专用核设计引导角域差异化传输），并构建首个大规模光场眼追踪数据集。实验表明传输时间减少97.3%，质量损失仅3.1%，主观评价验证优越性。

　　

摘要

光场（Light Field, LF）成像技术显著提升了沉浸式虚拟现实体验，并推动了深度估计和3D重建等计算机视觉任务的进展。然而，光场图像（LFIs）庞大的数据量给传输带来了挑战。为了解决这一问题，我们提出了一种新颖的智能光场传输方法，该方法结合了增强型重采样重建和角度注意力估计技术。所提出的增强型重采样重建方法通过在传输前进行下采样、传输后进行上采样，并借助预先计算好的残差图来最小化质量损失，从而减少空间冗余。为了在保持感知质量的同时降低角度冗余，我们设计了一个光场角度注意力估计网络，该网络使用了专门设计的角度注意力核来指导角度域内的差分传输。为了训练这个网络，我们构建了首个光场眼动追踪数据集，该数据集包含大量样本、多样化的真实场景以及丰富的数据元素，尤其是真实用户的角度注意力数据，使其成为光场传输领域的一个关键基准。大量实验表明，我们的传输策略将传输时间缩短了97.3%，同时仅导致了3.1%的感知质量损失。主观实验进一步证实了我们方法的优越性能。本文的实现代码及构建的数据集可访问于：https://github.com/VincentQQu/LF-Transmission。