基于复域缩放与最优实虚部码率分配的全息图流传输

《ACM Transactions on Multimedia Computing, Communications, and Applications》：Hologram Streaming Based on Complex-Domain Rescaling and Optimal Real/Imaginary Bitrate Allocation

　　光学成像技术的快速发展加速了全息应用的涌现。要实现真正的全息远程临场体验，必须解决在带宽受限的网络上传输海量全息数据的挑战。本文提出了一种全息图流媒体传输框架，该框架结合了针对全息图复数性质的复数域重缩放和比特率分配。首先，我们构建了一个复数重缩放神经网络以降低所需传输带宽。该网络由一个用于减少全息图数据量的下采样模型和一个用于恢复高分辨率全息图的抗压缩上采样模型组成。两个模型联合训练以优化全息图重建质量，然后分别部署在服务器和客户端上。其次，我们开发了一个失真模型，用于刻画实部和虚部（R/I）分量对重建全息图幅度失真的不同贡献。该模型被用于率失真优化框架中，在带宽约束下指导最优的R/I比特率分配。在沉浸式视频数据集上的实验表明，所提框架显著提升了率失真性能；在BD-rate指标下，基线方法需要多49.83%至222.71%的比特率才能达到相当的重建质量。