基于潜在预测的生成式语义通信技术在无线网络视频传输中的应用

《IEEE Open Journal of the Communications Society》：Latent Prediction based Generative Semantic Communication for Video Transmission in Wireless Networks

　　

摘要：

在智能感知和控制应用中，视频流量的主导地位日益增强，这对现代无线网络的容量限制构成了重大挑战。传统信息论为信道容量设定了固定的物理边界，超出这些边界后，要想进一步提升性能就需要重新思考传输的信息内容。语义通信（SemCom）通过仅传输消息的语义内容来克服这一难题。本文提出了一种SemCom框架，该框架结合了潜在空间中的程序化视频预测与基于世界模型的时间动态分析。发送方不是传输像素数据，而是对上下文帧进行高级语义编码并通过物理信道发送这些编码信息。接收端则使用时间变换器来预测未来的潜在状态。该框架同时优化了感知、对抗性和时间方面的目标，以在信道损伤的情况下保持视觉质量和轨迹一致性。在BAIR机器人推动物体数据集上的实验表明，与传统的编码解码器相比，所提出的方法在归一化端点和速度误差方面表现更优，并且具有更低的比特率，同时还能提供更好的便携式图形效果（BPG）。研究结果表明，将时间动态作为语义信息纳入通信过程，可以实现高效且具有预见性的视频传输，适用于远程机器人、水下作业和自主系统等应用。