面向六自由度视频通信的人工智能赋能技术综述

《IEEE Communications Surveys & Tutorials》：A Review of 6-DoF Volumetric Video Communication Systems: AI Empowered Perspectives

　　摘要：六自由度（6-DoF）交互式服务通过使用户在三个平移轴和三个旋转轴上进行运动，从而与数字环境进行交互，提供了比传统二维和三维视频系统更具沉浸感的体验。此类服务支持广泛的应用，包括数字孪生、增强现实（AR）、虚拟现实（VR）以及数字人交互。其快速发展得益于深度计算机视觉和全息流媒体的进步。尽管沉浸式技术引起了广泛关注，但现有研究仍然缺乏从人工智能（AI）角度对6-DoF通信系统进行系统的考察。为了填补这一空白，本文对用于6-DoF视频通信的AI赋能技术进行了结构化综述。该综述分析了AI在端到端流水线中的作用，涵盖内容生成、编码、传输、渲染和用户交互等环节。通过综合先前的工作，我们总结了AI方法如何提高效率和感知质量，同时指出了关键局限性，尤其是高计算成本和受限的系统资源。根据所调查的文献，我们观察到，将AI与传统模块相结合的方法通常能在质量和复杂性之间提供更好的平衡。我们进一步强调了自适应资源分配和联合维持系统性能的网络设计选择的重要性。最后，我们讨论了几个仍然是实际部署核心问题的开放挑战。这些挑战包括实现实时、高保真的内容生成，支持在资源有限设备上的计算密集型推理，以及建立标准化协议以提高互操作性。总体而言，本综述捕捉了AI在6-DoF通信中的当前发展格局，并为未来研究方向提供了指导...