一种用于自适应码率流媒体的基于深度强化学习的高效同策略演员 - 评论家架构

《Scientific Reports》：An efficient on-policy actor–critic architecture for adaptive bitrate streaming using deep reinforcement learning

　　

摘要

自适应视频流传输是互联网上传播视频内容的一种广泛应用方式。它采用自适应码率（ABR）算法，确保在各种网络环境下为终端用户提供高质量的用户体验（QoE）。然而，新兴的第5代（5G）及5G以后（B5G）网络动态且多变的特性，经常导致ABR算法出现不稳定情况。尽管基于学习的ABR算法不断取得进展，尤其是那些采用前沿深度强化学习（DRL）技术的算法，它们通常只能获得平庸的性能，难以在各种网络环境中持续提供最优结果。近期观察表明，Comyco作为一种质量感知的自适应视频流传输技术，在3G网络上提供了极佳的用户体验，但在4G和5G网络上却存在局限性。为了解决这一问题，我们提出了基于策略优化的梯度共享演员-评论家方法（GRASP），这是一种革命性的基于同策略DRL的ABR技术。我们将GRASP与各种同策略和异策略DRL技术（如Pensieve、GRAAB、Comyco、PPO-ABR和SAC-ABR）以及其他前沿DRL-based ABR算法和非DRL-based ABR算法（包括BB、RB和BOLA）进行了比较。为了进行比较，我们使用了毫米波4G跟踪数据和Lumos 5G数据集。结果表明，提出的GRASP算法在各种网络环境下均优于Comyco及其他前沿DRL-based ABR方法。GRASP持续实现的QoE高于Comyco DRL-based框架，在5G和4G网络上分别提升了高达11.44%和16.56%，对其他DRL-based和非DRL-based ABR方案也有更高的QoE提升。同时，与Comyco相比，GRASP将卡顿率降低了高达67%（5G网络）和70%（4G网络）。