基于离线深度强化学习的移动边缘智能协作缓存

《ACM Transactions on Sensor Networks》：Intelligent Cooperative Caching at Mobile Edge based on Offline Deep Reinforcement Learning

合作边缘缓存需协调节点存储内容以减少延迟，但传统方法存在采样成本高的问题。本文提出基于离线深度强化学习的DECOR方法，利用静态数据训练高效策略，减少交互需求。实验表明DECOR的离线策略性能优于在线DRL和原始行为策略达35.9%。

　　

摘要

协作式边缘缓存使得边缘服务器能够共同利用它们的缓存来存储热门内容，从而大幅降低内容获取的延迟。协作式缓存的一个基本问题是：如何协调边缘服务器的缓存替换决策，以满足用户的动态需求并避免缓存冗余内容。在线深度强化学习（DRL）是一种有前景的解决方法，它通过与环境进行持续交互（试错）来学习协作式的缓存替换策略。然而，交互的采样过程通常成本高昂且耗时较长，这阻碍了基于在线DRL的方法的实际应用。为了解决这一难题，我们提出了一种基于离线深度强化学习（DECOR）的新型延迟预警协作式缓存替换方法，该方法可以利用移动边缘现有的数据来训练有效的策略，同时避免在环境中进行昂贵的数据采样。此外，还开发了一种特定的卷积神经网络来提高训练效率和缓存性能。实验结果表明，与先进的基于在线DRL的方法相比，DECOR可以从静态数据集中学习出更优的离线策略；而且，所学习的离线策略在性能上比用于收集数据集的行为策略高出多达35.9%。