基于收入感知的车辆边缘-云卸载技术：采用两阶段深度强化学习与动态服务器集群架构

《IEEE Open Journal of Vehicular Technology》：Revenue-Aware Vehicular Edge-Cloud Offloading via Two-Stage DRL and Dynamic Server Clustering

　　

摘要：

现代车辆产生的传感器数据量非常大，超过了车载处理能力。虽然将任务卸载到边缘服务器可以减少延迟并缓解车载资源紧张的问题，但车辆的移动性和密集交通往往会导致局部过载，即多个相邻的边缘服务器同时变得拥挤。这种区域性的过载会耗尽边缘服务器的资源，降低处理成功率，并减少服务提供商的收入。在这种情况下，边缘服务器之间的协作是必要的；然而，动态地组建协作小组并共同决定卸载多少数据以及在何处进行处理会扩大状态-动作空间，并在一次性选择这些联合动作时使学习过程变得更加复杂。为了解决在延迟限制和多层订阅服务下的这一收入敏感型卸载问题，我们提出了一个联合卸载和资源分配问题，旨在最大化服务提供商的收入，并提出了一个包含三个相互连接组件的分层边缘-云框架：（i）一个由云辅助的动态边缘服务器聚类算法，该算法根据资源可用性对边缘服务器进行分组，以形成在区域过载情况下仍能有效运行的资源平衡协作结构；（ii）一个两阶段的深度强化学习（DRL）策略，该策略依次确定卸载比例，然后选择处理服务器，以反映它们之间的依赖关系并稳定训练过程；（iii）一个基于信用的计算资源分配器，该分配器跟踪累积的服务结果和订阅等级，以确保长期公平性。仿真结果表明，所提出的框架收敛速度比单阶段DRL基线更快，1.75×在重负载条件下，成功率提高了约10%，收入增加了30%。