用于车辆边缘计算中隐私保护的联合深度强化学习卸载技术

《Scientific Reports》：Federated deep reinforcement learning for privacy-preserving offloading in vehicular edge computing

　　

摘要

随着车联网（IoV）应用的快速发展，对于在动态移动环境中执行的计算密集型和延迟敏感型任务的服务需求持续增长，而车辆所携带的嵌入式计算能力却仍然有限，同时它们在延迟方面面临着严格的要求。在车辆边缘计算中，为了将计算任务卸载到附近的路边单元（RSUs）并实现基于集中学习的卸载，需要在中央学习节点收集整个系统的移动性、任务、信道和资源信息，这会导致更高的通信开销和原始数据的暴露。本研究提出了一种隐私保护的联邦深度强化学习（FDRL）框架，用于在RSU辅助下进行车辆边缘计算任务的卸载。该框架的创新之处不在于联邦学习和深度强化学习（DRL）的常规应用，而在于四个耦合机制的紧凑性：生成联邦二元卸载决策的混合动作表示和RSUs的连续资源分配机制、针对RSU上收集的非独立同分布（non-IID）车辆观测数据的个性化联邦聚合机制、考虑任务关键性的截止时间可靠性模型及其基于类别的违规惩罚机制，以及一种考虑信号延迟、服务上下文传输延迟和处理/认证延迟的多RSU模型。在所提出的框架中，局部SAC策略的模型参数被提供给联邦协调器，而不是局部观测到的信息（如原始车辆轨迹），后者可以用于基于SAC的策略的本地训练。通过控制实验，将所提出的方法与本地执行方法、两种集中式DRL基线（DQN和DDPG）以及三种联邦式DRL基线（FedAvg-DQN、centralized-SAC和federated-MADRL）进行了比较。结果表明，在所采用的仿真设置下，所提出的FDRL框架在系统成本、延迟、能耗、截止时间违规性能和通信开销方面优于其他方案。这种隐私保护性意味着在使用联邦训练时可以减少原始数据的暴露，并不意味着对模型更新的推理攻击有任何形式的隐私保障。