数字孪生驱动的车联网边缘计算中ES/OES协同动态任务卸载与FL-MADDPG资源分配方法

《Journal of King Saud University Computer and Information Sciences》：Digital twin-driven collaborative task offloading method for vehicular edge computing

　　

车联网边缘计算（VEC）通过将计算能力推向网络边缘，已成为满足计算密集型和时延敏感型车载应用需求的关键范式。然而，在高动态交通环境中，车辆移动性、波动无线信道、有限资源及随机任务到达使卸载决策易受状态感知不足、资源分配不均衡和服务连续性下降影响。为解决这些问题，研究人员提出一种面向VEC的数字孪生（DT）驱动协同动态任务卸载框架。利用DT技术构建物理VEC网络的实时虚拟映射，所提框架通过全局状态监测与预测促进边缘服务器（ESs）与机会边缘服务器（OESs）之间计算资源协同分配。具体而言，充分挖掘路边单元（RSUs）与机会车辆的协同计算能力，利用机会车辆空闲资源构建车载自组云以缓解ESs负载压力。基于该架构，构建包含本地计算、V2R卸载和V2V卸载的任务执行模型。联合考虑传输时延、计算时延、能耗、资源容量和任务完成约束，以在提高任务完成率的同时最小化系统时延和能耗。为求解多车辆连续卸载与资源分配问题，开发联邦学习辅助的多智能体深度确定性策略梯度（FL-MADDPG）算法。MADDPG使车辆间实现协同决策，而FL聚合车辆侧模型参数以降低本地训练偏差、保护数据隐私并增强策略泛化能力。实验结果表明，所提算法能更有效平衡系统负载，并在收敛性能、平均系统时延和任务完成率方面优于主流基线算法。

随着6G通信、车联网（IoV）与智能交通系统（ITS）发展，自动驾驶、增强现实导航、协同感知、高精地图更新和车路协同安全服务等应用广泛出现，通常具有计算密集、数据密集和时延敏感特征，对实时计算、通信可靠性和服务连续性要求严格。车辆车载计算与能量资源有限，难以独立执行大规模复杂任务；传统云计算虽资源丰富，但车辆与远程云距离长、回传带宽受限、网络拥塞和链路不稳定，会显著恶化任务完成时延与服务质量。车联网边缘计算（VEC）通过在路边单元（RSUs）或基站部署边缘服务器（ESs），将计算资源推向车辆附近，降低传输时延并减轻核心网负担。然而，实际交通中仅依赖固定RSU的ESs仍存在局限：RSU覆盖与计算能力有限，密集交通或突发任务下易产生严重排队时延与资源拥塞；车辆高移动使网络拓扑、信道条件和可接入边缘资源快速变化，卸载决策高度动态不确定，影响计算卸载连续性。机会车辆可作为机会边缘服务器（OESs），通过车对车（V2V）通信与ESs协作形成计算资源池，缓解RSU负载并提高资源利用率；但OESs可用性受车速、方向、相对距离、链路时长和剩余计算资源影响，缺乏有效感知时可能将任务卸载至不稳定链路或资源不足车辆，导致任务失败、重传或额外时延。数字孪生（DT）可构建物理车联网实时虚拟表示，持续同步车辆状态、网络拓扑、任务队列、信道条件和边缘资源分布，形成全局网络视图，并预测短期资源可用性、车辆连接稳定性和边缘负载变化，为主动卸载决策提供支持。现有研究虽涉及VEC任务卸载、车辆辅助计算、DT辅助网络和深度强化学习，但如何有机整合DT状态同步与预测、RSU/OES异构资源协作和多车分布式决策仍是开放问题；多智能体深度确定性策略梯度（MADDPG）可处理连续动作空间多智能体决策，但训练易受环境非平稳性和部分可观测性影响。基于此，研究人员开展该研究。

研究人员提出DT驱动协同VEC任务卸载方法，将基于RSU的ESs与可信机会车辆整合为统一协作资源池，并设计联邦学习（FL）辅助MADDPG算法，通过聚合参与车辆模型参数而非原始数据更新全局策略，以保护车辆数据隐私并改善收敛性、适应性和系统性能。具体而言，构建DT驱动协同VEC任务卸载框架，通过物理VEC网络虚拟表示实现车辆状态、任务队列、链路条件和边缘资源分布全局感知，将固定ESs与机会车辆资源整合为协作卸载资源池；建立ES/OES异构资源协同任务卸载模型，联合考虑本地计算、车对路（V2R）卸载和V2V卸载，在任务时延、能耗、计算资源和任务完成率约束下形成多目标联合优化问题；设计FL-MADDPG协同卸载算法，MADDPG学习多车辆协同卸载与资源分配策略，FL聚合分布式车辆模型参数以提高策略泛化能力并降低原始数据共享隐私风险；仿真验证所提算法能更有效平衡系统负载，并在收敛性能、平均系统时延和任务完成率方面优于主流基线算法。该研究为高动态VEC中的全局状态感知、异构资源协同和隐私保护决策提供了方法支撑。

研究人员采用的主要关键技术方法包括：利用DT构建物理VEC网络实时虚拟映射，周期同步车辆、RSUs和OESs状态，预测短期队列状态、资源可用性和V2V接触时长；将固定ESs与机会车辆空闲资源组成协同资源池，建立包含子任务Tas k_ij={D_ij,C_ij,T_ij^max}的本地计算、V2R卸载和V2V卸载执行模型，并考虑车辆、ESs和OESs计算能力f_{v_i}、f_{edg_k}、f_{ov_l}等约束；将多目标优化转化为加权单目标混合整数非线性规划（MINLP），再建模为马尔可夫决策过程（MDP）；采用FL-MADDPG，MADDPG集中训练、分散执行，FL周期性聚合车辆actor网络参数。仿真轨迹来源于SUMO微交通仿真软件生成的城市路网车辆移动数据，算法在PyTorch框架中评估。

研究结果如下。Analysis of algorithm convergence（算法收敛性分析）：研究人员将FL-MADDPG与联邦深度Q网络（F-DQN）和深度确定性策略梯度（DDPG）比较6000轮训练的平均奖励；初期探索导致奖励波动，随训练增加奖励上升；FL-MADDPG方差较低、收敛更快，周期性模型聚合更易跳出局部最优；F-DQN初期表现积极但后期可能因过度关注任务参数优化而可靠性下降，DDPG对学习率和探索率敏感且波动较大。Comparison results of average delay（平均时延比较结果）：通过不同因素比较平均响应时延。Number of User Vehicles（用户车辆数）：车辆数增加使有限计算通信资源需分配给更多车辆，等待时间与任务响应时延上升；FL-MADDPG优于本地计算（LC）、仅固定边缘服务器（FESO）、F-DQN和DDPG，利用空闲机会车辆资源降低平均任务响应时延并减少服务器资源竞争；DDPG在车辆较多时缺乏分布式协调，F-DQN需同步上传本地模型。Subtask Data Size（子任务数据规模）：数据规模增大时，LC不进行卸载，故平均响应时延恒定且最大，其他算法时延上升；FL-MADDPG可根据任务数据规模作出卸载决策，并利用机会车辆资源缓解固定ESs计算负载；F-DQN采用同步卸载机制，产生较大时延。RSU Computing Capability（RSU计算能力）：RSU计算能力提高时，除LC外各算法平均响应时延下降；FL-MADDPG仍保持较低任务响应时延，因将车辆计算任务转移至附近空闲机会车辆，降低ESs计算负载和车辆等待/执行时间。Results of task completion rate（任务完成率结果）：在不同ESs和OESs计算能力下比较FL-MADDPG、F-DQN和DDPG的任务完成率；ESs计算能力下降时资源不足使部分任务无法卸载至ESs，完成率下降；FL-MADDPG仍保持较高任务完成率。DDPG的ESs任务执行队列持续增长并超过最大队列容量，导致队列过载和不稳定；F-DQN可保证队列可靠性，但因上传训练数据不足使任务执行队列利用率明显较低；FL-MADDPG能根据资源状态波动动态调整计算卸载决策。Impact of load balancing among ESs（ESs间负载均衡影响）：通过分析各算法在所有ESs上的计算资源利用率评估负载均衡；FESO资源利用率最高，因为车辆仅作为辅助任务中继将更多任务卸载至ESs计算，但会导致部分ESs计算资源拥塞和运行效率降低；FL-MADDPG资源利用率高于DDPG和F-DQN，可从历史信息提取较优卸载策略，并通过FL机制使智能体合作避免恶意竞争资源，利用空闲机会车辆资源缓解车辆和边缘计算压力。Impact of DT, FL and OES（DT、FL与OES影响）：用户车辆从100增至500时，所有方案平均任务完成时延上升；FL-MADDPG在各车辆规模下均最低。DT提供时间对齐全局状态及短期链路和负载预测，使集中式critic准确评估联合动作Q值；FL周期聚合参与车辆actor参数，降低本地训练偏差并缓解新到车辆冷启动问题；去除FL使各车辆独立训练、收敛变慢且易陷局部最优；去除DT使critic缺乏全局状态和预测信息、卸载决策退化；去除OES使系统仅依赖ESs，资源稀缺时排队时延显著增加。任务完成率随用户车辆数增加而下降，FL-MADDPG始终最高，去除任一组件均明显下降，证实DT全局状态感知、FL策略泛化和OES资源扩展对整体系统性能的协同贡献。

讨论部分强调，所提方案通过DT实时虚拟映射实现全局网络资源状态和车辆行为的超视距感知，将ESs和空闲机会车辆计算资源整合为异构资源池，实现V2R和V2V任务卸载；将卸载过程建模为MDP并提出FL-MADDPG，融合FL分布式协作优势与MADDPG决策能力，在隐私保护前提下利用全局经验加速模型收敛，并克服非平稳环境引起的性能波动；仿真表明该方案在系统负载均衡、收敛性能、平均系统时延和任务完成率等关键指标上优于现有基线方案。研究结论部分可译为：该研究关注VEC系统中资源有限和网络高动态等挑战，提出DT驱动协同VEC任务卸载优化方法。通过构建物理网络实时虚拟映射，实现全局网络资源状态和车辆行为的超视距感知。ESs与空闲机会车辆的计算资源被整合为异构资源池，实现V2R和V2V任务卸载模式。为求解连续动作空间中的多目标优化问题，将卸载过程建模为MDP，并提出FL-MADDPG算法。该算法有机融合FL的分布式协作优势与MADDPG的决策能力，在隐私保护前提下利用全局经验加速模型收敛，有效克服非平稳环境引起的性能波动。仿真实验表明，所提方案在系统负载均衡、收敛性能、平均系统时延和任务完成率等关键性能指标上优于现有基线方案。未来，研究人员将结合6G技术，研究轻量级DT建模、通感一体化、边缘AI大模型、安全聚合、差分隐私和可扩展critic架构；基于大规模真实数据集，结合更复杂车辆运动模式，严格验证算法可扩展性和性能，以持续增强智能VEC系统的实用性和演进能力。