基于扩散强化学习的依赖感知计算机辅助验证（CAV）任务调度

《IEEE Transactions on Network Science and Engineering》：Dependency-Aware CAV Task Scheduling Via Diffusion-Based Reinforcement Learning

智能网联车依赖性任务调度中提出融合扩散模型与深度强化学习的混合算法，通过子任务合并机制和Lyapunov优化实现多目标优化，仿真显示任务完成延迟降低6.9%-12.1%

　　

摘要：

在本文中，我们研究了在连接式自动驾驶车辆（CAV）网络中一个考虑任务依赖性的调度问题。具体而言，每个CAV任务由多个相互依赖的子任务组成，这些子任务可以分配给附近的车辆或路边单元进行处理。由于频繁调度子任务可能会增加通信开销，因此我们设计了一种简化任务依赖性的调度方案，该方案采用了子任务合并机制来降低依赖性任务调度的复杂性。我们构建了一个长期联合子任务调度和资源分配优化问题，旨在在保证系统稳定性的同时最小化平均任务完成延迟。为此，我们利用李雅普诺夫优化方法将长期问题分解为多个瞬时确定性问题。为了捕捉车辆环境的动态性和任务到达的随机性，该问题被重新表述为一个参数化的动作马尔可夫决策过程。为了解决在稀疏奖励环境下单步确定性策略探索效率低的问题，我们提出了一种基于扩散的混合近端策略优化算法，该算法将扩散模型与深度强化学习相结合。与传统的策略网络不同，扩散策略用于生成连续的动作，从而提高策略捕捉多模态动作分布的能力，并通过多步优化提升长期决策的准确性。广泛的仿真结果表明，与现有最佳算法相比，所提出的算法能够将任务完成延迟降低6.9%至12.1%。