基于新能源意识的协同边缘计算卸载优化方法，用于车联网（Internet of Vehicles）

《Ad Hoc Networks》：New energy-aware based offloading optimization method for collaborative edge computing for the Internet of Vehicles

MEC与IoV融合为车载服务系统提供低延迟高可靠计算范式，提出基于多跳扩展的资源搜索卸载方案和Lyapunov优化结合的强化学习算法，解决动态资源发现和协作机制问题，通过量化车辆协作意愿（OW-UCB）和改进PPO-Clip框架，实现能耗与延迟联合优化，实验表明相比基准算法延迟降低10.3%，能耗节省50.7%。

　　

崔帅|张杰|张德干|张婷|孙宇|陈璐|蒋星茹

天津工业大学智能计算与新型软件技术重点实验室，中国天津市300384

摘要

移动边缘计算（MEC）与车联网（IoV）的结合为构建低延迟、高可靠性的车载服务系统提供了一种新的分布式计算范式。为了应对车辆计算需求的持续增长，利用沿途暂时闲置计算资源的车辆和静态边缘节点已成为增强系统计算能力的重要手段。为了解决现有研究中动态资源发现和多跳协作机制的局限性，本文提出了一种基于多跳扩展的车辆资源搜索卸载方案。该方案综合评估了不同跳数内车辆节点的可用计算资源和卸载意愿，选择资源充足且协作性强的候选车辆节点，并将它们与边缘服务器一起纳入任务卸载的目标集，从而形成一个协作计算架构。考虑到车辆电池容量的限制和能量补充的不确定性，本文引入了一种能量收集机制，并基于李雅普诺夫优化方法实现了车辆电池能量的长期稳定性控制。在此基础上，设计了一种基于强化学习的任务卸载算法，使任务车辆能够在能量约束下最小化整体系统成本。通过与现有基准算法（如A2C和DDQN）的广泛对比实验，本文验证了所提算法在高速移动车辆场景中的鲁棒性。多次独立实验的平均结果表明，在确保能量稳定的同时，与基准算法相比，所提方法降低了10.3%的延迟并节省了50.7%的能量消耗。

引言

随着物联网技术的不断发展和快速进步，车联网已经超越了早期的概念阶段，进入了大规模商业部署和与汽车行业深度整合的关键时期[1]。它已经从孤立的“车载娱乐”功能演变为一种新的基础设施，深度融合了通信、人工智能、交通和汽车系统[2]、[3]。然而，由于车辆在计算能力、存储资源和能量耐久性方面的固有限制，它们难以独立支持具有高复杂性和严格实时要求的任务[4][?]。为了解决这一问题，边缘计算技术被引入到车联网架构中。通过将计算密集型和延迟敏感型任务卸载到网络边缘节点进行处理[5]，有效弥补了本地车辆资源的不足，为实现高效、可靠和安全的联网与自动驾驶提供了关键的技术支持[6]。

在交通密集的交叉口场景中，大量车辆可能同时请求卸载复杂的计算任务[7]。尽管边缘计算在一定程度上扩展了系统资源，但边缘服务器仍可能面临瞬时过载，导致计算资源竞争激烈，从而使得某些任务请求被拒绝或响应延迟显著增加，严重影响服务质量[8]、[9]。现有研究试图利用交叉口区域内负载较低的车辆作为辅助计算节点来帮助边缘服务器分担计算负担[10]。然而，这些研究通常将可用节点的选择限制在任务发起车辆的单跳通信范围内[11]，未能有效利用更远位置车辆的潜在闲置资源[12]。此外，在将车辆用作辅助计算节点时[13]、[14]，还需要解决它们固有的自私性问题，即车辆不愿意贡献自身资源的问题。

近年来，结合李雅普诺夫优化和深度强化学习（Lyapunov-DRL）的框架被广泛用于在线决策，以平衡车联网中的能量消耗和延迟[15]。然而，现有的Lyapunov-DRL方法存在显著局限性，无法直接应用于本文考虑的复杂场景，该场景涉及多跳扩展和动态的协作意愿变化。具体来说，现有方法通常依赖于节点间无条件协作意愿的隐含假设，这无法有效量化或缓解多跳链接中由于车辆自私性导致的意愿突然变化[16]。这可能导致任务卸载失败，并破坏系统的长期队列稳定性。因此，现有Lyapunov-DRL方法尚未解决的一个关键挑战是如何在扩展多跳候选资源的同时进行在线识别和风险缓解，并在此基础上实现稳定高效的任务卸载策略。

为应对上述挑战和现有方法的不足，本文设计了一种基于卸载意愿上置信界（OW-UCB）和带裁剪目标的近端策略优化（PPO-Clip）强化学习的任务卸载算法。目的是提高车辆资源利用率并优化任务卸载机制，同时确保系统队列稳定性。本文的主要贡献如下：

• 1.
  通过引入多跳通信机制，将更广泛范围内的车辆纳入可用辅助计算节点的集合中，从而扩展了可用资源节点的覆盖范围。与单跳通信相比，多跳机制显著提高了发现潜在计算资源的能力，促进了更大空间范围内的分布式资源整合。
• 2.
  设计了一种车辆卸载意愿模型，用于量化任务卸载过程中不同车辆的协作倾向。在此基础上，通过将OW-UCB与PPO-Clip框架结合，提出了一种改进的强化学习算法。该方法旨在激励低负载车辆参与协作计算，从而提高系统的整体资源利用率。
• 3.
  通过采用李雅普诺夫优化技术，我们将复杂的随机优化问题分解为一系列确定的每个时隙子问题，确保了能量收集和消耗之间的长期稳定性。最终，在严格遵守能量稳定性约束的前提下，实现了能量消耗和处理延迟的联合优化。

本文的其余部分安排如下：第2节概述了车联网中边缘计算的最新研究。第3节详细介绍了车联网系统的整体架构、关键模型和建立的优化目标。第4节详细介绍了结合李雅普诺夫优化、上置信界和PPO-Clip强化学习算法的方法论，以实现能量收集和消耗约束下的系统延迟最小化目标。第5节提出了所提算法与其他基线算法的性能比较，并对结果进行了分析和讨论。第6节总结了本文并提出了未来工作的方向。

相关工作

相关工作

目前，大量研究集中在车辆间的任务协作计算上，以解决车联网中的任务卸载问题。例如，刘等人[17]采用了OICO（在线不稳定性感知计算卸载）算法，在车对车（V2V）网络中实现高效的任务卸载，通过动态匹配最佳服务路径并最小化中断时间。舒等人[18]利用改进的量子粒子群

系统模型和问题描述

在本节中，我们将重点阐述车联网系统的构建方法，该系统采用多跳任务卸载技术，在车辆、路边单元（RSUs）和边缘节点之间实现协作计算，从而解决车辆终端的资源限制和车联网系统中网络覆盖范围的动态变化问题，并最终提出车联网系统的最终优化目标。

基于强化学习的李雅普诺夫优化算法和任务卸载算法

在本节中，基于讨论的车联网场景，我们首先应用李雅普诺夫优化框架将复杂的随机优化问题分解为可管理的确定性每个时隙问题。随后，我们引入了一种结合OW-UCB和PPO-Clip框架的强化学习算法，用于识别表现出高协作意愿的车辆。这些车辆与RSUs一起构成任务卸载的候选集。最终，这种方法

实验测试和结果分析

在本节中，我们进行了实验来评估所提出的PPO-UCB任务卸载方法的性能。作为对比，我们选择了三种常见的基于强化学习的任务卸载算法作为基准：优势演员-评论家（A2C）算法、双深度Q网络（DDQN）算法和近端策略优化（PPO）算法。此外，我们还引入了两种先进的任务卸载方法进行比较：深度增强低延迟智能引导

结论

本文构建了一个多跳协作卸载模型和一个能源感知的长期优化框架，提出了一种异构资源协作卸载方案，用于车辆网络。该方案将闲置的车辆计算资源整合到边缘节点中，在能量约束下优化了整体系统成本。需要注意的是，这项研究主要基于模拟和相对理想化的通信假设。在现实世界场景中

CRediT作者贡献声明

崔帅：撰写——原始草案、可视化、软件、资源、调查、数据整理、概念化。张杰：验证、资源、方法论、调查、数据整理。张德干：撰写——审稿与编辑、监督、资源获取、形式分析。张婷：撰写——审稿与编辑、项目管理、资源获取、形式分析、概念化。孙宇：可视化、验证、调查、概念化。陈璐：

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的财务利益或个人关系。

致谢

本研究工作得到了天津市自然科学基金重点项目（资助编号：25JCZDJC00420、18JCZDJC96800）的支持。