PACOB：基于多臂老虎机学习的车辆边缘计算中的优先级感知计算卸载技术

《Computer Communications》：PACOB: Priority-aware computation offloading in vehicular edge computing based on multi-armed bandit learning

　　

Sadoon Azizi|Ayub Fatahi|Arash Bozorgchenani|Mohammad Shojafar

摘要

车辆边缘计算作为一种变革性技术，已在智能交通系统中得到广泛应用，它能够让车辆将那些计算强度高且对延迟敏感的任务转移到附近的边缘服务器或云端服务器上处理。然而，由于车辆网络的动态性、边缘资源的多样性、服务成本的变化以及任务要求的差异，高效的任务卸载仍然面临挑战。传统方法往往无法区分对延迟敏感和可容忍延迟的任务，从而导致响应时间与成本之间的折衷效果不佳。为了解决这些问题，本文提出了PACOB这一基于多臂老虎机模型并结合上置信界机制的优先级感知型计算卸载框架。与传统方法不同，PACOB采用双动作价值函数来明确区分不同类型的任务，并实现针对特定任务的优化。对于对延迟敏感的任务，它优先确保快速响应以满足严格的截止时间要求；而对于可容忍延迟的任务，则在保持服务质量的同时注重成本效率。通过动态学习最优的卸载策略并适应实时网络变化，PACOB能够在不同类型的环境中实现延迟与成本之间的平衡优化。在多种车辆边缘计算场景下的模拟实验表明，PACOB相较于四种基准方法——随机方法、基于优先级的启发式方法、ε-贪婪算法以及标准UCB算法——具有更出色的性能。与标准UCB算法相比，PACOB能够将平均响应时间降低约35%，同时提高按时完成任务的比例18%，而对延迟敏感任务的成本仅上升25%。在处理可容忍延迟的任务时，PACOB与基于优先级的启发式方法的成本效率相当，但通过将部分任务重新分配到利用率较低的边缘服务器上，PACOB能实现更优的响应时间和更高的按时完成任务比例。这些结果充分证明了PACOB在平衡延迟、可靠性及成本效率方面的强大能力，非常适合用于实时车辆边缘计算。

引言

车辆边缘计算的出现彻底改变了智能交通系统的格局，它使得计算任务可以转移到边缘服务器和云端服务器上进行处理[1]、[2]、[3]。随着车辆越来越多地配备传感器、自动驾驶系统以及高带宽连接功能，对于那些对延迟敏感且计算强度高的任务进行实时处理的需求也在不断增长[4]、[5]。诸如自主导航、实时交通管理以及车载娱乐系统等功能，都需要极低的延迟和极高的可靠性，才能满足现代车辆网络的高标准要求[6]、[7]、[8]。

车辆边缘计算作为一种变革性技术，有效弥补了资源有限的车辆与日益增长的实时高性能应用需求之间的差距。通过利用部署在路侧单元和远程云端服务器上的边缘计算资源，车辆边缘计算能够实现计算任务的卸载，从而降低延迟并提升服务质量。然而，如何在车辆边缘计算环境中高效地完成任务卸载依然是一个重大挑战[9]、[10]。其主要困难源于边缘服务器的多样性、交通状况的动态变化、有限的计算资源以及不断波动的服务成本。此外，车辆所处的环境极为复杂，任务紧急程度、网络状况以及资源可用性都在持续变化。因此，要想实现计算效率的最大化、响应时间的最小化以及成本的优化，就必须能够实时做出明智的卸载决策。

为了解决这些难题，基于多臂老虎机算法的学习方法因其在自适应任务卸载方面的优势而受到关注[11]、[12]、[13]、[14]。多臂老虎机框架本身就能够很好地平衡探索（评估不同卸载方案的性能）与利用（选择已知表现最佳的方案）这两个方面，因此非常适合用于像车辆边缘计算这样充满动态性和不确定性的环境。尤其是基于上置信界的方法，能够在不确定性环境下为决策提供坚实的理论保障[15]。不过，尽管基于UCB的任务卸载策略已在车辆边缘计算系统中得到广泛应用，但大多数现有研究并未解决任务多样性这一难题[11]、[13]、[16]。不同任务在延迟敏感度和计算复杂性方面存在显著差异，采用统一的卸载策略显然无法满足它们各自的不同需求。如果不对任务的优先级和计算需求进行充分考虑，传统的基于UCB的方法就有可能导致资源分配不合理以及成本管理不善的问题。

在本文中，我们对车辆边缘计算系统中的计算任务卸载问题进行了数学建模，其目标是在最小化响应时间和成本的同时提升系统的整体性能。为了解决这一难题，我们提出了PACOB算法——一种基于多臂老虎机学习的、具备优先级感知功能的车辆边缘计算计算卸载算法，该算法采用了改进型的上置信界框架。PACOB的一个关键创新之处在于它所使用的双动作价值函数，这一功能使得算法能够区分对延迟敏感和可容忍延迟的任务，从而实现针对不同任务的个性化优化以及自适应决策制定。对于对延迟敏感的任务，该算法会优先确保快速响应，以满足严格的截止时间要求；而对于可容忍延迟的任务，则注重降低成本，以实现经济效率的最大化。通过动态学习并适应网络状况的变化，PACOB能够智能地平衡性能与成本，在动态变化的车辆边缘计算环境中显著提升服务质量以及资源利用效率。

本文的主要贡献如下：

• •
  我们将车辆边缘计算系统中的任务卸载问题建模为混合整数线性规划模型，通过对该模型进行优化，同时兼顾响应时间和成本因素，从而提升系统的计算效率和经济可行性。
• •
  为了解决任务多样性问题，我们引入了一种具备优先级感知功能的卸载机制，通过考虑任务在响应时间和成本方面的不同敏感性，来实现对不同类型任务的有效区分。
• •
  我们设计了PACOB算法，这是一种基于UCB机制的先进自适应任务卸载算法，它通过双动作价值函数来实现对任务分配的智能管理，并能够实时优化卸载决策。
• •
  我们在多种真实的车辆边缘计算场景下进行了大量仿真实验，结果表明，使用PACOB算法能够在响应时间、成本效率以及任务按时完成率等方面取得显著提升。我们的实验结果充分证明了PACOB相比其他基准方法更具优势，也验证了它在优化车辆边缘计算系统中的任务卸载功能方面的有效性。

本文的其余结构安排如下：第2节将回顾目前关于车辆边缘计算系统中任务卸载的相关研究，分析当前面临的挑战以及取得的进展；第3节会介绍系统的整体模型，详细阐述系统架构、卸载环境以及问题的具体表述方式；第4节将介绍我们所提出的PACOB算法，说明其核心机制以及各项改进之处；第5节会描述性能评估的方法，并对仿真结果进行全面分析；最后，第6节将对全文内容进行总结，同时指出未来研究可能的方向。

各章节要点

相关研究

近年来，关于边缘计算和车辆边缘计算环境中的计算任务卸载问题，已有大量研究成果问世[17]、[18]。本节旨在梳理那些专注于计算任务卸载的相关研究，分析各种不同的解决方法。我们会对这些方法进行总结，明确每种方法的具体目标及其贡献，并将这些相关研究分为四类：启发式方法，

系统模型

在本节中，我们首先会介绍所研究的系统架构以及相关的卸载环境。之后，我们会建立数学模型，并明确需要解决的具体问题。

提出的解决方案

在本节中，我们基于多臂老虎机理论设计了一种基于学习的任务卸载算法，用以优化车辆边缘计算系统中的任务处理流程。该算法能够让系统智能地了解不同计算资源的延迟性能和成本情况，从而做出合理的决策，确定将计算任务卸载到何处，最终实现预期卸载延迟和成本的双重最小化。

性能评估

为了评估所提出算法的性能，我们设计了一系列模拟真实世界条件的测试场景，从多个指标出发来检验该算法的实际表现。

结论与未来工作

在本文中，我们介绍了PACOB算法，这是一种专为车辆边缘计算环境设计的自适应任务卸载策略。该算法的核心创新之处在于它通过使用两个独立的Q表，分别针对对延迟敏感和可容忍延迟的任务采取不同的处理方式。这样的设计使得算法能够有效实现针对不同类型任务的目标优化——对于对延迟敏感的任务，重点是最小化响应时间；而对于那些计算强度高、可容忍延迟的任务，则侧重于降低处理成本。

CRediT作者贡献说明

Sadoon Azizi：撰写——审稿与编辑，撰写——初稿，可视化，验证，监督，方法论，研究设计，概念构建。Ayub Fatahi：撰写——初稿，验证，软件开发，数据整理。Arash Bozorgchenani：撰写——审稿与编辑，撰写——初稿，验证，方法论，概念构建。Mohammad Shojafar：撰写——审稿与编辑，方法论，概念构建。

利益冲突声明

作者声明，他们不存在任何可能影响本文研究成果的已知财务利益关系或个人关系。

致谢

本研究的部分资金支持来自“欧洲地平线”马丽·居里行动计划，具体项目名为TRACE-V2X（项目编号为101131204）。