车辆边缘计算中的异构图增强多目标依赖感知任务卸载

《Internet of Things》：Heterogeneous Graph-Enhanced Multi-Objective Dependency-Aware Task Offloading in Vehicular Edge Computing

　　摘要
车辆边缘计算通过车辆、边缘设备与云端的协同作用，实现了对计算密集型车辆应用的支撑。然而，由于子任务之间的依赖关系、异构计算资源、系统规模的动态变化以及不同的延迟与能耗偏好，基于依赖关系的任务卸载仍然面临诸多挑战。现有方法通常依赖于固定的标量化方式、启发式子任务排序或元启发式求解器，这限制了它们对用户需求和资源配置变化的适应能力。为解决这些问题，本文提出了一种基于图的多目标强化学习框架——HGATE-EMOPPO，用于在车辆边缘计算系统中实现依赖感知的任务卸载。该问题被构建为一个多目标马尔可夫决策过程，旨在同时优化任务完成时间与能耗。通过构建异构图，可同时建模有向无环的任务依赖关系以及服务器核心之间的无向竞争关系。基于此模型，本文设计了具有解耦式无监督预训练功能的异构图注意力自编码器HGATE，用于提取可重用的结构与关系特征。此外，还设计了基于包络的多目标近似策略优化算法EMOPPO，用于学习统一的偏好感知策略，其中的特征级线性调制机制能够使系统在不同延迟与能耗权衡下做出适应性决策。与传统方法依赖预定义的子任务优先级不同，HGATE-EMOPPO能够动态选择可执行的子任务及其卸载目标，从而实现无需考虑任务规模且无需启发式规则的调度方案。大量仿真结果表明，HGATE-EMOPPO在超体积与适应误差等指标上均展现出优异的多目标卸载性能。尽管某些基准方法在特定设置下针对某些指标能取得更好结果，但HGATE-EMOPPO提供了一种灵活的单一策略偏好感知解决方案，并且无需重新训练即可有效应对未知的任务拓扑、不同的通信与计算特性以及异构服务器核心配置，体现了其在实际车辆边缘计算环境中的鲁棒性与可扩展性。

引言
智能联网车辆的快速发展推动了诸如增强视觉[1]、道路检测[2]以及同时定位与绘图等先进车载应用的发展。这类应用通常具有较高的计算强度且对延迟敏感，给车辆有限的 onboard 资源带来了巨大压力。移动边缘计算将云端的计算能力延伸至网络边缘，使得任务可以卸载到附近的边缘服务器或云端服务器上，从而实现低延迟且节能的处理效果。在实际应用中，边缘服务器与云端基础设施相互协作：边缘服务器在靠近车辆的位置处理对延迟敏感的任务，而云端服务器则为计算密集型或需要全局协调的工作负载提供强大的计算资源[3]。

除了提供计算能力外，车辆边缘计算还依赖于高效的网络侧协调，因为车辆、路侧单元、边缘服务器以及云端服务器是通过不断变化的无线链路与回程链路相互连接的。软件定义网络被引入车辆边缘/雾计算领域，用以将控制平面与数据平面分离，并提供对网络状态的逻辑集中视图[4]。基于这一全局视角，SDN能够支持服务节点的选择、路由/路径配置、切换管理以及车辆网络中的负载均衡。例如，现有的基于SDN的任务卸载研究已经考虑了在路侧单元、基站、车辆、边缘服务器以及云端服务器之间分配任务，同时利用SDN的集中式网络视图来协调资源分配与通信路径[5]、[6]。最近的研究还将基于SDN的优化方法扩展到控制平面管理层面，比如在考虑移动性、可靠性及负载均衡要求的情况下进行基于轨迹的控制器部署[7]。这些研究表明，SDN为车辆边缘计算中的全网协调与资源调度提供了有效的框架。

本文聚焦于车辆边缘计算系统中的依赖感知型计算卸载与调度问题。与关注SDN控制平面部署或路由/路径管理不同，本文研究的是依赖感知型的任务卸载问题，即如何在任务优先级、传输效率、延迟以及能耗约束条件下，将细粒度的子任务分配到合适的执行位置与处理核心上。计算卸载本质上涉及到通信与计算之间的紧密耦合：虽然卸载可以减轻本地处理负担，但也会带来传输延迟与能耗增加。因此，高效的卸载决策必须仔细平衡通信开销与计算收益。当车辆应用被分解为多个相互依赖的子任务并形成有向无环图时，这一挑战更为突出。在这种情况下，调度决策必须考虑到任务依赖关系、服务器能力的差异以及系统的动态变化。

早期的卸载研究主要针对单体应用，重点在于决定是否以及将整个任务卸载到何处[8]、[9]。然而，这类方法无法满足需要细粒度子任务调度的依赖感知场景的需求[10]、[11]。为了解决这一问题，人们提出了基于优化的[12]、[13]、启发式的[14]、[15]以及基于学习的[10]、[16]、[17]、[18]方法，以提升调度效率。不过，大多数现有方法要么将多个目标转化为单一的加权目标，要么依赖固定的偏好设置，这限制了它们对多样且动态的用户需求的适应能力。

在真实的车辆环境中，用户往往会在延迟与能耗之间做出不同的权衡，而且这些偏好会因任务类型及运行条件的不同而有所差异[19]。通常，要降低任务执行延迟就需要将任务卸载到高性能服务器上，而这往往会导致更高的通信成本与能耗。相反，如果优先考虑能源效率，则可能会增加任务执行延迟。因此，任务卸载本质上涉及相互冲突的目标，而传统的加权求和公式无法充分解决这一问题。从系统角度而言，将用户偏好纳入决策过程，能够实现跨异构服务器的更灵活资源利用，并在资源受限的环境下提升服务质量。基于这些考虑，依赖感知型的任务卸载应当被构建为一个多目标优化问题，明确体现延迟与能耗之间的权衡关系。

由于依赖感知型任务卸载问题属于NP难问题，进化多目标算法被广泛用于逼近帕累托前沿。李等人[20]提出了一种改进的多目标布谷鸟搜索算法IMOCS，用于优化异构移动边缘计算系统中依赖任务时的延迟与能耗。朱等人[21]进一步通过改进的初始化与档案更新机制，将可靠性约束引入基于有向无环图的卸载过程中。王等人[22]开发了HAMOGA，这是一种基于改进的NSGA-II的卸载方法，旨在同时最小化延迟与能耗；在该方法中，交叉率与变异率会根据种群适应度与迭代进度进行动态调整，从而提升搜索效率与收敛稳定性。Kuanishbay等人[23]则将基于偏好的初始化方法与改进的NSGA-III框架相结合，以实现延迟、能耗与故障率的共同最小化。

尽管这些方法效果显著，但传统的基于MOEA的方法容易过早收敛或陷入局部最优解，尤其是在大规模且高维度的卸载问题中。为提升搜索效率与解决方案的多样性，人们引入了基于分解的进化策略，如MOEA/D。在这些方法中，多目标优化问题被分解为一组可协同优化的标量子问题。例如，Chai等人[24]提出了MOEA/D-MTCO，该方法结合动态带宽预分配与改进的MOEA/D框架，用于优化多任务卸载决策，从而降低平均完成时间与平均能耗。类似地，Gong等人[25]采用切比雪夫分解法将多目标卸载问题转化为标量子问题，再通过基于邻域的信息交换对这些子问题进行优化。他们的算法旨在在最小化卸载延迟的同时，为用户与服务提供商创造最大价值。

虽然MOEAs能够在单次运行中逼近整个帕累托前沿，但它们通常需要大量的计算迭代次数，且每当系统参数发生变化时就必须重新运行。这一限制严重影响了它们在动态且实时的车辆边缘计算场景中的适用性。

为提升在动态环境中的适应能力，多目标强化学习近年来逐渐受到更多关注。基于分解的多目标强化学习方法将多目标问题转化为多个标量化的子问题。例如，Yao等人[26]开发了一种基于Q学习的框架，该框架结合了切比雪夫标量化函数，用于同时优化任务完成时间与能耗。Lera等人[27]则采用加权求和法对多个目标进行线性化处理，并利用图同构网络增强版的PPO算法来优化服务的响应时间与成本。

然而，这类基于分解的方法往往需要训练并存储多个策略，从而导致相当大的计算与存储开销。此外，它们的性能还会受到偏好权重分布以及分解后子问题数量的影响。为解决偏好变化的问题，带有动态权重设置的多目标强化学习方法MORL-DWS[28]引入了基于权重条件的价值学习机制，使得单个模型能够适应不断变化的偏好向量。后续研究将MORL-DWS扩展到了无人机辅助及动态移动边缘计算系统中的依赖任务卸载场景[29]、[30]、[31]，其中还采用了非支配排序、多智能体竞赛以及增强型经验回放等机制，以减少灾难性遗忘与分布偏移现象。

尽管有了这些改进，基于MORL-DWS的方法仍依赖于有向无环图中预先定义的子任务顺序，而这些顺序往往需要依赖启发式方法或专家经验，进而限制了它们对结构多样的任务图的泛化能力。此外，它们基于标量化的更新机制在复杂的多目标场景中往往存在样本效率低以及易收敛到次优解的问题。

总之，现有的依赖感知型多目标任务卸载方法在结构感知表示、基于偏好的决策制定、可扩展的调度机制以及高效的在线部署方面仍存在诸多局限。为便于比较，表1总结了根据这些关键特性选取的代表性研究。如表1所示，现有方法通常只能满足上述部分要求。相比之下，HGATE-EMOPPO则同时支持基于图的状态表示、图自编码器预训练、基于偏好自适应的状态表示、可扩展的依赖感知调度以及在线多目标卸载功能。因此，HGATE-EMOPPO的创新之处并不在于单独引入GAT、FiLM或PPO等组件，而在于将这些机制整合为一个统一的框架，用于实现基于偏好与依赖关系的任务卸载。

基于上述分析，我们提出了一种端到端的偏好感知框架——HGATE-EMOPPO，用于车辆边缘计算系统中的多目标、依赖感知型任务卸载。本工作的主要贡献如下：
a) 问题建模与统一框架：将车辆边缘计算系统中的多目标、依赖感知型任务卸载问题建模为MOMDP，明确体现了在动态且异构的资源条件下的执行延迟与能耗之间的权衡关系。基于此模型，我们设计了一个统一的端到端学习框架，无需依赖固定的标量化方案即可生成基于偏好的卸载策略。
b) 异构图驱动的系统表示：引入了异构图表示方法，用于同时建模子任务之间的依赖关系以及服务器核心之间的资源交互。这种结构使得系统能够无需考虑任务图与资源配置的规模差异即可进行处理，从而提升了其在动态车辆边缘计算环境中的可扩展性与适应性。
c) 具有解耦式无监督预训练的HGATE：提出了一种异构图注意力自编码器，用于从异构系统图中提取结构与关系特征。HGATE通过无监督方式进行预训练，且与强化学习调度器相分离，可作为可重复使用的插件模块。与紧密耦合的基于GNN的策略架构相比，这种设计提升了训练稳定性，降低了优化复杂性，并增强了表示的鲁棒性。
d) 无需考虑规模且无需启发式规则的调度机制：与传统方法依赖启发式子任务排序或专家定义的优先级规则不同，所提出的框架在每个决策步骤中都能动态选择可执行的子任务及其卸载目标。这种设计消除了对预定义执行顺序的依赖，使得系统能够在不同的服务器核心配置与任务拓扑下实现可扩展的实时决策。

本文的后续结构如下：第2节介绍了多用户、多服务器车辆边缘场景下任务卸载问题的数学模型；第3节阐述了HGATE-EMOPPO算法的设计思路；第4节通过大量仿真实验对所提方法进行了评估；最后，第5节对全文进行了总结，并提出了未来研究的展望。所提出的方法能够在广泛范围内实现稳健且高效的决策制定。CRediT作者贡献声明：吴金明：写作——初稿撰写、软件、资源、项目管理、方法论；杜国栋：写作——审阅与编辑、方法论；邹远：监督、资源、调研、资金获取；张旭东：写作——审阅与编辑。利益冲突声明：作者们声明自己不存在任何可能影响本文所述工作的已知财务利益或个人关系。吴金明|杜国栋|邹远|张旭东，中国北京市海淀区中关村南大街5号北京工业大学机械工程学院，邮编100081。