基于软件定义边缘网络中虚拟网络嵌入的任务卸载：一种深度强化学习方法 马立新（Lixin Ma） 张佩颖（Peiying Zhang） 陈宁（Ning Chen）

《Information》：Task Offloading Based on Virtual Network Embedding in Software-Defined Edge Networks: A Deep Reinforcement Learning Approach Lixin Ma, Peiying Zhang and Ning Chen

　　摘要 5G/6G技术的出现以及物联网（IoT）设备的广泛部署，推动了需要超低延迟、高带宽和强大计算能力的应用程序的发展。传统的云计算模型无法满足这些严格要求。为了解决这个问题，软件定义边缘网络（SDENs）作为一种有前景的架构应运而生，然而，有效管理其异构和地理分布的资源对于最佳应用程序的配置提出了重大挑战。作为回应，本文提出了一种新颖的智能任务卸载框架，该框架将复杂的多组件应用程序任务卸载问题重新定义为SDEN环境中的虚拟网络嵌入（VNE）挑战。我们引入了一个全面的模型，在该模型中，复杂的应用程序被表示为虚拟网络请求（VNRs）。在这个模型中，每个VNR由需要特定计算和存储资源的虚拟节点以及需要特定带宽的虚拟链接组成，并且必须遵守最大可容忍延迟限制。为了动态解决这个NP难问题，即使面临随机VNR到达和动态网络条件，我们也利用了深度强化学习（DRL）。具体来说，在SDN控制器中采用了软演员-评论家（SAC）代理。该代理学习了一个将虚拟节点映射到物理边缘服务器以及将虚拟链接映射到网络路径的序列决策策略。为了引导代理实现高效资源利用，我们将每次成功嵌入的奖励定义为长期收益成本比。通过学习最大化这一奖励，代理自然地被驱动去找到经济上可行的分配策略。全面的仿真实验证明，我们的基于SAC的VNE方法在关键指标上显著优于其他基线方法，证明了其在动态SDEN环境中的有效性。

1. 引言
下一代无线技术（尤其是5G及以后的技术）与物联网（IoT）的普及，推动了向超连接社会的范式转变[1,2]。这一变革正在催生一系列革命性的新应用程序，包括沉浸式增强现实和虚拟现实（AR/VR）、自动驾驶汽车、工业自动化以及新兴的元宇宙[3]。这些应用程序的一个共同特点是它们对超低延迟、高带宽和强大计算能力有着严格的要求[4]。传统的云计算模型依赖于集中式数据中心，由于数据在长途网络中的传播延迟以及核心网络可能出现的拥塞，越来越无法满足这些对延迟敏感的服务需求。为了填补这一空白，移动边缘计算（MEC）的范式应运而生，它将计算和存储资源从遥远的云端重新部署到靠近终端用户的网络边缘[5,6,7]。同时，软件定义网络（SDN）提供了一个可编程且集中的控制平面，与MEC结合后形成了软件定义边缘计算（SDEC）架构[8,9,10]。这种架构为动态管理分布式边缘资源和实时协调复杂的服务交付提供了必要的灵活性和全局网络可见性[11]。
尽管SDEC架构具有很大的潜力，但有效管理其资源仍面临巨大挑战。边缘基础设施本质上是异构且地理分散的，包括强大的边缘服务器、具备计算能力的基站以及互连的网络设备[12]。这种分布性和多样性使得资源分配的核心问题变得复杂：如何高效且灵活地协调这些分散的资源，以满足众多共存应用程序的不同服务质量（QoS）要求[13]。暴力或静态分配策略往往不是最佳选择，会导致资源碎片化、利用率低下，并且无法适应服务需求和网络条件的动态变化。为了应对这一根本挑战，网络虚拟化被認为是一项关键的支持技术[14,15]。通过将服务与底层的物理硬件解耦，它允许在共享的物理基础设施上创建多个隔离的、定制的、按需的逻辑网络，通常称为网络切片[16]。在实施网络虚拟化和网络切片时，核心技术问题是虚拟网络嵌入（VNE）[16]。正式来说，VNE是将服务资源需求的抽象——虚拟网络请求（VNR）（由代表计算和存储需求的虚拟节点以及代表通信和带宽需求的虚拟链接组成）映射到边缘服务器及其互连的物理网络底层的过程[17,18]。这种抽象优雅地将特定于应用程序的资源配置任务转化为一个结构化的映射问题，为系统和自动化的资源管理奠定了基础。
多年来，VNE的研究领域取得了显著进展，从早期的基于规则的海尔特利斯方法发展到更复杂的基于学习的方法。最初的VNE研究主要集中在使用预定义的、基于经验的规则来指导搜索过程的海尔特利斯算法上。在这一领域，Cheng等人[19]提出了一个经典且有影响力的工作，他们引入了NodeRank算法。NodeRank的核心思想是首先计算所有物理节点的资源权重，综合考虑它们可用的资源和在网络中的拓扑重要性。基于此计算出的优先级，然后以贪婪的方式选择物理节点进行映射。在此基础上，认识到有效利用节点资源可以促进物理链接资源的有效使用，Zhang等人[20]提出了两种基于多维资源约束的VNE算法，即NRM-VNE和RCR-VNE。该领域的其他贡献采用了元启发式方法，如遗传算法和群体智能，这些方法使用基于群体的搜索策略来比简单的贪婪方法更广泛地探索解决方案空间[21]。尽管海尔特利斯和元启发式方法简单且计算开销相对较低，但它们存在几个根本限制，这限制了它们的有效性，尤其是在大规模和动态网络环境中。它们的主要缺点是目光短浅和贪婪，这通常导致它们收敛于局部最优解，而全局上可能是次优的。这种短视的决策常常导致底层网络中严重的资源碎片化，残余资源分散成小块，无法使用。因此，网络接受未来可能更有价值的VNR的能力降低了。此外，这些算法基于静态的、预先定义的规则，缺乏适应现代边缘网络高度动态条件的能力，例如随机VNR到达和资源负载的变化[22]。随着网络规模的扩大，这些静态策略的性能急剧下降，使它们不适合SDEN环境的需求。为了克服这些限制，解决VNE问题的主流方法越来越多地转向强化学习（RL）[23,24]。RL范式非常适合这一挑战，因为它将VNE问题重新定义为马尔可夫决策过程（MDP）[25]。在这种表述中，具有全局网络视图的SDN控制器自然扮演了智能代理的角色[26]。底层网络的当前资源可用性构成状态，虚拟节点或链接的映射决策代表动作，而性能指标（例如收益、接受率）作为奖励信号。通过随着时间的推移与网络环境互动，代理学习了一个复杂的策略，以最大化长期累积奖励，从而超越了基于静态规则的方法的局限。几项值得注意的工作证明了RL在该领域的有效性。例如，Yao等人[27]提出了一种基于RL的连续决策VNE算法（CDRL），该算法将节点映射阶段建模为一个序列决策过程，允许代理一次做出一个映射决策。进一步推动状态表示的边界，Zhang等人[28]引入了一种创新的VNE算法，在RL框架（GRL）中应用了图卷积网络（GCNs）。GCNs被用来有效提取底层网络的空间特征和拓扑信息，使代理能够做出更明智的决策，考虑网络的结构。此外，他们基于适应度矩阵设计了一个具体的动态目标函数来指导学习过程，这显著提高了算法的整体性能，使奖励信号更紧密地对齐可持续资源分配的目标。在这些基于DRL的方法基础上，最近的研究进一步探索了专业化和架构改进。例如，He等人[29]通过将注意力机制引入深度确定性策略梯度（DDPG）框架来解决类似的虚拟网络功能（VNF）放置问题。他们提出的A-DDPG算法利用这种机制使DRL代理能够关注资源充足的更相关邻居节点，从而提高放置决策的质量。同时，Xiao[30]提出了DVNE-DRL，这是一个基于RL的框架，以其详细的网络特征提取过程和多方面的奖励函数而著称。这项工作中的奖励函数被明确设计为共同优化VNR接受率、收益成本效率和网络负载平衡，旨在学习一个更全面的嵌入策略。为了应对多域网络中的隐私和可扩展性挑战，Zhang等人[31]提出了一种结合水平联邦学习（HFL）和DRL的创新框架。在他们的HFL-VNE方法中，每个域中部署了本地DRL代理来做出自主决策，而中央服务器汇总模型参数，避免了共享原始本地数据，并旨在减少跨域资源碎片化，同时保护隐私。
虽然上述方法已经推动了该领域的发展，但在动态SDEN的背景下，它们仍然面临重大挑战。首先，海尔特利斯算法由于其静态和预先定义的规则，缺乏适应随机VNR到达和网络资源负载变化的灵活性。其次，它们固有的短视和贪婪性质往往导致严重的资源碎片化，降低了网络接受未来可能更有价值请求的能力，从而削弱了长期性能。第三，需要一个统一的框架来处理异构资源的联合分配，全面考虑计算、存储和网络约束。
因此，我们解决的问题是开发一种在线和自适应的决策策略，能够将传入的任务卸载请求（以VNE问题的形式）智能地映射到物理SDEN基础设施上。目标是学习一种超越短期收益的策略，旨在优化长期收益成本比和VNR接受率，从而确保经济可行性和高服务可用性。为了应对这些挑战，本文提出了一种新颖的深度强化学习框架。我们工作的主要贡献有三个方面：
(1) SDEC中基于VNE的任务卸载的新公式化：我们开创了一个正式模型，将复杂的应用程序任务卸载问题转化为VNE问题。一个由多个相互依赖的子任务组成的应用程序被抽象为虚拟网络请求（VNR），其中虚拟节点代表子任务的计算和存储需求，虚拟链接代表它们之间的数据依赖性和通信带宽需求。这种建模提供了一种统一和结构化的方法来联合分配计算和网络资源，这与通常将这些资源分开处理的传统卸载模型有显著不同。
(2) 动态VNE的DRL框架：我们设计了一种基于软演员-评论家（SAC）模型的智能和自适应VNE算法，这是一种先进的DRL算法，以其样本效率和在连续和大规模状态空间中的稳定性而闻名。SDN控制器作为学习代理，观察边缘网络的全局状态并做出序列嵌入决策。该框架专门设计用于学习在VNR随机到达的高度动态环境中最大化长期系统性能的策略。
(3) DRL驱动的关键性能指标优化：我们的框架经过精心设计，用于优化任务卸载的关键长期性能指标。这是通过设计奖励函数来直接反映收益成本比来实现的。通过训练代理最大化累积奖励，学习过程本质上引导VNE策略朝着不仅增加收益而且提高资源效率的解决方案方向发展。正如我们的实验所证明的，这种对收益成本比的优化显著改善了VNR接受率和整体系统收益。
本文的其余部分结构如下：第2节详细介绍了系统架构和问题公式化，我们正式建模了SDEN，并将任务卸载问题概念化为VNE公式化。第3节提出了有效资源分配必须满足的VNE约束，并定义了用于评估我们提出的算法的关键性能指标。第4节详细阐述了这项工作的核心贡献，介绍了基于VNE的SDEN任务卸载算法，包括其MDP公式化和SAC代理的设计。第5节提供了全面的实验评估，我们通过广泛的仿真验证了我们方法的性能，并将结果与几种基线算法进行了分析。最后，第6节总结了本文。系统模型与问题构建
本节介绍了我们提出的任务卸载方案的架构框架和形式化模型。首先，我们定义了SDEN的物理基础设施。随后，我们将应用程序任务需求抽象为虚拟化表示。最后，我们将核心任务卸载挑战构建为VNE问题。为了阐明这一过程，图1中展示了一个示意图。本文中使用的符号在表1中有定义。
图1. 系统建模和基于VNE的任务卸载过程图。所有资源值都表示为抽象单位，以便对模型进行概括。
图例：
- 基础节点资源：（计算能力、内存）
- 基础链接资源：（可用带宽、延迟）
- 虚拟节点资源：（所需计算能力、所需内存）
- 虚拟链接资源：（所需带宽、最大可容忍延迟）

表1. 符号总结

2.1. 软件定义边缘网络（SDEN）架构
我们研究的基础物理基础设施是一个SDEN，它被正式建模为一个无向图，表示为???? =(????,???)。该图表示网络边缘上可用于服务提供的所有物理资源。

基础节点（????）：集合????包含了边缘网络中的所有物理节点。每个基础节点???? ∈????代表一个物理实体，例如配备了计算能力的边缘服务器或基站。每个节点都由一组资源属性表征，主要是其总计算能力，表示为???(????)，以及其总存储或内存容量，表示为???(????)。

基础链接（???）：集合???表示连接基础节点的物理通信链接。每个基础链接???? ∈???，连接两个节点????,??和????,??，由其总可用带宽??????(????)和其固有的通信延迟???(????)定义，这包括了传播、传输和处理延迟。

整个SDEN由一个逻辑集中的SDN控制器[32]进行协调。该控制器维护着网络拓扑和所有基础资源（例如，可用CPU、内存和链接带宽）的动态状态的全局和近乎实时的视图。这种集中智能对于执行全局感知和优化的嵌入决策至关重要。

2.2. 作为虚拟网络请求（VNR）的应用程序任务模型
我们将一个复杂的、多组件的应用程序（作为卸载的候选者）建模为一个虚拟网络请求（VNR）。每个VNR在特定时间到达系统，并具有定义的生命周期，被表示为一个有向图???? =(????,???)。这种抽象封装了应用程序的全面端到端资源需求。

虚拟节点（????）：集合????对应于应用程序的各个子任务或功能组件。每个虚拟节点???? ∈????指定了其执行所需的资源。这些需求由请求的计算能力???(????)和请求的内存容量???(????)定义。

虚拟链接（???）：集合???表示应用程序子任务之间的数据依赖性和所需通信流。每个虚拟链接???? ∈???，从????,??到????,??，表示子任务????,??的输出是子任务????,??的输入。每个虚拟链接由其请求的数据传输带宽??????(????)和数据传输的最大可容忍延迟约束?????????(????)表征。

2.3. 问题构建
给定基础SDEN模型????和一系列随机到来的VNRs（每个VNR由????表示），任务卸载问题被正式定义为一个VNE过程。该过程寻求一个映射函数? :???? →??′??，其中??′??是基础网络????的一个有效子图。一个有效的映射必须满足VNR的所有资源需求，同时严格遵循基础网络的容量限制。这个总体挑战被分解为两个组成部分：
- 节点映射：每个虚拟节点???? ∈????必须唯一地映射到一个能够满足其计算和内存需求的物理节点????上。用二进制变量?????????? ∈{0,1}表示????是否映射到????。节点映射受到以下约束：
∑????∈??????????????=1,?????∈????。（1）
- 链接映射：每个连接虚拟节点????,??和????,??的虚拟链接???? ∈???必须映射到基础网络中的物理路径?????(????,??,????,??)上。该路径连接了分别托管????,??和????,??的物理节点????,??和????,??。映射的路径必须共同提供所需的带宽并满足端到端延迟约束。用二进制变量?????????? ∈{0,1}表示基础链接????是否是路径映射虚拟链接????的一部分。

VNE问题在计算上等同于多路分离器问题，因此是NP难的[33]。在SDEN的动态环境中，VNRs随机到达和离开，主要目标是开发一种能够在线做出智能嵌入决策的策略。总体目标超越了满足个别请求，而是旨在优化整个系统的长期运行性能和经济效率。

3. VNE约束和性能指标
本节详细说明了在VNE过程中必须遵守的具体数学约束，以确保有效的资源分配。此外，它定义了用于评估我们提出的基于DRL策略的有效性的关键性能指标（KPIs）。这些指标对于从网络服务提供商的角度定量评估系统的长期性能和经济可行性至关重要。

3.1. VNE约束
为了使VNR成功嵌入到基础网络中，必须满足一系列严格的节点和链接资源分配约束。设?????(????)、?????(????)和????????(????)分别代表基础节点????和链接????上的可用计算、内存和带宽资源。
- 节点资源约束：映射到单个物理节点的所有虚拟节点所需的总资源不得超过其物理容量：
∑?????∑????∈??????????????·???(????)≤?????(????)，?????∈????。（2）
∑?????∑????∈??????????????·???(????)≤?????(????)，?????∈????。（3）
- 链接资源约束：通过单个物理链接分配的所有虚拟链接的带宽总和不得超过其总带宽容量：
∑?????∑????∈?????????????·??????(????)≤????????(????)，?????∈???。（4）
- 延迟约束：为虚拟链接????选择的物理路径????的累积延迟不得超过VNR的最大可容忍延迟：
∑????∈???????(????)≤?????????(????)，?????∈???。（5）
- 成功嵌入后，相应基础节点和链接的可用资源必须通过减少分配的数量来更新。相反，当VNR的生命周期结束，其分配的资源将被释放回可用资源池中。

3.2. 性能评估指标
为了系统地评估我们基于DRL的VNE策略的性能，我们采用了三个广泛认可的长期指标。这些指标反映了系统的运营成功和经济效率。对于给定的VNR??，设其到达时间为??(??)????????，离开时间为??(??)????????，定义其生命周期为Δ???(??) =??(??)???????? ???(??)????????。
- 长期平均收入：该指标量化了在持续时间内成功容纳VNRs所产生的总经济效益。单个VNR的收入是其请求资源的加权总和，按其生命周期进行缩放：
Rev?(VNR??)=Δ???(??)??? ? ? ? ??∑????∈??(??)??(????????(????)+????????(????))+∑????∈?(??)?????????????(????)?? ? ? ? ?（6）
其中????、????和???????是单价系数。时间范围T内的长期平均收入为：
?????????=lim??→∞?1???∑???acceptedin??Rev?(VNR??）（7）
- 长期平均收入成本比（R/C Ratio）：该指标通过比较产生的收入与消耗的物理资源成本来评估经济效率。嵌入VNR的成本包括其对节点资源和网络资源的消耗，后者与映射路径中的跳数成正比：
Cos?t?(VNR??)=Δ???(??)??? ? ? ? ??∑????∈??(??)??(???(????)+???(????))+∑????∈?(??)??hops?(????)·??????(????)?? ? ? ? ?（8）
其中hops?(????)是路径????中的物理链接数量。长期R/C比率为：
???????=lim??→∞?∑???acceptedin??Rev?(VNR??)∑???acceptedin??Cos?t?(VNR??）（9）
- VNR接受率：这一基本KPI衡量了服务的可用性和系统处理传入需求的能力。它定义为成功嵌入的VNRs与在时间窗口内到达的VNRs总数的比率：
???????????????????=lim??→∞?|{VNR??∣VNR??isacceptedin??}||{VNR??∣VNR??arrivesin??}|（10）
高接受率表明了一种稳健且高效的嵌入策略，有效减少了资源碎片化并最小化了服务拒绝。

4. 基于VNE的SDEN任务卸载算法
为了解决SDEN框架内的动态和计算复杂的VNE问题，我们提出了一种基于DRL的新资源分配解决方案。我们的方法将顺序VNE过程构建为马尔可夫决策过程（MDP）[34]，并使用了一个SAC代理，如图2所示。这个代理在SDN控制器处逻辑集中，旨在学习一种近乎最优的嵌入策略，以最大化长期系统目标。本节详细阐述了MDP的构建、SAC代理的架构设计以及完整的算法优化过程。

4.1. 马尔可夫决策过程（MDP）构建
VNE固有的顺序决策过程被正式建模为一个MDP，由元组???,??,??,??,???定义[35]。该元组的每个组成部分都针对VNE问题进行了定制：
- 状态空间（??）：给定时间步长t的状态????必须提供基础网络当前资源可用性的全面快照。基于第2节中的模型，我们根据为每个物理节点????提取的多维特征定义了状态表示。对于每个节点????，特征向量包括：
- 可用计算资源（?????(????）：节点????上的剩余计算能力。定义为其总容量减去当前映射到它的所有虚拟节点的容量之和：
?????(????)=???(????)?∑?????∑????∈??????????????·???(????）。（11）
- 可用内存资源（?????(????）：类似地定义的剩余内存容量：
?????(????)=???(????)?∑?????∑????∈??????????????·???(????）。（12）
- 聚合可用带宽（????????????????(????）：节点????的网络连接性度量，定义为所有连接到它的链接的可用带宽之和：
????????(????)=∑????∈adj?(????)????????(????）（13）
其中adj?(????)是连接到????的链接集合，????????(????)是链接????上的可用带宽。
因此，完整的状态表示为一个矩阵???? ∈?|?????|×??，其中|????|是物理节点的数量，F是每个节点的特征数量。这种结构化的表示允许代理感知节点容量和本地网络拓扑环境。
- 动作空间（??）：将具有|????|个虚拟节点的单个VNR的嵌入分解为|????|个决策步骤序列。在每个步骤?? ∈{1,…,|????|}中，代理考虑第k个虚拟节点????，并执行一个动作????。这个动作是选择单个物理节点????进行映射。因此，每个步骤的动作空间是离散的，有|??|=|?????|。整个VNR的复合动作是这些单个节点映射动作的有序序列：
??VNR=(??1,??2,…,??|????|）（14）
其中每个???? ∈????。这种顺序方法使得复杂的组合问题适用于RL。
- 奖励函数（R）：奖励函数旨在引导代理学习最大化资源效率的策略。主要的优化目标是长期收入成本比。因此，只有在完成VNR嵌入尝试后才会给予代理奖励。成功的嵌入会获得该特定VNR的计算出的R/C比率这两个Q值的较小值在贝尔曼更新过程中被使用，以提供一个保守的、较低的 acción-value（动作价值）估计，这有助于防止高估。价值网络（??????）：该网络由参数????参数化，用于估计状态的价值???(????)。它的作用是简化其他网络的更新规则。目标价值网络（????????????）：维护一个单独的目标V网络，其参数为??????????。这些参数不是通过梯度下降直接训练的，而是作为主V网络参数的指数移动平均值缓慢更新的。使用这种“软”目标网络为Q网络提供了一个稳定的学习目标，这是时差学习中收敛的关键元素。详细的网络结构在表2中指定。输入状态矩阵????首先通过卷积层进行处理，以提取代表网络拓扑的空间特征，然后通过全连接层产生最终输出。表2。SAC代理的网络结构配置。

4.3. 算法优化过程
SAC代理采用离线策略（off-policy）进行训练，利用经验重放缓冲区（experience replay buffer）并优化最大熵（maximum entropy）目标。
(1) 经验重放缓冲区（??）：代理持续与SDEN环境交互。每次完整的交互，从VNR嵌入的开始到最终结果（成功或失败），都会产生一个经验元组（trajectory of experience tuples）。一个摘要元组（(????,????,????,????+1)），代表初始状态、复合动作序列、最终奖励和由此产生的网络状态，存储在大型重放缓冲区??中。为了训练，从??中随机抽取这些经验元组的小批量。这种做法打破了连续样本之间的时间相关性，从而实现了更稳定和高效的学习。
(2) 最大熵目标：与仅寻求最大化累积奖励的传统强化学习（RL）算法不同，SAC通过策略熵项（policy entropy term）来增强目标。对于离散动作空间，状态????下的策略熵??定义为：??(???(·|????))=?∑????∈?????(????|????)?log?(???(????|????))。统一的目标是找到一个策略??*，使其最大化期望奖励和策略熵的总和：??*=arg?max???∑????(????,????)～?????[????+?????(???(·|????))，其中????表示由策略??引起的轨迹分布的状态-动作边际。温度参数?? >0是一个关键的超参数，用于控制熵项与奖励的相对重要性，从而平衡探索（exploration）与利用（exploitation）之间的权衡。
(3) 网络参数更新：神经网络通过最小化各自的损失函数来迭代更新，这些损失函数是使用从??中抽取的经验的小批量计算得出的。假设一个小批量经验表示为(??,??,??,??′)。

价值网络更新：V网络由参数????参数化，训练用于最小化软贝尔曼残差（soft Bellman residual）。其损失函数?????(????)定义为：?????(????)=????～???[12?(???????(??)?????～???????[min??=1,2???????????(??,??)????log????????(??|??)])。
Q网络更新：每个Q网络的参数???????被训练用于最小化平均平方贝尔曼误差（MSBE）。学习目标使用奖励r和来自目标V网络的下一状态??′的价值来计算：?????(???????)=??(??,??,??,??′)～???[12?(??????????(??,??)?(??+????????????????(??′)))2。
演员网络更新：演员网络（policy network）通过最小化策略分布与Q函数值的softmax之间的Kullback–Leibler散度（Kullback–Leibler divergence）来更新。这鼓励策略倾向于选择Q值较高的动作。策略损失?????(????)定义为：?????(????)=????～????～???????[???log?(???????(??|??))?min??=1,2???????????(??,??)]。
目标网络软更新：在每个训练步骤中，目标价值网络??????????的参数通过软更新进行更新，这是主价值网络参数的指数移动平均值。这确保了更新更加平滑和稳定。??????????←???????+(1???)???????????，其中?? ∈[0,1]是目标更新的平滑因子，通常是一个小值，如0.005。

4.4. VNE决策和学习算法
完整的在线VNE决策和训练过程在算法1中概述。该算法在连续循环中运行。SDN控制器作为代理，接收传入的VNRs。对于每个VNR，它使用当前的策略（演员网络）做出一系列嵌入决策。在确定最终结果后，代理收到奖励并将经验存储在重放缓冲区中。定期从该缓冲区中抽取样本，对其所有网络执行梯度下降步骤，从而逐步改进其VNE策略。这种闭环过程允许代理在动态的SDEN环境中不断适应和提升性能。为了评估代理的学习进展，隐式地执行验证过程。在训练期间定期（例如，每个时代之后）测量当前策略的性能，并对结果进行平均，以生成收敛曲线。一旦训练收敛，就开始测试阶段。在这个阶段，部署学习到的演员网络??????并冻结其参数（即，不再进行进一步的训练更新）。然后代理处理新的、未见的VNR流。在整个阶段收集性能指标，以便公平地评估我们提出的算法与基准算法。

算法1：基于SDEN的提出的任务卸载算法VNE
输入：生成????的SDEN环境模拟器和VNR流；未初始化的SAC网络；超参数。
输出：一个能够做出熟练VNE决策的训练有素的演员网络??????。
初始化：具有随机参数的演员网络??????和批评者网络（???????1,???????2,??????）；通过克隆的目标价值网络参数：?????????? ←????；一个空的重放缓冲区??；状态??0。
主训练循环：
1: 对于每个时代?? =1,2,…,??执行：
2: 从环境接收一个新的VNR，????；
3: 为当前的VNR初始化一个空映射，? ←?；
4: 设置节点嵌入成功标志，??????????????????????????????? ←true；
5: 对于每个虚拟节点????,?? ∈????执行：
6: 代理根据其策略选择一个物理节点（动作）：???? ～??????；
7: 如果选定的物理节点????具有足够的资源供????使用，则：
8: 将映射（????,?? →????）添加到?中；
9: 否则
10: ??????????????????????????????? ←false；
11: 中断内循环。? 节点映射失败；
12: 如果则结束；
13: 结束for；
14: 如果????????????????????????????为真，则：
15: 尝试使用k最短路径算法根据?映射所有虚拟链接????；
16: 如果所有虚拟链接都成功映射（满足带宽和延迟要求，则：
17: 计算奖励：????；
18: 否则
19: 设置奖励：???? ←0；
20: 如果则结束；
21: 否则
22: 设置奖励：???? ←0；
23: 如果则结束；
24: 环境转换到下一个状态??′；
25: 将经验元组??,??VNR,????,??′)存储在重放缓冲区??中；
26: 更新当前状态：?? ←??′；
27: 如果|??| >BatchSize则：
28: 从??中随机抽取一个小批量转换；
29: 通过最小化?????(???????)来更新Q批评者网络???????1和???????2；
30: 通过最小化?????(????)来更新价值网络??????；
31: 通过最小化?????(????)来更新演员网络??????；
32: 对目标价值网络参数进行软更新：?????????? ←??????? +(1???)???????????；
33: 如果则结束；
34: 结束for

5. 仿真实验
在本节中，我们对提出的基于SAC的VNE算法在SDEN环境中的任务卸载进行了全面的实证评估。这些实验的主要目标有两个：首先，展示我们DRL代理的学习收敛性和稳定性；其次，严格地将其性能与几种已建立的VNE算法进行基准测试。我们首先详细介绍了仿真环境，包括基底网络拓扑的生成和动态VNR的到达情况，然后描述了基准算法和性能指标。最后，我们将分析训练过程和比较性能结果。

5.1. 仿真环境设置
为了创建一个现实而可控的实验环境，我们使用Python 3.6.12开发了一个离散时间事件模拟器，利用NetworkX 1.11进行图建模和PyTorch 1.4.0实现DRL代理。仿真环境经过精心配置，以反映动态SDEN的关键特征。
基底网络（SDEN）生成：使用GT-ITM拓扑生成器生成物理SDEN拓扑，这是一个用于创建真实网络图的标准工具。我们模拟了一个由100个物理节点组成的边缘网络（∥?????∥ =100），代表了中等规模的都市区域网络。这些节点通过500个物理链接（∥????∥ =500）相互连接。物理节点的计算和存储资源以及物理链接的带宽和延迟属性在预定义的范围内均匀分布，反映了边缘基础设施的固有异质性。具体的资源分布在表3中详细说明。
虚拟网络请求（VNR）生成：为了模拟动态工作负载，VNR根据泊松过程（Poisson process）到达系统，具有可配置的平均到达率（??）。每个VNR的生命周期遵循指数分布。每个VNR的结构特征，如虚拟节点的数量及其连通性，也是随机生成的。每个VNR的虚拟节点数量从2到10之间均匀分布，任意两个虚拟节点连接的概率为0.5。每个VNR的资源需求（计算、内存、带宽和延迟约束）从表3中指定的范围内均匀采样。

实验参数：表3提供了所有仿真参数的全面总结，包括物理网络配置、VNR特性以及用于训练我们的SAC代理的关键超参数。这些DRL参数是通过实证调整确定的，以确保稳定和高效的收敛。

5.2. 基准算法
为了严格评估我们提出的SAC-VNE算法的性能，我们将其与文献中的一组成熟且具有代表性的基准算法进行了比较，涵盖了启发式（heuristic）和其他基于学习的方法：
NodeRank：一种经典的贪婪启发式算法。它优先将虚拟节点映射到具有最高“排名”的物理节点上，该排名结合了可用资源和拓扑重要性。它因简单性和在静态场景中的有效性而被广泛使用作为基准。
CRC：这种启发式算法旨在直接优化收益成本比率（Revenue-to-Cost Ratio）。它采用贪婪方法，始终选择当前VNR的最优即时R/C比率节点和链接映射，而不考虑长期后果。
CDRL：一种基于RL的开创性VNE算法，将节点映射建模为顺序决策过程。这提供了一个相关的基于DRL的比较，尽管其核心算法可能与我们SAC实现不同。
GRL：一种更高级的DRL算法，它集成了GCN从基底网络中提取拓扑特征。这作为最先进的DRL基准，使我们能够评估我们SAC公式相对于其他强大网络表示技术的特定优势。
所有基准算法都在相同的仿真环境中实现和执行，以确保公平和严格的比较。

5.3. 性能分析
在展示详细的性能结果之前，重要的是要澄清我们的仿真环境如何处理系统负载的可变性。我们的实验设置旨在模拟一个连续和动态的操作环境，在该环境中系统负载随时间自然波动。这是通过三种关键机制实现的：
随机VNR到达：VNR根据泊松过程到达，这是模拟随机请求到达的标准模型。这自然地在短时间内出现高流量强度（高负载）的时期和低强度（轻/中等负载）的时期。
有限的VNR生命周期：每个被接受的VNR在释放之前占用资源的有限、呈指数分布的生命周期。资源分配和释放的连续循环确保总系统资源（即系统负载）不断变化。
随机化的资源需求：每个VNR的资源需求是从均匀分布中随机生成的。这种异质性意味着每个VNR对系统负载的影响是变化的，进一步有助于形成动态负载轮廓。
因此，我们结果中呈现的长期性能指标并不反映单一负载条件。相反，它们代表了每种算法在不断演变的系统负载谱上的平均性能，我们认为这是评估其在真实世界动态SDEN环境中鲁棒性和适应性的更现实和全面的方法。
性能评估分为两个主要阶段进行。首先，我们分析训练阶段代理的学习行为，以展示收敛性和稳定性。其次，我们对最终收敛的策略与选定的基准算法进行严格的比较分析，以验证其有效性和优越性。

5.3.1. 训练性能和收敛性分析
在训练阶段，我们的SAC代理与模拟的SDEN环境进行了总共600个时代的交互。为了监控学习进度，我们绘制了三个关键性能指标作为训练时代的函数的变化情况。这些收敛曲线在图3、图4和图5中显示，说明了代理从随机初始化逐渐改进其嵌入策略的能力，直到成为一个稳定和有效的策略。例如，长期平均收入（图3）的起始值较低，表明随机初始化的策略在做出嵌入决策时效率低下或经常失败。这是预期之中的，因为代理尚未学习到网络状态与最优动作之间的任何有意义的相关性。然而，随着训练的进行，所有三个指标都显示出明显的上升趋势。代理开始探索环境，并通过精心设计的奖励函数提供的反馈，开始偏好能够带来更高收入、更好效率和成功嵌入的动作。在早期阶段（大约前100-150个周期），曲线显示出快速改进的时期，随后是一个收益递减的阶段，尽管性能仍在提高，但增速放缓。大约400个周期后，三个指标——长期平均收入、R/C比率和VNR接受率——开始趋于平稳，并在一个稳定、高性能的范围内波动。这种行为表明SAC代理的策略已经收敛。代理成功学会了平衡探索与利用之间的权衡，从探索广泛的动作转变为持续利用其学到的知识来做出接近最优的嵌入决策。后期阶段的稳定性证实了所提出的训练框架的稳健性，并能够为动态VNE生成一个可靠的策略。

5.3.2. 综合性能评估

在训练过程收敛后，我们的SAC-VNE代理学习到的策略被冻结，并使用一组新的、未见过的VNRs进行全面的测试。其性能在24,000个时间单位的模拟测试期间与基准算法进行了对比。图6、图7和图8展示了每种算法在连续动态网络负载下的持续性能。图6显示了长期平均收入的性能比较。图7显示了模拟时间内长期收入与成本比率（R/C比率）的性能比较。图8显示了模拟时间内VNR接受率的性能比较。图6表明，我们提出的SAC-VNE算法在长期平均收入方面始终显著优于所有基准算法。这种优势源于它能够做出具有前瞻性的决策，以优化长期奖励，这与NodeRank和RCR等启发式方法的短视性形成鲜明对比；而其他基于DRL的方法（GRL和CDRL）也表现出强劲的性能，SAC-VNE的更高收入表明其策略更为有效，这可能是由于SAC算法增强了探索能力和稳定的学习动态，使其能够发现更有利可图的嵌入策略。图7展示了长期R/C比率的比较分析，这是资源利用效率的直接衡量指标。再次，我们的SAC-VNE算法取得了最高的R/C比率。这一结果尤其重要，因为它表明我们的代理不仅仅是为了高收入而追求VNRs，它已经学会了找到资源效率高的映射方式，以最小化基材资源的消耗（例如，通过偏好更短的网络路径）。虽然RCR基线算法旨在优化这一指标，但从长远来看表现不佳，这揭示了局部优化的陷阱，可能导致严重的资源碎片化。

最后，图8比较了所有算法的VNR接受率。SAC-VNE算法在整个模拟过程中保持了最高的接受率。这一结果验证了我们的假设，即基于学习的方法，针对长期系统健康进行优化，可以比启发式方法更有效地缓解资源碎片化。通过做出智能且非贪婪的选择，我们的代理保持了资源的连续性，从而使网络处于更好的状态，以适应未来的VNRs。SAC-VNE与其他基线算法在所有三个指标上持续的性能差距，为其在SDENs中的动态任务卸载的有效性和稳健性提供了强有力的证据。

从定量上看，在整个模拟期间，我们提出的SAC-VNE算法表现出显著且一致的优势。与所有基准算法相比，它平均提高了长期平均收入19.3%，长期收入与成本比率13.7%，以及VNR接受率9.1%。这些数据为我们的方法在SDENs中动态任务卸载的有效性和稳健性提供了强有力的定量证据。

5.3.3. 结果讨论与合理化

所提出的SAC-VNE框架相对于基线算法实现的显著性能提升可以通过几个关键的算法属性来解释：
- 克服短视的启发式方法：像NodeRank和RCR这样的启发式方法为了满足 immediata VNR 需求而做出短视、贪婪的决策，虽然这带来了短期的收益，但不可避免地会导致资源瓶颈和网络严重碎片化，从而拒绝未来的有利可图的VNRs。相反，我们的SAC代理优化了长期累积折扣奖励。它学会了战略性地牺牲短期的次优位置，以保持关键节点和链接的连续性，以应对未来的高收益请求。
- 最大熵探索：与传统的DRL方法（如CDRL）相比，我们的算法利用了SAC框架。SAC独特的最大熵目标内在地鼓励了对广泛动作空间（映射组合）的更广泛探索。这防止了代理过早地收敛到局部最优解，确保了在动态流量条件下更加稳健和适应性强的策略。
- 双Q学习的稳定性：在评估网络设计中加入剪裁的双Q学习，有效缓解了复杂状态空间中时间差学习常见的过度估计偏差。这使得SAC代理能够更准确地评估映射动作的真正长期价值，直接转化为更高的资源分配效率（最高的R/C比率）和最大化的持续收入。

6. 结论

本文通过提出一个结合SDN、VNE和DRL的新框架，解决了动态SDENs中高效资源分配的关键挑战。我们创新地将多组件任务卸载问题重新表述为一个VNE挑战，并使用SAC代理来学习最优的嵌入策略。该代理由一个旨在最大化长期收入与成本比率的奖励函数引导，从而促进 economically 和资源高效的决策。我们的全面模拟验证了这种方法的重大优越性。具体而言，所提出的SAC-VNE算法在长期收入方面平均提高了19.3%，在收入与成本比率方面提高了13.7%，在VNR接受率方面提高了9.1%，优于现有的基线算法。这些结果证实，将任务卸载框架化为一个VNE问题，并使用先进的DRL技术来解决它，是现代边缘计算环境中智能和适应性资源管理的一个非常有效且优越的范式。