面向边缘网络中具有可靠性保障的 VNF 并行化与部署：一种双流图强化学习方法

《Computer Networks》：Towards reliability-guaranteed VNF parallelization and deployment in edge networks: A dual-stream graph reinforcement learning approach

　　

• •
  我们解决了 VNF 并行化与部署的耦合问题。
• •
  我们提出了 DG-RPDS，一种基于双 GAT 和 DRL 的部署方案。
• •
  一个闭环反馈系统连接主要和备份决策。

引言

边缘网络（ENs）作为一种有前景的计算范式出现，为网络边缘的用户设备提供灵活且响应迅速的本地服务。与传统云计算范式不同，ENs 将计算和存储能力卸载到靠近用户的网络边缘 [1]，从而支持对延迟和可靠性有严格要求的服务，如工业自动化和自动驾驶 [2]，[3]，[4]。利用网络功能虚拟化（NFV）技术 [5]，传统网络功能在边缘节点上实例化为虚拟网络功能（VNFs），随后被链式组合成顺序的服务功能链（SFCs）以服务用户设备任务 [6]，[7]，[8]。

尽管有这些优势，NFV 仍面临一些应解决的问题。首先，一个关键关注点是如何将每个 VNF 部署到合适的边缘节点，以实现更好的端到端延迟效果。许多研究致力于加速 VNF [9]、VNF 实例化 [10] 和流量调度 [11]。尽管这些努力取得了进展，但它们仅在有限范围内优化了延迟。然而，对所有 VNF 严格遵守串行执行会导致端到端延迟随着链中 VNF 数量的增加而线性增长 [12]。对于一些 VNF（如缓存和 NAT），无需以串行模式执行，它们可以并行执行以减少端到端延迟，如图 2 所示。

其次，无论执行模式是串行还是并行，由于 VNF 实例的链式特性和分布式部署，任何 VNF 实例的故障都会导致整个 SFC 的失败 [13]。SFC 在面对此类潜在故障时的稳定性称为可靠性 [14]。为提高 SFC 的可靠性，一种常见做法是在边缘服务器中的 VNF 附近添加备份 VNF（BVNFs） [15]。

因此，并行化 SFC 并添加 BVNFs 是提供高可靠性和低延迟服务的有效方法。然而，如何整体上在边缘服务器上并行化和部署 VNF 并添加 BVNF，以在满足可靠性期望的同时最小化延迟，是一个具有挑战性的问题。一方面，ENs 中的物理拓扑限制了并行化 SFCs 的嵌入 [16]，另一方面，VNFs 和 BVNFs 部署的资源限制则限制了并行化的可行性。因此，一个能够解决此类多维约束和多目标的算法框架至关重要。

尽管已提出基于图神经网络（GNNs）的学习算法和启发式算法来解决这些多约束问题，但它们仍然难以捕捉 SFCs 和物理网络的异构拓扑特征，以及 VNF 备份和并行化部署联合中固有的高维耦合。为此，我们提出了基于双图注意力网络 DRL 的可靠并行部署方案（DG-RPDS），以捕捉复杂的网络状态。据我们所知，我们是首次在 ENs 中联合优化并行拓扑构建、VNF 映射和备份放置的。

本文的主要贡献如下

• $•$
  与采用解耦的“转换 - 部署”两阶段策略的传统方法不同，我们提出了一种新颖的双 GAT 驱动的 PPO 框架，融合了来自物理网络和 SFC 网络的异构特征。通过引入双决策头机制，智能体同时确定每个 VNF 的并行化和放置，而不是在部署 VNF 之前先并行化整个 SFC 拓扑，这有效地解耦了拓扑转换与物理资源分配之间的复杂依赖关系。
• $•$
  为了解决主要和备份 VNF 部署之间严重的资源冲突（现有工作中通常将其视为独立或顺序阶段），我们设计了一种可靠性值反向传播机制，以明确协调主要 - 备份决策。通过将备份失败惩罚整合到奖励信号中，该机制成功引导智能体优化主要 VNF 策略，实现了延迟最小化和可靠性保障之间的有效全局平衡。
• $•$
  我们设计了严格的消融研究和广泛的模拟实验，在不同边缘环境下验证 DG-RPDS 各个模块的有效性。实验结果表明，我们的方案 consistently 优于最先进的基线方案，并与理论最优解相比实现了接近最优的性能。

本文其余部分组织如下。第 2 节回顾了相关工作。第 3 节介绍了问题公式化和系统架构。第 4 节提出了 DG-RPDS 框架，其中详细介绍了采用的学习架构和算法。在第 5 节中，我们进行了消融研究并与基线算法进行了性能对比。最后，第 6 节总结了本文。

章节摘要

相关工作

在本节中，我们在表 1 中总结了最近解决 SFC 并行化和部署的文献，在表 2 中总结了涉及 VNF 备份的文献，这些构成了支持高可靠性和低延迟服务的主流解决方案。我们分别总结了这两方面的现有研究。

问题模型

在本节中，我们建立系统模型并介绍了我们提出的并行结构以及名为 DG-RPDS 的可靠性感知主要 - 备份 VNF 部署框架。然后，我们将问题公式化为可靠性保证的 VNF 并行化与部署（RVPD）。

DG-RPDS：一种可靠的并行部署策略

在本节中，我们详细描述了 SFCs 的可靠并行放置。首先，我们将 RVPD 建模为马尔可夫过程。接下来，我们介绍了 VNF 的并行结构重构和映射规则。第三，我们提出了成功路由的 VNF 的备份机制。第四，我们描述了 DG-RPDS 训练框架内神经网络重新设计的双头动作空间，该框架采用了一种部分共享编码器和隔离的机制

模拟评估与结果

在本节中，我们介绍了用于评估 DG-RPDS 算法的实验环境和基线方案。所有实验均在个人计算机上进行。首先，我们描述了实验设置和评估指标。随后，我们进行了性能调优和消融研究。最后，我们报告了 DG-RPDS 与相关基线算法之间的性能对比结果。

讨论

解决全局可观测性假设：（1）集中式 SDN 控制：我们的框架在数学上假设存在一个逻辑上集中的 SDN 编排器，能够收集近乎实时的全局遥测数据，如精确的剩余节点容量和链路带宽。（2）控制平面延迟：在物理部署中，大规模网络不可避免地会出现遥测同步延迟，导致部分可观测性，智能体基于稍显

结论

在本文中，我们建立了可靠 VNF 并行化和备份部署的联合优化问题，明确解决了拓扑转换与资源分配之间的内在耦合。为此，我们提出了 DG-RPDS，一个由双流图注意力网络支持的 DRL 框架。通过融合来自物理网络和 SFC 网络的异构特征，我们的模型克服了标准 GCN 在捕捉复杂依赖关系方面的局限性。此外，

CRediT 作者贡献声明

Junbin Liang: 写作 - 审阅与编辑，监督，项目管理，方法论，探究，资金获取，形式分析，概念化。 Kun Liu: 写作 - 原稿，可视化，验证，软件，资源，探究，形式分析，数据管理。

竞争利益声明

作者声明以下可能被视为潜在竞争利益的财务利益/个人关系：Junbin Liang 报告获得了国家自然科学基金的资金支持。Junbin Liang 报告获得了广西重点研发计划的资金支持。如果有其他作者，他们声明没有已知的可能出现的竞争性财务利益或个人关系

致谢

本研究由 国家自然科学基金（批准号：62362005）和 广西重点研发计划（编号：AD25069071）资助。

Junbin Liang|Kun Liu