《Sensors》：Adaptive SFC Management and Orchestration Based on DRL in Edge Intelligence for Computation Efficiency
编辑推荐：
网络功能虚拟化（NFV）是一项新兴技术，能够支持超5G/6G网络的灵活服务部署。NFV将物理网络设备转变为基于边缘计算能力的虚拟网络功能（VNF），从而促进网络服务的敏捷性并降低管理成本。为有效监控物联网（IoT）网络资源，服务功能链（SFC）被用于其虚拟化，
网络功能虚拟化（NFV）是一项新兴技术，能够支持超5G/6G网络的灵活服务部署。NFV将物理网络设备转变为基于边缘计算能力的虚拟网络功能（VNF），从而促进网络服务的敏捷性并降低管理成本。为有效监控物联网（IoT）网络资源，服务功能链（SFC）被用于其虚拟化，以确保多服务需求在能力、可扩展性和灵活性方面足以满足计算工作负载对齐的需求。然而，为满足多种条件下的资源可用性要求和效率，SFC重配置方法面临着在满足延迟敏感应用显著延迟要求的同时，达到编排时间跨度上节能重要性的挑战。本文提出任务管理感知的SFC和编排方案，即GNN-PPO。在此框架中，研究人员利用基于消息传递神经网络（MPNN）的图神经网络（GNN），来捕获多接入边缘计算（MEC）节点状态下所有物理资源节点和链路能力的抽象。具体而言，GNN构建分为两个阶段：（1）GNN表示所有移动边缘计算（MEC）节点，这些节点对可作为载体的计算和通信能力资源具有全局视图；（2）通过使用特征提取MPNN将VNFs转换为图网络，以管理每个虚拟基础设施管理器（VIM），从而寻求对流量波动进行最优且可靠的分析。最后，利用深度强化学习（DRL）来在网络决策策略中纳入策略，该策略采用了近端策略梯度（PPO）。另一方面，研究人员提出了一种基于PPO的新型网络架构，以执行资源利用优化的设计，并在多样化场景设置下促进MEC服务器的能耗，从而为系统实现持续的策略实施。通过实验结果，研究人员将提出的解决方案与参考方案在奖励（学习率和批次大小）、平均请求接受率、SFC成功率、分组交付率、吞吐量和资源利用率方面进行比较，结果证实了该方案对物联网网络部署的可扩展性和实际适用性。
**基于图神经网络与近端策略优化的边缘智能服务功能链自适应编排研究**
**一、 研究背景与问题**
随着物联网（IoT）设备在城市中的广泛部署，日益增长的资源计算需求对通信和计算能力提出了差异化资源需求。同时，按需资源的计算工作负载正趋向于不同的超5G/6G网络特定服务类型优先级和严格的服务质量（QoS）要求。为应对这些挑战，欧洲电信标准协会（ETSI）提出了网络功能虚拟化（NFV）框架，以确保资源能力最接近终端设备。NFV通过采用更具声明性的管理和组织，在提供资源可用性、动态灵活地整合物理资源上的功能视图方面，解决了若干挑战，同时实现了提供更高灵活性和易于集成视角的最终目标。另一方面，多接入边缘计算（MEC）架构提供了前沿范例，通过部署运行虚拟机（VM）将云计算能力延伸至网络边缘，有效解决流量拥塞瓶颈，并确保对终端设备的可靠服务。特别是在物联网网络中，许多重要应用都在MEC架构下处理。然而，随着异构物联网设备数量的增加，传统方法逐渐无法处理海量流量请求以满足计算工作负载的低延迟目标要求，导致边缘计算网络中出现资源密集、低能效的能耗问题。这一局限性凸显了需要明确克服VNF分配和SFC放置的方法。深度强化学习（DRL）被用来处理自适应资源调整和映射，为MEC资源管理提供了简洁的影响。与传统基于启发式的方法不同，这种能力使基于DRL的框架能够从网络交互中学习，以实时优化SFC放置和VNF资源分配。然而，由于有限的边缘资源、不可预测的物联网工作负载以及QoS、降低延迟和能耗目标等相互冲突的目标，高效编排仍然具有挑战性。传统的静态部署策略通常无法适应快速变化的网络条件，因为它们需要同时实时支持延迟敏感型和资源密集型应用。因此，编排过程必须仔细平衡多个相互冲突的目标，包括最小化端到端延迟和能耗，同时最大化资源利用率、服务接受率和运营效率。
**二、 研究方法概述**
为应对上述挑战，本研究提出了一种名为GNN-PPO的创新框架，将图神经网络（GNN）与近端策略优化（PPO）算法相结合，用于MEC环境下的自适应SFC编排和VNF资源分配。该框架的核心技术方法主要包括：
1. **图神经网络建模**：利用基于消息传递神经网络（MPNN）变体的GNN，将物理网络（包括MEC节点和链路）建模为有向图，以捕获网络拓扑和资源节点之间的长期依赖关系。GNN通过消息传递机制聚合节点及其邻接链路的特征（如可用带宽、处理延迟），生成包含空间依赖性和资源交互的节点嵌入，最终通过一个置换不变读出函数获得全局图嵌入，为DRL智能体提供拓扑感知的网络状态表示。
2. **深度强化学习决策**：采用基于PPO的演员-评论家（Actor-Critic）架构。演员网络根据GNN提取的复合环境状态（包括资源协调、全局图嵌入、资源利用率上限、总带宽状态、任务处理状态和SFC请求特征）选择动作（VNF放置、链路路由和资源服务功能类型分配）。评论家网络评估状态价值函数。PPO通过其裁剪替代目标函数来优化策略，确保策略更新的稳定性，防止梯度不稳定。
3. **多目标系统效用函数**：研究提出了一个归一化的多目标系统效用公式，以数学方式协调能耗和处理延迟这两个物理尺度相互冲突的目标，防止奖励爆炸并确保稳定的策略更新。奖励函数结合了延迟和能耗的加权惩罚以及约束违反的惩罚，权重可根据网络条件动态调整。
4. **仿真与性能评估**：研究使用Python程序模拟动态MEC环境，利用NetworkX库创建网络拓扑，PyTorch实现深度学习模型，Gymnasium用于DRL。网络拓扑实例化为具有5个MEC服务器、边连接概率为0.6的部分网状图。服务请求来自100个物联网设备，遵循泊松到达过程生成。性能与多种基线方案（DQN、负载均衡、贪婪算法、静态资源分配）进行了对比。
**三、 研究结果与发现**
**5.1. 与参考方案的比较**
研究将提出的GNN-PPO框架与四种基线方案进行了比较：基于深度Q网络（DQN）的方法、负载均衡策略、贪婪算法以及静态资源分配策略。
**5.2. 结果与讨论**
**学习率与批次大小的影响**：实验评估了学习率（LR）和批次大小对GNN-PPO框架收敛行为的影响。结果表明，LR为0.001时获得了最快和最稳定的奖励收敛。批次大小为64时在收敛速度和稳定性之间取得了最佳平衡，允许GNN生成足够信息量的拓扑嵌入，同时PPO受益于稳定的梯度估计。
**平均请求接受率与SFC成功率**：
* **平均请求接受率**：在服务需求从100增加到500个请求的模拟过程中，GNN-PPO方法在所有流量水平上始终优于所有基线方案。即使在500个请求的重负载下，GNN-PPO仍保持93.42%的接受率，显著高于DQN（87.99%）和传统方法。
* **SFC成功率**：GNN-PPO在模拟时间100时达到最高的99.91%成功率。尽管所有方法随着模拟时间增加（由于资源竞争和网络复杂性增加）而性能下降，但GNN-PPO保持了最强的性能，在模拟时间500时仍保持88.42%的成功率。
**分组交付率与吞吐量**：
* **分组交付率（PDR）**：GNN-PPO在初始阶段达到最高的99.98% PDR，并在模拟时间500时保持99.96%的优异稳定性，表明在动态MEC条件下具有更可靠的分组传输能力。
* **吞吐量**：GNN-PPO实现了最高且最稳定的吞吐量性能，仅从805.8 Mb/s略微下降至801.7 Mb/s（下降4.1 Mb/s），表明在动态网络条件下具有很强的适应性和高效的资源编排能力。
**资源利用率**：GNN-PPO框架在所有模拟时间间隔内持续最小化资源消耗，展示了在VNF放置、SFC编排和自适应资源分配方面的卓越效率。具体而言，GNN-PPO将资源利用率从初始的67.99%降低到模拟时间500时的55.42%。相比之下，传统基线（负载均衡、贪婪算法、静态分配）由于编排僵化，表现最差。
这些结果证实，GNN成功捕获了拓扑感知的资源依赖关系，而PPO则动态优化了VNF放置和SFC卸载，从而最大化了可扩展性、拥塞处理能力和资源利用率。
**四、 讨论与结论**
**讨论部分总结**：本研究提出的GNN-PPO框架通过整合GNN的拓扑感知能力和PPO的稳定策略优化，有效地解决了动态MEC环境中SFC编排和VNF资源分配的挑战。与现有方法相比，该框架在多个关键性能指标上均表现出显著优势，包括更高的服务请求接受率和SFC成功率、更优的分组交付率和吞吐量稳定性，以及更低的资源开销。这归因于GNN对网络结构和资源状态的深度表征，以及PPO在复杂、动态决策空间中的高效学习和适应能力。研究也探讨了超参数（如学习率、批次大小）对框架性能的影响，为实际部署提供了调优指导。
**研究结论翻译**：在本研究中，研究人员提出了一种通过整合GNN与PPO框架来增强MEC服务器环境中VNF放置和SFC编排的新颖方法。所提出的方法框架通过减少在动态资源工作负载下的MEC场景中编排资源密集型和能耗的时间，证明了其有效性，同时GNN-PPO为资源受限的边缘设备上的快速响应能力提供了显著更好的解决方案。通过将消息传递神经网络集成到PPO（演员、评论家）架构中，MPNN捕获了SFC特征和网络拓扑的状态，从而实现了节点映射的耦合决策。另一方面，PPO决定了MEC服务器中SFC部署的充电策略，实现了资源实例最优决策的自适应分配。模拟结果表明，在复杂任务场景中，该方法在降低延迟和能耗目标方面优于参考方案。
