《Digital Communications and Networks》：GenAI-SFC: A GenAI-assisted Deep Reinforcement Learning approach for adaptive SFC provision in 6G intelligent networks
编辑推荐：
随着6G时代的到来，依赖先进通信技术与人工智能（AI）算法融合的包容性智能服务（IIS）预计将变得无处不在。这些服务需要高效的分布式智能学习和推理机制，以支持多样化和动态的应用场景。然而，新兴应用日益增长的复杂性，对通过高效的服务功能链（SFC）供应来编排差异
随着6G时代的到来，依赖先进通信技术与人工智能（AI）算法融合的包容性智能服务（IIS）预计将变得无处不在。这些服务需要高效的分布式智能学习和推理机制，以支持多样化和动态的应用场景。然而，新兴应用日益增长的复杂性，对通过高效的服务功能链（SFC）供应来编排差异化、定制化服务提出了重大挑战。SFC指的是各种虚拟网络功能（VNF）的结构化编排，以实现无缝服务交付。为满足6G IIS的严苛要求，特别是超低延迟和高可靠性，本研究提出了一种先进的深度强化学习（DRL）框架，该框架辅以生成式条件变分自编码器（CVAE），用于实现自动化和自适应的SFC供应。所提出的混合方法利用变分自编码器驱动的特征提取和降维来增强泛化能力，而DRL组件则通过试错学习优化探索和决策制定。仿真结果表明，所提出的方法显著提升了6G智能服务的性能，在关键指标（包括供应成本、SFC接受率和端到端SFC延迟）上超越了基线算法。
**论文解读：GenAI-SFC：面向6G智能网络自适应SFC供应的生成式AI辅助深度强化学习方法**
**研究背景与问题**
第六代（6G）移动网络旨在实现无线通信的变革性飞跃，其核心是推动包容性智能服务（IIS）的普及。IIS作为一种高级范式，源于智能终端及其协同学习机制的 seamless 互连，具有异构服务功能、深度设备间互连性和实时自适应服务执行等特点，对AI驱动任务和数据处理能力提出了严苛要求。在此背景下，自适应服务功能链（SFC）策略成为高效编排网络服务供应的关键。网络功能虚拟化（NFV）、软件定义网络（SDN）和边缘云计算的融合，使得网络功能可作为软件化实体动态部署在通用计算平台上。通过SDN，SFC可将虚拟网络功能（VNF）动态链接成结构化服务链，从而实现敏捷的资源分配、实时网络适应和服务差异化。然而，在6G IIS框架下，面对海量设备互连带来的前所未有的流量和服务需求激增，如何快速检测网络变化并适应不同终端设备的异构用户需求，同时通过高效资源管理保证服务质量（QoS）并最小化编排成本，成为云服务提供商（CSPs）面临的核心挑战。现有研究虽已广泛探索机器学习（ML）和深度学习（DL）方法，特别是深度强化学习（DRL）在VNF放置和SFC供应中的应用，但DRL方法在早期训练和环境泛化方面存在根本性挑战，例如探索次优和收敛时间过长。因此，将生成模型与DRL结合以提升SFC配置性能，成为应对6G IIS环境中高度动态性和复杂性的一个有前景的研究方向。
**研究内容与结论**
为应对上述挑战，研究人员提出了GenAI-SFC，一种专为6G IIS设计的创新生成式AI辅助SFC供应策略。其主要目标是降低运营成本和端到端延迟。该研究将6G智能网络中IIS的自适应SFC供应形式化为一个优化问题，并提出了一个创新的GenAI-SFC框架，该框架将DRL与基于条件变分自编码器（CVAE）的生成模型相结合。GenAI-SFC通过结合多层DRL输入和优先级点机制来增强网络可重构性，同时利用CVAE辅助的状态评估策略实现智能节点选择和优化决策。通过在大规模网络环境下进行仿真，并与代表性启发式方法和DRL基线方法进行对比，研究结果表明，GenAI-SFC在关键性能指标上表现出色，显著优于对比方法。具体而言，在高负载场景下，GenAI-SFC实现了高达30%的成本降低和高达18%的端到端延迟优化，证明了其在复杂6G环境中的强大泛化能力和实时适应性。该论文发表在《Digital Communications and Networks》。
**关键技术方法**
为开展此项研究，研究人员主要采用了以下关键方法：
1. **条件变分自编码器（CVAE）**：作为生成式AI模块的核心，用于学习节点状态的预测性表示。CVAE通过编码器将当前节点状态映射到潜在空间，再由解码器预测DRL动作后的下一状态，从而提升模型对网络条件变化的泛化能力。
2. **深度强化学习（DRL）模块**：采用Dueling-DQN（Dueling深度Q网络）架构进行VNF放置决策。该模块将决策过程建模为马尔可夫决策过程（MDP），并通过包含多个输入层的全连接深度神经网络（FCDNN）处理状态信息，以选择最优动作。
3. **基于优先级的节点选择与轻量级展开机制**：训练后的CVAE和价值网络在在线阶段用于评估节点重要性，选出Top-K候选节点。随后，对每个候选节点，利用CVAE进行轻量级、短视界的展开，预测执行动作后的短期奖励，并选择奖励最高的节点进行DRL决策。仿真基于CORONET CONUS网络拓扑（175个物理节点，199条链路）进行。
**研究结果**
**1. 总成本 vs. 不同服务功能链请求（SFCRs）数量**
通过仿真实验，研究人员将SFCRs数量从50增加到300，观察所有方法的总成本变化。结果表明，GenAI-SFC在所有工作负载水平下均持续获得最低总成本。在300个SFCRs的高负载场景下，GenAI-SFC的成本为0.73，优于DDPG（0.79）、DQN（0.84）和MSGAS（0.91）。这主要归因于CVAE生成模块通过改进节点评估和选择，减少了不必要的资源消耗，而轻量级展开机制支持了有远见的决策。
**2. 总成本 vs. 不同物理节点数量**
研究人员将物理节点数从60增加到160，评估总成本的变化。所有方法的总成本随节点增加而下降，但GenAI-SFC始终保持最低。当网络包含160个节点时，GenAI-SFC的总成本为0.46，相比于DDPG（0.55）、DQN（0.61）和MSGAS（0.66），实现了显著的成本降低，相对于MSGAS降低约30%。这表明GenAI-SFC能更高效地利用可用资源。
**3. SFCR接受率**
研究人员评估了在不同服务工作负载和物理网络规模下的SFCR接受率。随着SFCRs从50增加到300，所有方法的接受率均下降，但GenAI-SFC表现最优。在300个SFCRs时，GenAI-SFC的接受率为90%，而DDPG为69%，DQN为66%，MSGAS为61%，相比之下提升了21%。同样，随着节点数增加，GenAI-SFC在160个节点时达到100%的接受率，优于DQN（95%）和MSGAS（94%）。这证明了其预测性生成模型和潜在空间推理在主动识别和分配资源方面的能力。
**4. 平均延迟**
结果显示，无论SFCRs数量或物理节点数量如何变化，GenAI-SFC都能实现最低的平均SFCR延迟。在300个SFCRs的高负载下，GenAI-SFC的平均延迟约为64ms，相比DDPG（72ms）、DQN（76ms）和MSGAS（78ms）分别降低了约11.1%、15.8%和17.9%。在节点数增加至160时，GenAI-SFC的延迟从63ms降至26ms，而DDPG、DQN和MSGAS的延迟分别为38ms、43ms和49ms。这得益于其增强的节点选择机制，通过CVAE展开预测短期奖励，做出有远见的决策。
**总结与讨论**
论文提出的GenAI-SFC框架通过将生成式AI（CVAE）与深度强化学习（Dueling-DQN）相结合，有效解决了6G智能网络环境下自适应服务功能链（SFC）供应面临的扩展性、适应性和资源效率挑战。CVAE通过学习决策后状态的预测表示来增强节点评估，使DRL代理能够做出更明智、更具前瞻性的VNF放置决策。该框架通过融入基于优先级的节点选择策略和基于展开的奖励估计机制，在严格的QoS和资源约束下，共同优化了运营成本和端到端延迟。
研究结论部分翻译如下：
本文提出了GenAI-SFC，一个专为6G智能信息系统中的自适应服务功能链设计的生成式AI辅助深度强化学习框架。通过将CVAE与增强型Dueling-DQN集成，该框架有效解决了高度动态和异构服务环境中的扩展性、适应性和资源效率挑战。CVAE通过学习决策后状态的预测表示来增强节点评估，使DRL代理能够做出更明智、更具前瞻性的VNF放置决策。为了在严格的QoS和资源约束下共同最小化运营成本和端到端延迟，GenAI-SFC框架采用了基于优先级的节点选择策略和基于展开的奖励估计机制，从而提高了决策质量和训练效率。在大规模运营商级网络拓扑上的大量仿真实验验证了该方法的有效性。GenAI-SFC在关键性能指标上持续优于代表性基线。值得注意的是，在高负载场景下，它实现了高达30%的成本降低和18%的端到端延迟改善，证明了其在复杂6G环境中的强大泛化能力和实时适应性。在未来工作中，研究人员计划将GenAI-SFC框架扩展到多智能体设置和联邦学习架构，以提高分布式6G服务供应场景中的扩展性和数据隐私性。还将探索其与基于意图的网络（Intent-Based Networking）的集成，旨在将高级服务意图转化为自主编排动作，并进一步增强网络管理的适应性。
