《Ad Hoc Networks》：A Novel DRL method based on GAT-GRU-attention for deploying dynamic SFCs in SAGIN
编辑推荐：
摘要空间-空-地一体化网络（SAGIN）中的服务功能链（SFC）部署问题极具挑战性，原因在于时变拓扑结构、有限资源以及随机的服务到达。卫星运动、无人机机动以及间歇性层间连通性进一步加剧了虚拟网络功能（VNF）放置与链路映射的复杂性。为解决这一问题，本文提出HADES（面向SA
摘要
空间-空-地一体化网络（SAGIN）中的服务功能链（SFC）部署问题极具挑战性，原因在于时变拓扑结构、有限资源以及随机的服务到达。卫星运动、无人机机动以及间歇性层间连通性进一步加剧了虚拟网络功能（VNF）放置与链路映射的复杂性。为解决这一问题，本文提出HADES（面向SAGIN的混合注意力部署引擎），该框架结合图注意力网络（GAT）进行拓扑编码，门控循环单元与注意力机制（GRU-Attention）建模VNF序列依赖关系，以及优势演员-评论家（A2C）策略实现在线部署。仿真结果表明，与基线方法相比，HADES将服务接受率提高了约25%，平均端到端时延降低了约44%。消融实验验证了各模块的贡献，HADES在所测试的网络规模下展现了良好的性能。
引言
如图1所示，空间-空-地一体化网络（SAGIN）是一种极具前景的网络架构，由三个协同层组成[1]：天基、空基和地基网络[2]。通过卫星、无人机（UAV）与地面节点的紧密集成，SAGIN展现出高度动态和异构的互联特征。网络功能虚拟化（NFV）将网络功能抽象为虚拟网络功能（VNF），实现网络服务以服务功能链（SFC）形式灵活按需编排[3]。然而，在SAGIN的动态环境中部署SFC面临重大挑战，包括快速变化的拓扑结构、异构且有限的资源，以及随机到达的服务请求。系统必须根据实时网络拓扑和资源可用性，为每个VNF动态选择物理节点并映射虚拟链路[4]。这些需求凸显了对高效且自适应部署机制的迫切需求。
SAGIN中的SFC部署问题是NP难的[5]。现有方法通常分为两类：精确算法和启发式算法。精确算法可以找到最优解，但其计算成本使其不适合大规模和动态场景。启发式算法效率更高，但严重依赖人工设计的规则，不太适合SAGIN高度时变的特征[6]。近年来，深度强化学习（DRL）被引入该领域，在一定程度上实现了部署策略的自学习。然而，大多数基于DRL的现有方法是为拓扑相对稳定的网络设计的，并未联合建模物理网络结构和SFC请求的时间结构。在实践中，许多这类方法依赖全连接网络或图卷积网络（GCN）进行特征提取。全连接网络无法捕获固有的拓扑关系，而GCN使用固定的邻域聚合权重[7]。这使得它们不太适合节点间连接强度随时间变化的SAGIN[8]。因此，这些方法在高度动态的SAGIN场景中往往受到特征表示能力有限和决策性能较弱的困扰[9]。为解决这些局限性，本文引入图注意力网络（GAT）。通过自注意力机制，GAT可以根据当前网络状态为相邻节点分配不同权重，从而捕获卫星、无人机与地面节点之间随链路条件变化而演变的关联关系，为感知资源的SFC部署决策提供更好的依据[10]。
基于上述思路，本文提出HADES框架。HADES结合三个组件来表示动态网络状态和SFC请求序列：（1）GAT模块处理当前邻接矩阵和节点特征，生成捕获拓扑和资源相关信息的节点嵌入；（2）GRU模块编码VNF序列并更新隐状态以建模时间依赖关系；（3）注意力机制生成全局上下文向量，突出关键VNF对后续决策的影响。融合后的状态表示被输入基于A2C的决策模型，该模型为每个VNF实时输出部署动作。通过最大化系统的长期平均净收益，HADES实现了高效的在线SFC部署。仿真实验和消融研究进一步表明，与现有方法相比，该框架收敛更快、服务接受率更高，并降低了端到端时延。
本文的主要贡献总结如下：
- •
将随机请求到达和时变拓扑下SAGIN中的动态SFC部署问题建模为马尔可夫决策过程。
- •
设计了一种混合神经网络架构，结合GAT和GRU-Attention来捕获图级网络特征和时间请求特征。
- •
提出了一种基于A2C的在线部署算法，在实际约束条件下平衡服务奖励、能耗和时延惩罚。
- •
开发了一个仿真框架，从收敛行为、部署效率和资源利用率等方面将所提方法与代表性基线方法进行对比评估。
本文其余部分组织如下。第2节回顾了SAGIN中SFC编排的最新研究。第3节介绍了系统模型和问题定义。第4节描述了所提出的HADES算法。第5节报告了仿真结果和消融研究，第6节总结了全文。
章节摘要
地面网络中的SFC部署
服务功能链部署和调度在地面网络中已被广泛研究。文献[11]研究了云-边-车协同网络中的SFC嵌入问题，提出了一种基于深度强化学习的算法来联合优化虚拟网络功能部署和链路映射，提高了服务嵌入率和长期性能。文献[12]研究了负载时变的5G网络中的切片重构问题，利用动态扩展来改善SFC
系统模型与问题定义
本节定义SAGIN模型、动态SFC请求模型和在线部署问题，然后将该问题重新表述为用于强化学习的马尔可夫决策过程（MDP）。
算法设计
本节提出HADES，一种利用图注意力网络、带注意力的门控循环单元和A2C来实现动态SAGIN中智能在线SFC部署的混合注意力部署引擎。核心思想是联合编码时变物理拓扑和有序VNF需求序列，然后使用演员-评论家框架在随机请求到达和动态资源演化条件下学习长期部署策略。
实验设置
为评估所提HADES框架在动态空间-空-地一体化网络中在线SFC部署的有效性，我们开发了一个基于Python的仿真平台。神经网络模型使用PyTorch实现。
仿真网络由100个物理节点组成，分为地面站（50%）、无人机（30%）和卫星（20%）。为捕获SAGIN的动态特征，包括卫星轨道运动、无人机移动性和间歇性
结论
为解决空间-空-地一体化网络中动态服务功能链部署的挑战，我们提出HADES框架。HADES集成了图注意力网络、带注意力的门控循环单元和优势演员-评论家算法，联合表示网络拓扑和请求序列，实现自适应部署决策。仿真表明，HADES收敛更快、服务接受率更高，并降低了端到端时延，与相比
CRediT作者贡献声明
陈雅心：撰写——初稿、调查、正式分析。谢军：撰写——初稿、调查。田晨靖：撰写——初稿、方法论、概念化。蔡元：撰写——初稿、方法论。Sahil Garg：撰写——审阅与编辑、数据整理。Syed Ishtiaque Ahmed：撰写——审阅与编辑、方法论。Mohammad Mehedi Hassan：撰写——审阅与编辑、项目管理、概念化。
利益冲突声明
作者声明不存在已知的可能影响本文所报告工作的竞争性财务利益或个人关系。
致谢
在本工作准备期间，作者使用了AI辅助工具，主要用于改善语法、清晰度和语言质量，特别是在引言部分。使用这些工具后，作者对内容进行了审阅和编辑，并对已发表文章的内容承担全部责任。
陈雅心 | 谢军 | 田晨靖 | 蔡元 | Sahil Garg | Syed Ishtiaque Ahmed | Mohammad Mehedi Hassan
