《Applied Sciences》：Federated Graph Neural Network–Deep Reinforcement Learning for Resilient and Trust-Aware Resource Allocation in Zero Trust SDN Networks
编辑推荐：
现有针对零信任（ZT）软件定义网络（SDN）中资源分配的解决方案将安全性、弹性与效率分别处理；集中式方法违反数据隐私；深度强化学习（DRL）缺乏信任动态性；而联邦学习（FL）尚未纳入图神经网络（GNN）或故障弹性。这些局限性促使研究人员提出联邦GNN-DRL框
现有针对零信任（ZT）软件定义网络（SDN）中资源分配的解决方案将安全性、弹性与效率分别处理；集中式方法违反数据隐私；深度强化学习（DRL）缺乏信任动态性；而联邦学习（FL）尚未纳入图神经网络（GNN）或故障弹性。这些局限性促使研究人员提出联邦GNN-DRL框架，在保护数据本地性的同时联合优化信任、弹性与性能。各域训练本地GNN-DRL智能体，以GNN编码器实现拓扑感知，并以混合DRL模块（深度Q网络处理离散故障转移动作，柔性演员-评论家处理连续带宽调节），在由带反射机制的随机微分方程（SDEs）建模的随机信任演化下运行，以确保适定性。三个伪代码算法详细说明客户端训练（算法1）、服务器端q-公平聚合（算法2）以及本地梯度更新（算法3）。在划分为五个域的100节点拓扑上的大量仿真表明：（i）在低中度故障（≤20%）下，信任违规率低于1.8%，即使在严重故障（40%）下，违规率也维持在4.2%（在5%的ZT边界内）；（ii）恢复时间缩短53%；（iii）故障下吞吐量提升32%；（iv）抗妥协能力达到七个节点（相比之下集中式为三个）；（v）攻击面缩减至四个节点（基线为98个）；以及（vi）横向移动遏制率达到98%。该联邦框架在保护数据本地性的同时逼近集中式性能，为多域ZT SDN网络提供实用且安全的解决方案。
随着云原生应用、物联网（Internet of Things, IoT）部署以及第六代（6G）服务的激增，网络基础设施需同时满足可编程性、安全性与弹性。软件定义网络（Software-Defined Networking, SDN）通过解耦控制平面与数据平面实现了网络可编程性及动态重配置，然而这也引入了控制器饱和、流表耗尽等集中式攻击面。与此同时，零信任架构（Zero Trust Architecture, ZTA）作为保障分布式、多租户环境的实际标准应运而生，其核心理念为"永不信任，始终验证"，要求对每次访问请求进行持续的认证、授权与验证，从而消除传统内网信任概念。SDN与ZTA的融合提供了技术协同：SDN可编程性为流级别的细粒度动态零信任策略实施提供技术基础，而ZTA则为可编程环境提供持续验证的安全框架，但现有方案未能联合优化信任、弹性与性能。
图神经网络（Graph Neural Networks, GNNs）在学习图结构数据表征方面展现出卓越能力，可捕捉局部节点属性与全局拓扑依赖关系。深度强化学习（Deep Reinforcement Learning, DRL）已成功应用于SDN动态资源分配，但现有DRL方案未纳入信任动态性，也未在故障存在下保证可行性，且多数假设存在可访问全部网络数据的集中式控制器。在多管理域的现实ZT SDN部署场景中，原始网络状态与信任评分的共享可能违反隐私法规或商业策略。联邦学习（Federated Learning, FL）为此提供自然延伸：各域基于本地私有数据训练本地模型，仅将模型更新发送至中央服务器进行聚合，从而在保护数据本地性的同时实现全局优化。
发表于《Applied Sciences》的该研究旨在填补上述空白。研究人员开展了以下工作：首先将问题建模为具有随机信任演化的约束马尔可夫决策过程（Constrained Markov Decision Process, CMDP），包含信任轨迹与故障级联的模型图；其次设计本地GNN-DRL智能体以捕捉拓扑依赖并优化离散与连续动作，提供训练伪代码；第三提出包含客户端与服务器端算法的FL架构及公平性感知聚合规则；第四将安全稳健性分析（抗妥协能力、攻击面、横向移动遏制）纳入评估。研究结论表明，该联邦框架在保护隐私的同时逼近集中式性能，为多域ZT SDN网络提供实用、可扩展且安全的解决方案。
该研究采用的关键技术方法包括以下方面。网络拓扑基于100节点Internet2 OS3E拓扑划分为五个域。信任演化建模采用带反射投影机制的随机微分方程（Stochastic Differential Equations, SDEs）以确保信任分数位于[0,1]区间内，包含均值回归、随机波动与邻居信任传播三项效应。图注意力网络（Graph Attention Networks, GATs）用于编码网络状态，通过注意力系数区分邻居重要性。混合DRL架构结合DQN处理离散故障转移动作与SAC处理连续带宽分配，二者通过条件化动作选择耦合。联邦学习采用基于域内流数量的加权聚合，并引入q-公平校正机制以提升数据量较小域的贡献，防止大域主导全局模型。安全稳健性量化采用抗妥协能力（Compromise Resistance, CR）、攻击面（Attack Surface, AS）与横向移动遏制（Lateral Movement Containment, LMC）三项指标。以上方法通过Python自定义离散事件仿真器实现，PyTorch框架训练，NVIDIA A100 GPU运行。
研究结果为以下六个方面。（一）吞吐量与负载关系：联邦GNN-DRL在80 Gbps负载下维持76.2 Gbps吞吐量，仅比理想值下降4.8%；在90 Gbps负载下达83.5 Gbps，与集中式上界（85.0 Gbps）差距在2%以内。该结果源于GNN编码器对远端依赖与故障传播模式的捕捉，以及q-公平聚合对各域负载的均衡。（二）故障后恢复时间：在60 Gbps负载下，联邦GNN-DRL恢复时间为42 ms，较基线（90 ms）降低53%，较仅本地方法（52 ms）降低19%。集中式为38 ms，仅比联邦快4 ms。GNN的注意力机制可预测故障传播并提前重路由。（三）信任违规率与链路故障率关系：正常条件下各方法信任违规率均低于0.5%。40%故障率下，基线因缺乏信任自适应达18%违规；仅本地方法限至6.5%；联邦GNN-DRL通过跨域信任模型共享降至4.2%；集中式为3.1%。联邦方法满足ZT严格合规要求。（四）弹性指标与同时刻链路故障数关系：20起同时故障时基线仅交付72%流量，仅本地方法82%，联邦GNN-DRL达88%，集中式91%；50起极端故障时联邦方法仍交付68%。（五）训练收敛性：q-公平FL（q=2）约120轮收敛至累积奖励0.82，标准FedAvg 180轮达0.76，仅本地方法200轮后停滞于0.68。q-公平机制通过提升高损失域权重加速收敛。（六）关键流端到端延迟与负载关系：80 Gbps负载下联邦GNN-DRL关键流延迟为4.8 ms，满足超可靠低延迟通信（Ultra-Reliable Low-Latency Communications, URLLC）5 ms约束；基线达18 ms。Jain公平指数方面，联邦GNN-DRL达0.92，接近集中式0.94，基线仅0.78。通信开销随客户端数线性增长，五客户端每轮120 KB，占用控制面带宽0.96 Mbps。
消融研究中，各组件贡献验证如下：移除GNN编码器导致吞吐量降12%、弹性降8%；移除信任感知奖励使信任违规增加3倍；移除故障传播建模使恢复时间增28%；以标准FedAvg替代q-公平聚合使吞吐量降6%、信任违规增20%；仅使用DQN使吞吐量降18%，仅使用SAC使恢复时间增35%；移除联邦机制使吞吐量降22%、信任违规增2.5倍。
安全稳健性结果为：抗妥协能力随域数增加而提升，五域场景下达7个节点（基线1个、集中式3个）；攻击面在信任阈值0.95时缩减至4个节点（基线98个），降幅87%；横向移动遏制率在五安全类时达98%（基线72%、集中式92%）。
研究讨论与结论部分指出，该联邦GNN-DRL框架通过分布式信任评估与隐私保护聚合增强安全性。然而需注意，所报告的安全指标为针对特定攻击场景的经验启发式量化，不提供形式化安全保证；q-公平聚合仅确保本地损失的均衡加权，不保证抵抗投毒攻击或拜占庭故障；形式化隐私保护（如差分隐私或安全聚合）尚未实现，作为关键未来工作。研究人员明确将安全聚合与差分隐私识别为未来方向，以提供针对模型反演与梯度泄露攻击的严格保护。
该工作提出面向ZT SDN环境弹性信任感知资源分配的联邦图神经网络增强深度强化学习框架。该框架使多管理域能够在不共享原始网络状态或信任数据的情况下协作学习最优资源分配策略。三个伪代码算法详细说明客户端训练、服务器端q-公平聚合及本地DRL更新。模型图刻画信任演化、传播动态、GNN注意力机制及故障级联。安全稳健性通过抗妥协能力、攻击面和横向移动遏制等指标评估。100节点拓扑划分为五域的大量仿真表明：联邦框架将恢复时间缩短53%，故障条件下吞吐量提升32%，低中度故障场景（≤20%）信任违规率低于1.8%；严重故障条件（40%）下信任违规维持4.2%，处于5%的ZT合规阈值内。框架实现七节点抗妥协能力，攻击面缩减至四个节点，横向移动遏制率达98%。总体性能逼近集中式理想值，同时保护数据本地性。
