基于混合LSTM-Transformer拥塞预测和强化学习路由的SDN流量工程框架研究

《Network》：Hybrid LSTM–Transformer- and PPO–DQN-Based Intelligent Congestion-Aware Traffic Engineering in Software-Defined Networking

　　

摘要

云计算、多媒体服务、物联网应用以及数据密集型通信的快速增长，增加了对自适应和拥塞感知网络管理的需求。本研究开发了一个软件定义网络（SDN）流量工程框架，该框架集成了基于TShark的数据包捕获、混合LSTM-Transformer拥塞预测，以及基于强化学习的路由（使用DQN、PPO和混合PPO-DQN）。使用Mininet和Open vSwitch模拟受控和外部网络拓扑，同时利用Iperf生成正常、中度拥塞和重度拥塞流量。数据包跟踪以PCAP文件形式捕获，并转换为结构化时间序列数据，用于拥塞分类和路由评估。混合LSTM-Transformer在受控Mininet生成的测试分布下达到了99.99%的准确率。重复运行之间的差异很小，组件消融实验发现性能下降在统计上不显著，因此受控结果并不能证明混合模型具有内在优势。在独立生成的更困难流量下，准确率下降到46.52%，宏F1分数为43.91%，这表明在受控流量条件之外，性能出现大幅下降且对流量分布偏移高度敏感。冻结预测器在基于Abilene的灵感数据集上达到了100%的准确率，在精确AARNet数据集上的合并准确率为99.20%。为了消除状态输入混淆，DQN、PPO和混合PPO-DQN在五个随机种子下独立重新训练，采用相同的观测状态和冻结预测器辅助输入。在预测器辅助下，DQN实现了的平均奖励，而混合PPO-DQN为，经Holm校正后差异无统计学意义。将观测到的拥塞状态替换为冻结预测器输出，并未显著改变任何代理的奖励、吞吐量、延迟、丢包率、PDR或CRR。DQN所需的参数量和本地推理延迟均低于混合PPO-DQN。五个种子的PPO重新训练显示，动作集中依赖于种子，而非一致选择高吞吐量动作，这表明在测试配置下策略多样性有限。总体而言，研究结果支持预测辅助流量工程的可行性，同时强调架构复杂性与实际效用之间的权衡，而非内在的混合模型优势。更广泛的流量验证和实时SDN控制器集成仍是必要的。