基于Q-Learning的自适应多网关负载均衡与主备切换方法

《Electronics》：A Q-Learning Approach to Adaptive Multi-Gateway Load Balancing and Active-Standby Switchover in SDN

　　

为应对传统网络网关在性能与可靠性方面的局限性，本文提出了一种基于软件定义网络（SDN）的多网关负载均衡与主备切换策略。研究人员首先构建了链路质量评分模型，将吞吐量、时延和丢包率分别归一化为三个0–100的分数。针对固定权重策略的缺陷，研究人员采用Q-learning在按时延与丢包划分的九种离散链路状态下，获取三个指标的最优权重系数。基于学习得到的自适应评分模型，实现了四种运行模式，即正常模式、负载均衡（LB）模式、主备（AS）模式和混合模式。其中，LB与混合模式采用了基于Q-learning的自适应加权机制，而正常与AS模式或使用固定权重，或完全不使用链路质量评分。在Mininet平台上，研究人员在三种固定退化等级（低、中、高）下开展实验，并进一步执行了固定权重组合[0.3, 0.4, 0.3]的消融实验以验证自适应加权模块的必要性，同时补充了准动态逐步链路退化场景以测试动态适应能力。测量了TCP单流与多流吞吐量、UDP多流失包率及自愈时间。结果表明，与正常模式相比，LB与混合模式将TCP吞吐量提升了15–42%，并将UDP丢包率降低了7–13%。混合模式实现了1.66秒的自愈时间，优于主备模式（2.38秒），展示了其在性能与可用性之间的优越权衡。

## 论文解读：基于Q-Learning的自适应多网关负载均衡与主备切换方法

### 研究背景与问题

在传统网络架构中，网关作为流量汇聚与转发的核心节点，其性能与可靠性直接制约整个网络的运行质量。传统网关采用静态绑定单一物理网关的方式，面临高负载下的处理瓶颈、单点故障导致全网中断以及无法适应链路质量与流量模式动态变化等固有缺陷。软件定义网络（SDN）通过将控制平面与数据平面解耦，为网络提供了集中控制与可编程能力，结合网络功能虚拟化（NFV），可在通用硬件上实现软件化的网关功能。然而，现有基于SDN的网关方案在负载均衡与高可用性方面仍存在三方面不足：第一，链路质量评估广泛采用静态加权机制，无法根据实时链路状态自适应调整优先级，导致时变条件下流量调度次优；第二，负载均衡与主备切换策略通常被独立设计与评估，缺乏将两者优势结合的混合网关运行模式的系统性验证；第三，多数性能评估依赖固定网络条件，未在不同链路退化等级下对吞吐量、丢包率及切换延迟进行综合实验，尤其在多网关场景中。此外，在5G核心网向控制与用户平面分离（CUPS）演进以及面向6G的空天地一体化网络（SAGIN）背景下，异构回传链路的质量波动对网关管理提出了更高要求，亟需一种能够动态感知链路质量并实现性能与可靠性兼顾的网关调度策略。

### 研究内容与结论

针对上述问题，研究人员提出了一种基于Q-learning的自适应多网关负载均衡与主备切换策略。该策略首先构建包含吞吐量、时延和丢包率的链路质量评分模型，并利用Q-learning在九种离散链路状态下自动学习最优权重组合，以克服固定权重的局限性。基于此，研究人员设计了四种网关运行模式：正常模式（无评分、固定路由）、负载均衡模式（LB，基于Q-learning自适应加权分配流量）、主备模式（AS，固定权重、主网关故障时切换）以及混合模式（结合LB的高吞吐与AS的快速故障切换，并采用Q-learning自适应加权）。实验在Mininet仿真平台上进行，设置三种固定链路退化等级（低、中、高）以及准动态逐步退化场景，测量了TCP单流与多流吞吐量、UDP多流失包率及自愈时间。结果表明，与正常模式相比，LB与混合模式将TCP单流吞吐量提升20–42%，多流吞吐量提升15–30%，并将UDP多流失包率降低7–13%。混合模式的自愈时间为1.66秒，优于AS模式的2.38秒，在性能与可用性之间实现了更优的权衡。该研究发表在《Electronics》上，其重要意义在于提出了一种轻量级、可部署于SAGIN地面段边缘网关的自适应调度方案，为高负载、高可靠性场景下的多网关部署提供了定量参考。

### 关键技术方法概述

研究人员主要采用了以下关键技术方法：首先，构建链路质量评分模型，对吞吐量采用S型曲线归一化，对时延和丢包率采用线性归一化，得到0–100的综合评分。其次，采用Q-learning强化学习算法，定义九种链路状态（按时延低<50 ms、中50–100 ms、高>100 ms与丢包低<5%、中5–10%、高>10%组合），定义十种预置权重元组作为动作空间，并设计考虑“短板效应”的奖励函数，通过20,000轮迭代离线训练得到每个状态下的最优权重组合。最后，在Mininet平台上构建由1个核心交换机、4个客户端主机、3个网关和3个后端服务器组成的拓扑，通过OpenFlow组表实现加权流量分配，并通过Linux tc netem工具模拟链路退化，所有链路退化参数（时延、丢包率）在运行时动态修改，以构建静态与准动态退化场景。

### 研究结果

#### 3.1 网关模式设计

研究人员设计了四种网关运行模式：正常模式默认路由固定指向主网关gw1，无链路质量评分；LB模式根据Q-learning自适应加权计算的综合质量评分分配流量；AS模式在正常时所有流量经过gw1，gw2为热备，采用固定权重（w_T, w_D, w_L）评分，当主网关质量评分低于60时切换至gw2；混合模式在正常时与LB模式相同，当任一活跃网关质量评分低于60时隔离故障网关并重新分配流量。

#### 3.2 SDN流量调度实现

研究人员通过静态IP路由配置（多候选网关路由条目，metric值控制优先级）和OpenFlow组表（select类型，权重按综合质量评分设置）在Mininet中实现流量调度与切换。测量与控制脚本周期（2秒）采集链路吞吐量、时延和丢包率，映射到离散状态后查询预训练Q表获取最优权重，计算综合质量评分，更新OpenFlow组表权重或修改主机路由metric，并持续监测链路质量，评分低于阈值时触发切换。

#### 3.3 实验场景

实验设置三种静态退化场景（低、中、高），参数见表2（原文未提供具体数值，但基于描述可知低退化时延低、丢包低，高退化时延高、丢包高）。采用TCP单流、TCP多流（10并行流）和UDP多流（10并行流，每流50 Mbps）三种测试指标。此外，在低退化场景下持续发包，中途注入故障（500 ms时延、80%丢包）以估算链路切换时间。还构建了准动态逐步退化场景：从时延25 ms、丢包2.5%开始，每30秒时延增加25 ms、丢包增加2.5%，直至上限150 ms、15%丢包，仅测试TCP多流。

#### 3.4 消融研究

研究人员设置固定权重（w=[0.3, 0.4, 0.3]）的LB方案作为基线，与Q-learning自适应加权LB方案对比。结果表明，在低、中、高三种退化等级下，Q-learning自适应加权方案均获得更高的TCP多流吞吐量；在低、中稳定链路环境下，两者丢包率接近；但在高退化条件下，固定权重无法调整流量分配，导致丢包率显著上升，而自适应加权方案能动态优化权重，优先分配流量至高质量链路，有效抑制丢包，验证了Q-learning自适应加权模块的必要性。

#### 3.5 结果

TCP单流吞吐量（图4）：低退化正常模式8.21 Mbps，LB与混合模式约9.8 Mbps（提升约20%）；中退化正常模式1.13 Mbps，LB与混合模式约1.41 Mbps（提升约25%）；高退化正常模式0.352 Mbps，LB与混合模式约0.5 Mbps（提升约42%）。AS模式与正常模式结果几乎相同。

TCP多流吞吐量（图5）：低退化正常模式99.4 Mbps，LB与混合模式约119-120 Mbps（提升约20%）；中退化正常模式14.2 Mbps，LB与混合模式约16.2-16.3 Mbps（提升约14%）；高退化正常模式4.55 Mbps，LB与混合模式5.91 Mbps（提升约30%）。AS模式与正常模式接近。

UDP多流失包率（图7）：低退化正常模式11.60%，LB与混合模式约1.0%（降低90%以上）；中退化正常模式约17.0%，LB与混合模式约5.0%（降低70%）；高退化正常模式33.10%，LB与混合模式26.02%（降低21%）。

链路切换时间（图8）：AS模式平均切换时间约2.38秒，混合模式约1.66秒（提升约30%），归因于Q-learning优化权重使系统更灵敏地检测网关退化。

准动态逐步退化场景下的TCP多流吞吐量（图9）：初始阶段（Stage 1）混合模式最高（79.0 Mbps），LB次之（75.2 Mbps），正常与AS较低（68.8/65.3 Mbps）；中期退化阶段（Stage 2-4）多路径方案优势明显，混合模式持续高于固定权重LB；高退化阶段（Stage 5-6）混合模式衰减最慢，维持3.43 Mbps，AS退化最严重，正常模式仅2.76 Mbps。

### 讨论与结论

研究人员在论文讨论部分指出，所提出的Q-learning自适应加权机制将计算开销分为离线训练与在线推理两个阶段。离线训练（20,000轮迭代）在正式实验前完成，不占用实时网络资源；在线运行时仅需O(1)查表操作及基本算术运算，计算开销可忽略不计，适用于SAGIN地面段普通边缘网关。实验虽得出有意义结论，但仍存在局限性：实验环境为单机虚拟机，资源有限可能限制峰值吞吐量；所有场景为静态，实际链路质量实时变化。未来改进方向包括：基于RYU或ONOS实现SDN控制器以增强全网控制；引入动态场景；扩大实验规模至多节点高带宽环境。

研究结论翻译如下：本文针对SDN网关的负载均衡与高可用性，提出了四种运行模式：正常、负载均衡（LB）、主备（AS）和混合。为精确评估链路传输质量，构建了包含吞吐量、时延和丢包率的评分模型，并引入Q-learning自适应优化不同链路状态下的权重系数，支持动态细粒度流量分配。在Mininet仿真环境中进行了系统性实验评估，除三种固定链路退化等级外，还补充了准动态逐步退化场景以逼近真实时变条件，并通过固定权重组合[0.3, 0.4, 0.3]的消融实验验证了基于Q-learning的自适应加权机制的必要性。在固定链路退化参数下，全面测量了TCP单流与多流吞吐量、UDP多流失包率以及AS与混合模式的自愈时间。实验结果表明，LB与混合模式在所有三种链路退化场景下均显著优于正常与AS模式，其性能提升主要归因于Q-learning动态优化链路质量评分。具体而言，两种模式将TCP单流吞吐量提升20–42%，TCP多流总带宽提升15–30%，同时将UDP多流失包率降低7–13%。AS模式在正常条件下性能与正常模式相当，并提供约2.38秒的自愈能力。混合模式结合负载均衡的高吞吐与主备切换的快速故障恢复，将自愈时间缩短至1.66秒，展现出最突出的综合优势。