《Computer Networks》:Improving bandwidth consumption and monitoring accuracy of software-defined networks using deep reinforcement learning
编辑推荐:
摘要在软件定义网络中实现有效的网络管理,准确监控数据流是至关重要的。本文致力于根据每个数据流的观察行为动态调整监控频率,目的是在保持可接受的监控准确度的同时减少控制器与交换机之间的通信开销。为此,我们通过渐进式设计过程开发了一个深度强化学习框架。首先研究了基于奈奎斯特(Nyqui
摘要
在软件定义网络中实现有效的网络管理,准确监控数据流是至关重要的。本文致力于根据每个数据流的观察行为动态调整监控频率,目的是在保持可接受的监控准确度的同时减少控制器与交换机之间的通信开销。为此,我们通过渐进式设计过程开发了一个深度强化学习框架。首先研究了基于奈奎斯特(Nyquist)的策略,这是一种以准确性为导向并考虑频率影响的 方法;随后引入了基于JSD(Joint Spatial Distribution)的策略,利用连续数据流窗口之间的分布变化进行自适应监控。这两种策略为最终提出的阈值驱动(Threshold-Driven)方法提供了设计思路。阈值驱动方法是主要推荐的监控方法,它采用两阶段机制,减少了对手动调整的奖励函数超参数的依赖性,同时在实际的监控准确度和开销之间取得了平衡。评估结果表明,与CeMon的PayLess和SWT方法相比,所提出的方法在监控准确度和开销之间实现了更好的平衡。
引言
为了实现高效的网络管理,网络监控是一项重要任务[1],它支持多种服务,如异常检测[2]、网络设备配置[3]和资源计量[4]。此外,以较低的开销和合理的准确度收集数据流统计信息对于处理流量工程[5]和路由调整[6]等任务至关重要。因此,它能确保一定的安全性[7]。这一过程还允许实时检测拥塞情况,迅速识别问题,并对路由层及网络架构进行必要的配置调整,从而确保服务质量(QoS)[8]。例如,数据中心利用此类监控来管理和路由数据流[9]。
软件定义网络(SDN)是一种独特的网络架构方法,它允许通过软件程序对整个网络基础设施进行集中和智能化控制[10]。在传统的网络架构中,每个设备独立执行其控制功能,而在SDN中,控制平面与数据平面是分离的[11]。这种解耦使得集中式控制器能够通过OpenFlow等标准通信协议监控所有网络活动,并向交换机和路由器等设备发送所需的命令[12]。
在软件定义网络中,交换机能够计算每个数据流的字节数、数据包数量和流持续时间等指标[13]。收集这些统计信息主要有两种方法[13]。第一种方法是基于推送(push-based)的方法[14],交换机会被动地向控制器传输统计信息,而不需要直接请求。然而,这种策略的一个主要问题是,如果交换机检测到不符合流表中任何定义规则的数据包,它们可能会向控制器发送过多的消息。因此,在大规模数据流情况下,这会导致监控成本增加并降低系统效率[15]。另一种方法称为基于拉动(pull-based)的方法,SDN中的中央控制器能够根据其对网络状态的全局视图,通过读取状态消息定期从交换机获取必要的数据流统计信息,从而有效地进行监控[13]。由于这种方法可以在需要时接收这些统计信息,因此与基于推送的方法相比具有更大的灵活性,因为它允许控制器控制请求的统计报告数量,从而降低监控成本[13]、[16]。
对于基于拉动的方法来说,选择监控频率是影响监控性能的最重要因素。选择较高的频率可以提高准确性并提供更深入的数据流行为洞察,但同时会导致监控成本显著增加。因此,这种额外的开销可能会降低控制器执行关键功能的效率[13]、[18]。
许多关于网络流量监控的研究采用了对每个数据流固定的监控频率;因此,不同时间间隔的数据流行为被忽略了。这些方法的主要关注点是交换机之间监控任务的最优分配。通过优化这种分配,可以消除多个交换机同时采样同一数据流的情况,从而减少监控开销[7]、[19]。另一组研究则借助基于阈值的机制或预定义规则来选择监控频率[16]、[18]、[20]。尽管这些方法减少了监控开销,但它们未能根据每个数据流的特性有效平衡监控准确度和开销。
鉴于基于拉动的方法所面临的挑战,特别是需要在监控准确度和开销之间保持平衡,以及许多现有方法缺乏基于学习的机制[13],如果能够准确识别不同时间间隔内每个数据流的行为,就可以在网络流量稳定期间降低采样频率,在不稳定情况下提高监控频率。因此,这种机制为实现监控准确度和监控开销之间的自适应和实际平衡提供了基础。
更具体地说,本研究解决了基于拉动的SDN监控中的每个数据流的轮询间隔选择问题。对于每个可识别的数据流,控制器会定期获取流量统计信息,并根据最近观察到的流量行为从一组允许的间隔中选择下一个轮询间隔。较短的轮询间隔可以提供更细粒度的数据流变化视图,但会增加FlowStats交换和控制器与交换机之间的通信开销;而较长的间隔虽然减少了开销,但可能会错过时间上的流量变化。我们该方法的目标是在保持可接受的监控准确度的前提下,减少由统计信息收集引起的通信开销。
为实现这一目标,深度强化学习(Deep Reinforcement Learning,DRL)提供了一种智能且有效的监控频率优化方法,它可以通过与环境交互来学习[21]。此外,基于DRL的方法能够制定响应网络变化的适应性和动态决策策略。因此,可以根据每个数据流的变化动态调整监控频率,从而提高监控过程的总体效率。
总结来说,本文的主要贡献如下:
- •
设计了一个基于DRL的自适应监控框架,用于根据数据流在不同时间间隔的行为动态调整其监控频率。与固定频率和基于规则的方法不同,该框架学习了一种能够智能平衡准确性和开销的自适应策略。
- •
我们通过三种基于DRL的监控策略逐步开发了这个框架。首先,研究了基于奈奎斯特的策略,这是一种以准确性为导向并考虑频率影响的探索性方法,用于分析采样频率与监控保真度之间的关系。鉴于其在减少开销方面的局限性,引入了基于Jensen-Shannon散度的方法,利用连续数据流窗口之间的分布变化来适应监控频率。最后,提出了一种两阶段的阈值驱动方法作为主要的自适应监控机制。在此方法中,DDQN代理从数据流行为中估计出一个代表性的操作阈值,然后DQN代理使用该阈值作为敏感度参数来平衡监控准确性和通信开销。
- •
所提出的两阶段阈值驱动方法减少了基于JSD方法对手动调整的奖励函数超参数的依赖性,同时提供了一种可配置的机制来控制监控敏感度和通信开销之间的平衡。
- •
使用GéANT网络拓扑的数据,我们将所提出的方法与CeMon的SWT和Payless两种方法进行了比较。结果表明,我们的框架在保持相同或更好的监控准确度的同时,显著降低了监控开销,并确保了在各种流量条件下的性能稳定。
本文的其余部分组织如下:第2节讨论相关工作;第3节描述了所提出的基于DRL的监控框架及其三种逐步开发的监控策略;第4节描述了实验设置和各种数据流及场景的评估结果;第5节对本文进行了总结,并探讨了未来的研究方向。
章节片段
相关工作
本节回顾了与降低SDN中监控成本相关的研究。这些研究大致可以分为两类。
提出的自适应监控方案
所提出的框架是在一个共同的强化学习结构内逐步开发的。基于奈奎斯特和JSD的策略被用来解释激励最终方法的设计思路和局限性。基于奈奎斯特的策略提供了对监控问题的初步频率感知视角,而基于JSD的策略用分布变化指标替代了对可观测流量频率的依赖,并引入了明确的
性能评估
本节评估了SDN中自适应数据流监控的提出的策略。此次评估的主要目的是确定这些监控策略在保持监控准确度的同时,能在多系统中有效减少监控开销的程度。
本节首先描述了实验设置和评估指标,然后分析了监控策略的性能。
结论
在这项研究中,通过渐进式设计过程开发了一个基于DRL的自适应数据流监控框架。基于奈奎斯特的策略提供了一种初始的以准确性为导向并考虑频率的方法;而基于JSD的策略引入了连续数据流窗口之间的分布变化作为数据流变化的指标,用于自适应监控。这两种策略为最终提出的阈值驱动方法提供了设计思路,这是主要
CRediT作者贡献声明
Farbod Borhani:撰写 – 原始草稿、可视化、验证、软件实现、方法论、调查、形式分析、概念化。Masoud Sabaei:监督、方法论。Sara Samiee:撰写 – 审稿和编辑、撰写 – 原始草稿、可视化。
利益冲突声明
作者声明他们没有已知的可能影响本文工作的竞争性财务利益或个人关系。
Farbod Borhani|Masoud Sabaei|Sara Samiee