一种新颖的基于三级阈值模糊深度强化学习的SDN支持物联网与工业物联网网络安全保障方法

《Computer Networks》：Securing SDN-Enabled IoT and IIoT Networks Using a Novel Three-Level Threshold-Based Fuzzy Deep Reinforcement Learning Approach

　　

摘要
软件定义网络 (SDN) 环境中物联网 (IoT) 和工业物联网 (IIoT) 设备数量的激增已被证明极易受到分布式拒绝服务 (DDoS) 攻击，这可能会影响控制器的运行并降低网络性能。当前的保护措施，特别是那些采用两级阈值系统的措施，无法解决多样化和不断变化的 IoT 和 IIoT 系统带来的问题。因此，在本研究中，我们引入了一种新颖的自适应三级防御 (A3TD) 框架。该框架结合了多级阈值保护、高级特征提取、智能检测和自适应缓解。流量流被预处理和细化以供分析。特征通过双路径金字塔视觉 Transformer (DP-PViT) 方法提取。A3TD 模块采用三级阈值系统，能够更早地检测异常活动并提供细粒度的观察。它利用优化的模糊深度强化学习 (FDRL) 模型对每个检测阶段中的流进行分类。改进的鲨鱼嗅觉优化 (ISSO) 算法优化超参数，从而实现高效收敛和增强检测。缓解模块利用安全阻断列表比例 (SBL)、流表占用率 (FTO)、Packet-In 速率 (PIR) 和流规则安装速率 (FRIR) 来识别恶意流和合法流。它根据 A3TD 阈值应用分级反制措施。该框架已在五个公认的数据集上进行检验：CICIoT2023、InSDN、IoT-23、RT-IoT2022 和 WUSTL-IIoT2021，并展示了卓越的准确性、精确度、召回率、延迟、吞吐量、抖动和 F1 分数。该系统结合视觉 Transformer 进行特征提取，优化强化学习进行检测，并通过自适应缓解为启用 SDN 的 IoT 和 IIoT 网络提供实时、稳健且资源高效地防御高级、持续和不断演变的攻击。

引言
软件定义网络 (SDN) 改善了网络管理，尽管其带来了好处，但这种结构带来的安全风险可能会危及所有三个平面的整个网络 [1]。异常检测是构建成功的入侵检测系统 (IDS) 的关键组成部分，对于解决安全问题至关重要。为了检测应用程序、系统或网络中的异常活动，异常检测识别数据集中显著偏离常规的模式或行为。IDS 已经取得了进步，但误检仍然是一个大问题。这些系统可能无法检测真正的攻击，称为假阴性 (FN)，并且经常将正常活动误解为威胁，称为假阳性 (FP) [2,3]。FP 通常更常见，并且有可能使系统过载，产生过多的警报，而 FN 可能会带来重大的安全风险。因此，克服这些局限性对于提高 IDS 的可靠性是必要的 [[4]，[5]，[6]]。

在网络安全等关键领域，这种缺乏不确定性评估是危险的，因为它可能导致不必要的误报 [7]。这些通知有可能压倒安全运营，导致警报疲劳并侵蚀对由 AI 驱动的异常检测系统的信心 [8]。因此，将不确定性量化 (UQ) 添加到深度学习模型中对于提高检测的可靠性和为决策者提供见解信息至关重要。例如，当模型不确定性较大时，错误预测和误报的可能性更大。

由于贝叶斯技术在控制深度学习模型不确定性方面的能力，其使用变得更加流行 [9,10]。与通常产生单点估计而忽略可变性的常规模型不同，贝叶斯深度学习使用基于概率分布的独特方法。为了提高 UQ，这些分布将模型参数解释为随机变量，并将过去知识与观察数据的概率相结合。特定的技术，如以高精度闻名的马尔可夫链蒙特卡罗 (MCMC) [11]，可用于执行后验分布。然而，特别是当处理大规模数据集时 [[12]，[13]，[14]]。

因此，近似技术如蒙特卡罗 Dropout (MC-Dropout) 和变分推断 (VI) 经常被采用，因为它们提供了一种可扩展的方法来处理后验分布 [15,16]。尽管这些技术在增强预测和不确定性方面是有效的 [17]。

尽管贝叶斯深度学习算法在衡量不确定性方面具有显著优势，但在处理复杂数据模式和扩展到大数据集方面存在困难。另一方面，集成方法通过结合多个模型的预测来提高泛化能力并减少过拟合 [18]。然而，这些方法受到其薄弱的理论基础和对每个模型的不确定性水平量化不足的局限。此外，大多数关于使用 UQ 进行异常可能性的先前研究主要专注于图像相关应用程序，忽略了网络安全背景下的基于流的网络数据 [19,20]。因此，在本研究中，我们介绍了一种新颖的研究框架。

IoT 和 IIoT 设备的快速实施显著增加了网络流量，这严重依赖软件定义网络 (SDN) 以提供控制的灵活性和可扩展性。然而，SDN 控制器是集中的，因此极易受到流表溢出和分布式攻击，这可能使网络功能陷入停滞。通常使用的标准解决方案基于固定阈值或传统机器学习模型，无法适应动态的 IoT/IIoT 流量模式，导致过多的假阳性和无效的缓解。此外，大多数解决方案将检测和缓解视为两个独立的过程，而没有流级别行为与 IP 级别动作之间的协调。为了克服这些缺陷，我们提出了一种新颖的方法，它是自适应的、智能的且端到端具备能力的，不仅能够高准确度地检测攻击，还能实时防止它们。

本研究的主要关键贡献如下，
• 提出了一种新颖的自适应三级防御 (A3TD) 框架，用于启用 SDN 的 IoT 和 IIoT 网络，引入了渐进的三级阈值机制用于自适应 DDoS 检测和缓解。与传统的两级阈值方案不同，所提出的框架能够更早地识别攻击，减少假阳性决策，并提高实时网络弹性。
• 开发了一种双路径金字塔视觉 Transformer (DP-PViT)，以联合学习局部流特征和全局流量依赖性，用于分层特征表示。所提出的特征提取策略提高了合法流量和恶意流量之间的区分能力，增强了异构 IoT/IIoT 环境中的检测鲁棒性。
• 引入了一种优化的模糊深度强化学习 (FDRL) 模型，通过集成模糊推理和深度强化学习来执行自适应攻击检测。这使得能够有效处理不确定性，持续适应策略，并在动态网络条件下更准确地检测不断演变的 DDoS 攻击。
• 纳入了一种改进的鲨鱼嗅觉优化 (ISSO) 算法，以自动优化所提出框架的超参数，加速收敛，提高学习稳定性，并在无需手动参数调优的情况下减少计算开销。
• 通过整合自适应流量分类与基于 SDN 控制器的响应机制（使用 FRIR、PIR、FTO 和 SBL 指标），开发了一种协调的检测与缓解策略。所提出的策略保留了合法流量，防止 SDN 控制器资源耗尽，并提高了五个基准 IoT/IIoT 数据集上的 DDoS 检测有效性、网络稳定性和实时缓解性能。

这是论文剩余部分的结构。第 2 节简要介绍了 SDN 架构背景信息。第 3 节介绍了建议框架的大纲设计。第 4 节展示了实验的设计和研究结果。第 5 节探讨了未来研究方向并总结了研究。

章节片段
相关工作
这部分讨论了与 IoT-SDN 攻击检测有关的工作：
Chaudhary 等人 [21] 建议了一种多阶段策略，用于在基于 SDN 的雾启用 IoT 网络 (SD-FCIoT) 中识别和防止 DDoS 攻击。该框架集成了机器学习和基于熵的异常检测，以实现精确和及时的攻击识别。虽然利用对称不确定性和 k 均值聚类的属性选择方法提高了分类准确性，但动态阈值

提议的方法论
所提出的框架提出了 SDN 环境中 IoT/IIoT 安全的多阶段防御策略。然后原始网络流量首先通过预处理消除不一致性并处理结构化流数据。
图 1 解释了 SDN 支持的 IoT/IIoT 环境中用于 DDoS 检测和缓解的所提出自适应三级防御 (A3TD) 框架的总体过程。首先，从 OpenFlow 启用的交换机捕获原始网络流量，并且

结果与讨论
在这里我们启动对实验设计的深入分析。我们的旅程从提供对我们研究中使用的数据集的深刻描述开始。然后我们转到评估指标的细节，这些指标经过仔细选择，以衡量我们所提策略的有效性和结果。然后为了批判性地评估我们所提模型的能力，我们将阐述我们所拥有攻击场景的复杂本质

结论与未来展望
SDN 环境中的 IoT 和 IIoT 设备都变得更加脆弱，尤其是针对可能影响控制器功能以及减缓网络性能的 DDoS 攻击。当前的防御策略，如阈值敏感型和传统机器学习技术，通常未能适应 IoT 和 IIoT 流量的动态、异质和大数据量特性，导致潜在检测、增加假阳性和

资助
未收到资助以协助准备本手稿。

作者贡献
作者确认单独负责以下工作：研究构思和设计、数据收集、结果分析和解释以及手稿准备。

数据和材料的可用性
数据和代码可在以下地址获取：https://doi.org/10.6084/m9.figshare.33078773

伦理批准
本材料是作者自己的原创作品，尚未在其他地方发表。该论文如实且完整地反映了作者自己的研究和分析。

CRediT 作者贡献声明
T. Sampath Kumar: 写作 – 审阅与编辑，写作 – 原稿，可视化，数据管理，概念化。Ramesh Dadi: 验证，监督，软件，调查，形式分析。D. Mahesh: 验证，监督，软件，资源，项目管理，方法论。Ravi Kumar Rachavaram: 写作 – 审阅与编辑，写作 – 原稿，验证，方法论，调查。

T. Sampath Kumar|Ramesh Dadi|D. Mahesh|Ravi Kumar Rachavaram