针对域偏移情况下高流量关键信息基础设施的预算友好型两阶段NetFlow入侵检测方法

《International Journal of Critical Infrastructure Protection》：Budget-aware two-stage NetFlow intrusion detection for high-traffic critical information infrastructure under domain shift

　　•提出了RiskGate-IDS，这是一种在域偏移情况下、注重预算控制的NetFlow入侵检测框架。•通过小标签目标校准来恢复高风险流量的排序。•引入BudgetBank机制，用于在微批次之间重新分配第二阶段的预算。•使用真实的XGBoost和MLP第二阶段检测器对RiskGate-IDS进行验证。•在Spark本地模式选择阶段基准测试中，其处理速度可达159万流量/秒。引言关键信息基础设施越来越依赖大规模网络系统，包括企业网络、数据中心、云网关、电信系统以及智能基础设施服务。这些环境需要持续的网络监控，以检测恶意流量、异常行为和策略违规行为。由于机器学习和深度学习技术能够从流量级或数据包级的流量数据中学习复杂模式，因此它们在入侵检测系统中越来越受到关注[1]、[2]。基于深度学习的IDS方法在公共基准数据集上取得了出色的分类性能[3]、[4]，前提是训练集和测试集的数据分布相似。然而，在大多数现实世界的IDS应用中，尤其是关键基础设施环境中，这一假设并不成立。在这些场景下，流量规模庞大，攻击行为可能是偶发或突发性的，且部署环境可能与训练环境有很大差异。一个核心挑战就是跨数据集的域偏移问题。IDS数据集因流量生成方式、攻击场景、特征分布、标注方式以及采集环境的不同而存在差异[5]、[6]。因此，在一个数据集上训练出的检测器可能不适用于另一个数据集，这对基于NetFlow的IDS在运营基础设施中的应用来说是一个重大挑战。流量级特征有利于实现可扩展的监控，因为它们减少了检查数据包载荷的必要性，但同时也可能包含与训练数据集相关的信息。这样一来，检测器可能会学到特定于数据集的流量特征，而非真正的攻击行为特征。在部署这些系统的过程中，人们发现仅依靠训练数据集的准确率并不足以确保基于NetFlow的IDS能够正常工作。因此，进行考虑迁移效果的评估对于判断基于NetFlow的IDS的真正可靠性至关重要[7]。另一个挑战则是高流量下的资源控制问题。如果在关键信息基础设施中需要处理大量流量，那么对每个进入的流量都使用复杂的深度检测器是不现实的；如果系统要保持有限的延迟时间来处理流量输出，那将耗费大量资源。目前有许多针对高可扩展性的大数据和基于Spark的IDS架构[8]、[9]，也有针对高流量网络、注重低资源消耗的轻量级IDS实现方案[10]、[11]。然而，可扩展的基础设施本身并不能解决推理分配问题：高流量IDS必须决定哪些流量应该由成本较高的第二阶段进行处理，而哪些流量可以被丢弃、延迟、记录或由轻量级的决策层处理。这就促使人们设计出一种注重预算控制的二级IDS架构，该架构结合了考虑部署环境的域偏移处理机制以及有限的第二阶段验证机制。选择性预测和拒绝选项分类有助于实现注重预算控制的IDS，因为传统的拒绝选项分类器在无法确定样本类别时可以选择不进行分类[12]、[13]。这些理念已被应用于深度神经网络中，被称为选择性分类，即分类器只允许输出低于特定风险阈值的预测结果[14]、[15]、[16]。在此背景下，校准也非常重要，因为许多现代分类器过于自信，其预测概率可能与实际观察结果不符[17]、[18]。不过，大多数选择性预测方法并非为那些存在严重跨数据集偏移的高速率NetFlow流量设计。在源数据集上训练出的分类器虽然不能直接作为目标领域的检测器，但其输出仍可为目标领域中可疑流量的选择性排序提供有用信息。本文提出了RiskGate-IDS，这是一种在高流量及跨数据集域偏移情况下、注重预算控制的二级风险过滤框架，用于NetFlow入侵检测。RiskGate-IDS并未将源数据集上训练出的模型视为目标领域的最终分类器，而是使用轻量级的Tiny-Gate来生成流量级风险证据。随后，利用一小部分带标签的目标校准数据集来训练一个了解目标环境特点的RiskGate排名器。在推理过程中，只有少量高风险流量会被提升到第二阶段进行处理或生成警报。这种设计将原本不稳定的迁移分类器转变为经过校准的风险排序机制。本文的目的并非提出另一种独立的最先进IDS分类器，而是解决在域偏移情况下、在高流量关键信息基础设施中使用基于流量的IDS时所面临的部署问题：在有限的检测预算下，哪些流量应该被提升到成本较高的第二阶段验证器那里去处理？在这种环境下，虽然在源数据集上训练出的检测器作为目标领域的最终分类器可能不可靠，但其输出仍可为排序可疑流量提供有用信息。因此，RiskGate-IDS将源数据集上训练出的Tiny-Gate视为轻量级的风险证据生成器，而非目标领域的最终决策者。随后，了解目标环境特点的RiskGate排名器会利用这一小部分带标签的目标数据集对风险证据进行重新校准，再将其用于在预算受限的情况下进行流量排序。因此，关键问题并非判断基于树的模型是否优于所有深度IDS模型，而是探讨在跨数据集偏移以及第二阶段资源受限的情况下，能否将来源领域的弱证据转化为有用的目标领域风险排序结果。后续的第二阶段验证器可以是基于树的检测器、神经网络检测器，或是其他成本更高的检测模型。因此，RiskGate-IDS的贡献在于它提供了经过校准的风险过滤和预算控制机制，用于决定哪些流量应该接受昂贵的后续检测。RiskGate-IDS具有两种评估模式。第一种是仅基于风险的评估模式，它会考虑来自Gate的各种证据，包括攻击概率、逆概率、熵不确定性、边际不确定性、预测置信度以及经过logit转换后的概率值。这种模式较为轻量，适用于迁移后的Gate仍能提供一定价值的不确定性信息的情况。第二种则是基于特征辅助的评估模式，该模式下评估系统会将Gate提供的风险信息与NetFlow本身的特征相结合。这种模式适用于目标领域的数据集更为复杂的情况，比如物联网流量，因为仅依靠概率分数得出的证据往往不够充分。该软件框架还引入了一种自适应的BudgetBank微批次升级机制。对于每个批次，固定的Top-B策略会为每个子批次分配相同的预算比例，而不会考虑该子批次中包含的攻击数量。在安全时期，即使有少量无害的流量，第二阶段也可能浪费一些处理能力；而在危险时期则可能出现处理能力不足的情况。RiskGate中的BudgetBank机制通过一种特殊方式解决了这一问题，它允许将未使用的、低风险的批次中的预算分配给高风险批次。这对于那些攻击可能突然发生而非以稳定速率出现的海量数据流来说非常有用。本文的主要贡献可总结如下：•我们将跨数据集域偏移情况下、注重预算控制的流量升级问题视为高流量关键信息基础设施的部署问题。其目标并非用单一的迁移检测器对所有目标流量进行分类，而是在有限的检测预算下决定哪些流量应该被提升到成本较高的第二阶段验证器那里去处理。•我们提出了RiskGate-IDS，这是一种二级风险过滤框架，它利用在源数据集上训练出的轻量级Tiny-Gate作为风险证据生成器。随后，利用一小部分带标签的目标校准数据集来训练一个了解目标环境特点的RiskGate排名器，这样即便在源数据集上的检测器表现不佳，也可将其输出作为目标领域的升级证据加以利用。•我们设计了两种基于目标环境特点的排序模式。仅基于风险的模式仅使用来自Gate的概率和不确定性证据，而基于特征辅助的模式则将Gate提供的证据与NetFlow的原始特征相结合，以应对更复杂的任务。•我们引入了BudgetBank，这是一种自适应的微批次预算重新分配机制。它不会在每个微批次中都强制执行相同的Top-B配额，而是将未使用的检测能力保留下来，再分配给后续的高风险微批次。•我们通过仅基于警报筛选的方式以及真实的第二阶段验证来对RiskGate-IDS进行测试。在第二阶段模块方面，我们不限定具体使用哪种验证器：被选中的高风险流量可以被传递给不同的下游检测器，而我们所设计的过滤机制则可用于控制工作负荷，从而优化第二阶段推理的运行效率。•我们在多种测试条件下对RiskGate-IDS进行了评估，这些条件包括跨数据集迁移、重复的目标校准种子、微批次重放、Spark本地模式选择阶段基准测试、第二阶段验证，以及ToN-IoT类型的极端环境压力测试。•我们还明确分析了部署过程中的各种限制因素，包括目标标签的可用性、阈值敏感性、更严重的目标领域偏移情况，以及Spark本地模式基准测试结果与实际生产环境中的流式IDS流程之间的差距。为了明确本研究的目标，我们的评估工作是围绕以下研究问题展开的：RQ1：当将基于源数据集训练出的NetFlow IDS部署在具有不同流量和攻击分布的目标领域时，直接的跨数据集迁移会对该系统的性能造成多大的影响？RQ2：能否通过一小部分带标签的目标校准数据集，将在源数据集上训练出的、表现不佳的检测器转化为有用的目标领域风险证据，从而用于预算受限的第二阶段处理？RQ3：在相同的第二阶段预算限制下，经过目标环境特点校准的RiskGate与未经校准的分数基准模型以及经过目标环境特点校准的分类器基准模型相比，性能如何？RQ4：与在相同总检测预算下采用固定每批次Top-B选择方式相比，自适应的微批次预算重新分配机制是否能提高对攻击的检测覆盖率？RQ5：所提出的风险过滤机制是否适用于不同的下游第二阶段验证器，而不只是局限于某一种特定的分类器系列？RQ6：RiskGate-IDS在面对校准设置、阈值选择、时间性目标校准，以及如NF-ToN-IoT-v3这类更严重的目标领域偏移情况时，其稳定性如何？RQ7：从Spark本地模式下的微批次选择阶段基准测试结果中，我们能得出哪些结论，又有哪些无法得出结论？本文的其余结构如下：相关工作部分介绍了基于机器学习的IDS、基于NetFlow的评估方法、高流量IDS、选择性预测、校准技术、表格学习等相关研究，以及基于Spark的入侵检测技术。方法论部分则阐述了我们提出的RiskGate-IDS方法，该方法包括基于目标环境特点的风险排序、BudgetBank自适应微批次升级机制、基于Spark的微批次选择算法，以及真实的第二阶段验证流程。实验设置部分详细描述了所使用的数据集、跨数据集迁移协议、目标校准参数、预算配置、对比用的基准模型、第二阶段检测器的配置、流式检测的评估流程，以及如何在Spark本地模式下进行基准测试。结果与讨论部分则展示了我们的实验结果，并对这些结果进行了分析，这些分析内容包括跨数据集迁移时的性能问题、RiskGate机制的恢复效果、不同基准模型的对比、额外的基准测试和消融实验分析、重复种子下的统计验证、微批次模拟测试、经过Spark优化的基准测试结果、第二阶段的端到端验证、第二阶段预算敏感性分析，以及ToN-IoT类型的极端环境压力测试。最后是结论部分，总结了本文的工作内容，并指出了未来的研究方向。片段摘录入侵检测中的机器学习与深度学习机器学习和深度学习模型被广泛应用于网络入侵检测，因为它们能够从大规模网络数据集中学习网络流量的模式。传统的机器学习模型、集成学习方法以及深度神经网络都被用于基于异常检测和基于滥用检测的入侵检测系统[1]、[2]。此外，深度学习方法还在高维流量数据、变换后的特征以及序列数据的表示学习方面取得了进一步进展。RiskGate-IDS概述RiskGate-IDS是一种在跨数据集域偏移情况下、用于高流量关键信息基础设施中基于NetFlow的入侵检测的二级、注重预算控制的风险分析框架。当需要在目标部署环境中使用在源数据集上训练出的检测器作为分类器时，就会出现这种情况，因为目标环境中的数据类型往往与源数据集不同。在RiskGate-IDS中，源数据集上训练出的检测器并非作为目标领域的最终决策工具，而只是充当轻量级的风险证据生成器。数据集方面我们选择了三个基于NetFlow的入侵检测数据集进行实验，分别是NF-UNSW-NB15-v3、NF-CICIDS2018-v3和NF-ToN-IoT-v3，这三个数据集都采用相同的NetFlow-v3特征表示格式，因此我们可以借此评估在数据类型不同的情况下跨数据集检测的性能。在迁移学习的源数据集方面，我们使用了NF-UNSW-NB15-v3，而目标数据集则分别选用了NF-CICIDS2018-v3和NF-ToN-IoT-v3。NF-CICIDS2018-v3是一个大规模的高流量入侵检测数据集。结果部分根据第一章中定义的研究问题来组织内容。首先，我们会评估在源数据集上训练出的Tiny-Gate分类器是否可以直接应用于目标数据集。其次，我们会研究是否可以通过一小部分带标签的目标校准数据集来恢复目标领域的风险排序功能。第三，我们会将RiskGate-IDS与未经校准的分数基准模型、经过目标环境特点校准的分类器基准模型、各种消融实验版本以及统计验证测试结果进行比较。第四，结论部分本文提出了RiskGate-IDS，这是一种在跨数据集域偏移情况下、用于高流量关键信息基础设施的注重预算控制的二级NetFlow入侵检测框架。该框架解决了面向部署应用的入侵检测中所面临的两个实际问题：其一，是在一个流量场景下训练出的检测器，在被部署到另一个运营环境时未必能保持良好的性能；其二，是对每个流量都进行成本较高的第二阶段检测是不切实际的。代码可用性本文发表后，源代码、实验笔记本、配置文件、数据分割规则、随机种子以及处理后的结果表格都将上传到一个公共仓库中，地址为：https://github.com/htdung004/RiskGate-IDS.git。资金支持作者表示，本研究没有获得任何特定的资金支持。利益冲突声明作者声明自己不存在任何可能影响本文研究成果的已知财务利益关系或个人关系。Ha Thanh Dung