《Information》:Random Forest-Based Network Intrusion Detection with Feature Selection and Class Balancing on UNSW-NB15 Traffic
编辑推荐:
机器学习入侵检测面临着攻击流量与正常流量相似以及类别不平衡的挑战。本研究评估了在 UNSW-NB15 数据集上使用随机森林 (RF) 进行五项二元攻击与正常流量分类任务的检测效果:拒绝服务、漏洞利用、后门、分析 以及侦察。分类属性采用标签编码,特征选择采用互信
机器学习入侵检测面临着攻击流量与正常流量相似以及类别不平衡的挑战。本研究评估了在 UNSW-NB15 数据集上使用随机森林 (RF) 进行五项二元攻击与正常流量分类任务的检测效果:拒绝服务、漏洞利用、后门、分析 以及侦察。分类属性采用标签编码,特征选择采用互信息方法,超参数通过随机搜索进行优化,决策阈值在验证数据上进行调优,并在训练数据中应用合成少数类过采样技术 (SMOTE) 将少数类样本固定目标增至 56,000 个。由于共享的标签编码表示方式无法进行独立于模型的比较,支持向量机 (SVM) 和 K近邻 (KNN) 的结果仅具描述性。在不使用 SMOTE 的情况下,随机森林在 DoS、Exploit、Backdoor、Analysis 和 Reconnaissance 任务中取得的 F1 分数 (F1-score,精确率与召回率的调和平均数) 分别为 0.9468、0.9504、0.9839、0.9317 和 0.9720。应用固定 SMOTE 的流程分别取得了 0.9539、0.9516、0.9668、0.8370 和 0.9651 的分数。因此,SMOTE 提升了 DoS 的检测效果,略微提升了 Exploit 的效果,但降低了 Backdoor、Analysis 和 Reconnaissance 的性能。混淆矩阵显示,DoS 的假阳性和假阴性均有所减少,而 Analysis 的召回率虽有提升,但产生了更多的假阳性。上述结果比较的是分别优化的完整流程,并未单独隔离出 SMOTE 的效果。这些结果描述了过滤后的目标攻击与正常流量流的特征,而非操作层面的混合攻击流量。在此实验方案下,在所评估的固定 SMOTE 实验配置中,性能和精确率-召回率权衡表现出攻击依赖性,表明应对每种攻击类别单独评估过采样效果。
网络安全系统必须在日益大规模、嘈杂、异构且不平衡的网络流量中检测攻击。由于传统的基于特征的系统在应对新型、自适应或混淆攻击时效果不佳,基于异常的入侵检测 (IDS) 成为重要的研究方向。机器学习因能从标记流量中学习统计规律并分类未见网络流而受到广泛研究。从信息系统角度来看,入侵检测是一个高维决策支持问题,需要在不确定性和类别不平衡下将异构网络流记录转化为可靠的安全相关信息。不同攻击表现出不同的统计特征,例如拒绝服务 与异常流量强度相关,漏洞利用 针对协议或应用程序漏洞,后门 流量罕见但对安全至关重要,侦察 流量类似于合法探测,而分析 攻击结合了扫描和恶意内容传递。UNSW-NB15 数据集因包含现代正常和恶意流量,常被用作网络异常检测的基准。然而,现有研究多报告聚合的二分类或多分类性能,对过采样如何影响单个攻击类别提供的见解有限。此外,类别不平衡是入侵检测中的持续问题,但简单地应用过采样可能会引入假阳性。因此,研究人员开展了这项研究,以隔离五种攻击类型并单独评估 SMOTE 对每个检测器的影响,填补了现有研究的空白。该论文发表在《Information》期刊上。
研究人员开展研究所使用的主要关键技术方法如下。样本队列来源于 UNSW-NB15 数据集的官方训练集(用于拟合与超参数搜索)和测试集(划分为验证子集与保留评估子集)。预处理包括保留正常与选定攻击流量的二元过滤、分类属性标签编码及仅在训练集应用合成少数类过采样技术 (SMOTE)。特征选择采用基于互信息的 SelectKBest 方法优化子集大小。以随机森林 (RF) 为主分类器,支持向量机 (SVM) 和 K近邻 (KNN) 为基线。通过随机搜索 优化超参数,并在验证集调优决策阈值以最大化 F
1 分数 (F
1-score,精确率与召回率的调和平均数)。SMOTE 将少数类样本固定扩充至 56,000 个。
不使用 SMOTE 的随机森林分类器性能
通过对超参数进行优化,研究发现所有五个非 SMOTE 模型均选择了 min_samples_leaf = 3 和 max_features = None。尽管后门 攻击的原始训练样本最少,但其非 SMOTE 流程取得了 0.9839 的最高 F
1 分数,这表明少数类频率低并不妨碍其与正常流量的强分离。分析 攻击取得了最低的 F
1 分数,其召回率 低于精确率,表明模型在预测分析攻击时较为保守,遗漏了较多实际阳性案例。
使用 SMOTE 的随机森林分类器性能
应用 SMOTE 后,模型的首选配置发生改变。五个基于 SMOTE 的流程中有四个选择了更小的最小叶子大小。对于后门、分析和侦察,SMOTE 并未提高最终的 F
1 分数。固定 SMOTE 流程在拒绝服务 和漏洞利用 上获得了更高或略高的分数,而在后门、分析和侦察上分数较低。
使用与不使用 SMOTE 的性能比较
结果表明,固定 SMOTE 流程在拒绝服务和漏洞利用上获得了更高的 F
1 分数,而原始数据流程在后门、分析和侦察上得分更高。由于后门原始少数样本最少却在未过采样时表现最佳,少数类大小本身无法预测哪种流程能取得更高的 F
1 分数。
不使用和使用 SMOTE 的攻击检测混淆矩阵
对于拒绝服务,SMOTE 流程同时减少了假阴性和假阳性。对于漏洞利用,SMOTE 减少了假阳性但增加了假阴性,反映了精确率-召回率的权衡。对于后门,非 SMOTE 流程产生了更有利的混淆矩阵,假阳性和假阴性更少。对于分析,SMOTE 增加了召回率,但假阳性大幅增加,导致 F
1 分数下降。对于侦察,SMOTE 流程的精确率和召回率均下降,非 SMOTE 流程表现更好。
共享标签编码表示下的 SVM 和 KNN 描述性结果
由于共享的标签编码表示对名义变量引入了人工数值关系,这更适合基于树的模型。因此 SVM 和 KNN 的结果仅具描述性,随机森林在此表示下取得了更高的 F
1 分数。
与选定 UNSW-NB15 研究的情境比较
研究人员将结果置于其他 UNSW-NB15 研究的上下文中。由于各研究在预处理、数据划分和任务制定上存在差异,所报告的数值仅作为描述性参考点,而非受控比较。内部受控比较仍是研究结论的主要依据。
在讨论部分,研究人员指出随机森林流程在五项任务中取得了高 F
1 分数,但少数类频率本身不足以作为过采样的理由。必须根据每种攻击类型单独评估不平衡处理,使用 F
1 分数和精确率-召回率权衡而非仅看准确率。基于二元按攻击建模提供了分析分解,但并非完整的入侵检测系统架构。结果特定于 UNSW-NB15 基准及其攻击过滤评估设置。在研究结论部分,研究人员总结道:本研究提供了对在原始 UNSW-NB15 数据上训练的完整随机森林流程与具有固定 56,000 少数类样本 SMOTE 目标的流程的攻击特定、混淆矩阵层面的比较。在所评估的设置下,基于 SMOTE 的拒绝服务 流程获得了更高的 F
1 分数,并减少了假阳性和假阴性;漏洞利用 的差异微小;后门、分析和侦察在不使用 SMOTE 时得分更高。分析 结果特别具有参考价值,因为基于 SMOTE 的配置增加了召回率,但产生了更多的假阳性。后门尽管原始攻击样本最少,却取得了最强的非 SMOTE F
1 分数。研究结果支持四项实用建议:应对每个攻击检测器单独验证过采样;更改平衡策略应触发特征选择、超参数和决策阈值的联合重验证;结合多个二元检测器的系统应定义明确的聚合或多标签策略;在攻击过滤流上测得的性能不应被视为混合操作流量的预期性能。