基于MITRE ATT&CK标注数据的随机森林神经网络(RandomForestNN)分类对抗性人工智能(AI)黑盒(Black-Box)技术的研究

《Electronics》：RandomForestNN Classification for Adversarial AI Black-Box Techniques on MITRE ATT&CK Labeled Data

　　

摘要：研究网络入侵检测系统(Network Intrusion Detection System, NIDS)的安全性对于保护现代数字基础设施免受日益复杂的威胁至关重要。本研究探讨了使用MITRE ATT&CK等战术框架训练的机器学习(ML)网络安全模型，对通过黑盒(Black-Box)优化技术构造的对抗样本(Adversarial Examples)的响应。研究人员使用三种攻击算法——HopSkipJump、同时扰动随机逼近攻击(Simultaneous Perturbation Stochastic Approximation Attack, SPSA)和Square Attack算法，证明即便集成了战术框架，随机森林(Random Forest, RF)模型仍存在脆弱性。例如，HopSkipJump攻击使恶意流量被判定为良性流量的成功率高达92%。分析揭示了最易受操纵的网络流量特征，且模型性能指标在对抗条件下显著下降。研究结果凸显了理论安全框架与实际部署间的重要缺口，需加以解决以开发更健壮的防御系统。通过识别特定漏洞，本研究为提升运行环境中ML基网络安全系统的对抗鲁棒性(Adversarial Robustness)提供了有价值的见解。

论文解读：基于MITRE ATT&CK标注数据的随机森林神经网络(RandomForestNN)分类对抗性人工智能(AI)黑盒(Black-Box)技术的研究

一、研究背景与概述

随着机器学习(ML)和人工智能(AI)在网络入侵检测系统(NIDS)中的广泛应用，对抗性机器学习(Adversarial Machine Learning, AML)带来的安全威胁日益严峻。现有研究多关注ML提升IDS检测准确率（如结合MITRE ATT&CK框架进行自动化分类），但较少探讨此类模型在遭受黑盒优化对抗攻击时的鲁棒性。目前存在理论安全框架（如MITRE ATT&CK标注训练）能否实际增强模型抗对抗样本 evasion能力未经验证的关键问题。研究人员以使用MITRE ATT&CK战术标注的UWF-ZeekData22和UWF-ZeekData24数据集训练的随机森林(RF)分类器为基础，将其输出接入多层感知机(Multilayer Perceptron, MLP)构成RandomForestNN分类架构，利用Adversarial Robustness Toolbox(ART)、CleverHans及Foolbox对模型实施HopSkipJump、SPSA和Square Attack三种黑盒对抗攻击，评估模型性能退化情况及最易被篡改的网络流特征。研究发现即使引入MITRE ATT&CK标注训练，RF模型仍极度脆弱，HopSkipJump攻击成功规避检测率达92%，精度(Precision)从98.7%跌至13.9%，F1分数从98.7%降至14.9%。该成果揭示战术框架整合不自动赋予对抗鲁棒性，为NIDS的对抗防御设计提供实证依据。本文发表于《Electronics》。

二、主要关键技术方法

研究人员选用UWF-ZeekData22（众包红蓝对抗产生，含噪声）与UWF-ZeekData24（受控脚本自动化攻击生成，时间标记精确、低噪）作为样本队列，以后者作训练与测试集。原PySpark实现RF（numTrees=20, maxDepth=5, gini impurity）经分析后迁移至PyTorch(v2.12.0)构建RandomForestNN（RF输出作为NN输入），采用Adam优化器、Dropout防过拟合，计算Accuracy、Precision、Recall、F1及AUC指标比对。对抗测试调用ART中HopSkipJump（决策边界仅依赖类别标签）、CleverHans中SPSA（无梯度有限差分估计梯度）及Foolbox中Square Attack（基于得分的方块随机搜索），在Linux Ubuntu 22.04虚拟机Jupyter环境执行，另设去除源/目的IP特征对照实验验证特征脆弱性。

三、研究结果

6.1. Classification Performance Metrics（分类性能指标）

研究人员定义二分类（恶意为正类）准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F1分数及宏平均(Macro-averaged)指标与ROC曲线下面积(AUC)，作为基线及对抗后评测标准。

6.2. Baseline Analysis（基线分析）

在正常条件下，RF模型对Reconnaissance达99.8%准确率，Exfiltration最低为87.0%，总体基线Precision与F1均为98.7%。

6.3. Attack Perturbation Analysis（攻击扰动分析）

计算各特征在原始与对抗样本间被修改的比例（扰动频率 Perturbation Frequency），高频特征即最易被利用以逃过检测的弱点。

6.4. HopSkipJump Attack Performance by MITRE ATT&CK Tactic（HopSkipJump攻击在各MITRE ATT&CK战术下的表现）

HopSkipJump造成灾难性失效：Credential Access、Defense Evasion、Exfiltration、Initial Access、Persistence及Privilege Escalation六类战术准确率降为0%，Reconnaissance仅余9%。混淆矩阵显示真阳性(TP)为0（除Reconnaissance有少量FP）。Exfiltration特征（orig_bytes等）扰动频率达0.863，多数战术超0.5。

6.5. SPSA Attack Performance by MITRE ATT&CK Tactic（SPSA攻击在各MITRE ATT&CK战术下的表现）

SPSA对各战术造成不均等退化，Credential Access从100%掉至4%（降幅96%），Exfiltration保持65.8%（仅降24.4%）。dest_ip_zeek、src_ip_zeek、orig_ip_bytes、src_port_zeek在所有战术中被100%扰动。

6.6. Square Attack Performance by MITRE ATT&CK Tactic（Square Attack在各MITRE ATT&CK战术下的表现）

Square Attack呈差异化脆弱性：Credential Access抵抗最强（准确率61.0%，TP=50），Initial Access最弱（36.0%），其余多数低于50%且TP=0。Credential Access所有特征未被扰动，表明其决策边界对微小改动较钝感。

6.7. Feature Vulnerability Analysis（特征脆弱性分析）

跨三种攻击汇总，网络标识符——目的IP(dest_ip_zeek)、源IP(src_ip_zeek)、端口(src_port_zeek、dest_port_zeek)平均扰动频率最高(0.551)。HopSkipJump均匀扰动多特征(~0.580)；SPSA激进锁定网络地址与端点(频率1.000)；Square Attack以极低频(~0.074)即能奏效。

6.8. Attack Type Specific Feature Vulnerabilities（特定攻击类型的特征脆弱性）

Credential Access对SPSA极脆弱(orig_bytes扰动1.000)但对Square Attack免疫(0.000)；Exfiltration在HopSkipJump(0.863)与SPSA(1.000)下均高敏；Defense Evasion中history特征HopSkipJump扰动0.640；Reconnaissance对Square Attack免疫但对SPSA敏感(平均0.749)。

6.9. Comparative Attack Performance and Vulnerability Analysis（比较攻击表现与脆弱性分析）

HopSkipJump几近全毁(0%准确率六类)；SPSA效果与基线强度负相关（高基线反更脆）；Square Attack显露Credential Access相对鲁棒。印证仅靠MITRE ATT&CK标注训练不能抵御黑盒优化攻击。

6.10. Feature Removal Experiment（特征剔除实验）

移除src_ip_zeek与dest_ip_zeek后，HopSkipJump总扰动强度降29.9%、SPSA降32.6%、Square降30.2%，对抗成功率明显下降，证实IP类特征是核心可剥削向量且具不成比例的放大效应。

6.11. Targeting Redistribution（目标重分配）

去IP后HopSkipJump转向流量字节数(orig_bytes、resp_bytes)与包计数；SPSA聚焦orig_pkts与service；Square Attack分散至resp_ip_bytes与history，强度仍低。

四、讨论与结论翻译（Conclusions）

研究人员对基于PyTorch的随机森林模型对抗攻击评估表明，即便在训练过程中整合MITRE ATT&CK框架，模型仍显著易受黑盒优化技术导致的误分类影响。HopSkipJump攻击使模型性能指标全面衰退，精确率由0.987降至0.139，F1分数由0.987降至0.149，并能成功诱导84.0%的攻击样本被误判为良性流量。与预期相反，利用MITRE ATT&CK框架虽可为模型训练提供结构化标注，但并未使模型显著免疫于复杂黑盒攻击。特征扰动分析揭示特定属性更易被操纵，其中源IP地址(src_ip)仅需极少修改即可助成逃避，而服务相关特征(Service)抗性较强。攻击者可通过针对低扰动需求特征并结合稳健特征适量变动实现高规避成功率，不同ATT&CK战术需不同逃逸策略。Exfiltration攻击尽管需大幅扰动特定特征仍获最高规避成功率(98%)。这些结果强调即便采用成熟战术框架，理论鲁棒性与实际安全部署间仍存在关键缺口。未来工作应侧重对低扰动需求特征增强模型韧性（如针对性对抗训练），缩小学术研究与实际工业应用间的差距，以构建真正鲁棒的网络入侵检测系统。