《Array》:Zero Trust Architecture Dataset (ZTAD): Advancing AI-Driven Cybersecurity Through Multi-Source Behavioral Analysis and Feature Optimization
编辑推荐:
网络攻击持续演进且日趋复杂,特别是借助系统自带合法工具实施恶意行为的"寄居二进制文件(Living off the Land Binaries, LoLBins)"可绕过传统基于签名(signature-based)的防御机制。为应对此挑战,研究人员改进了符合
网络攻击持续演进且日趋复杂,特别是借助系统自带合法工具实施恶意行为的"寄居二进制文件(Living off the Land Binaries, LoLBins)"可绕过传统基于签名(signature-based)的防御机制。为应对此挑战,研究人员改进了符合美国国家标准与技术研究院(NIST)零信任架构(Zero Trust Architecture, ZTA)参考标准、并使用MITRE ATT&CK框架标注的综合网络安全数据集构建方法。所提出的零信任架构数据集(Zero Trust Architecture Dataset, ZTAD)捕获多样化攻击向量与行为特征,以支持健壮的AI驱动威胁检测与预测。本研究旨在构建反映真实环境特点的多源、多资产数据集,并利用开源工具实现ZTA测试床的概念验证(Proof of Concept, PoC)。为提升初始准确率达99.6%的人工神经网络(Artificial Neural Network, ANN)检测能力,研究人员采用进化算法(Evolutionary Algorithm, EA)进行特征选择优化。实验结果表明ZTAD及相关的EA-ANN混合模型具有较高效率,分类准确率达99.9%。本研究弥补了现有网络安全数据集与方法学的重大不足,可支撑高级行为分析与主动安全防护。
论文解读:《Zero Trust Architecture Dataset (ZTAD): Advancing AI-Driven Cybersecurity Through Multi-Source Behavioral Analysis and Feature Optimization》
该论文发表于《Array》。随着网络攻击日益复杂,特别是LoLBins(Living off the Land Binaries,利用系统原生合法工具执行恶意行为)可绕过传统基于入侵指标(IOC)和签名检测的防御,而超过85%已发表的网络安全研究依赖过时数据集,限制了机器学习模型在真实场景中的泛化能力。此外,现有数据集大多未依据MITRE ATT&CK框架的战术(Tactics)、技术(Techniques)和程序(TTPs)进行标注,难以支撑基于行为的行为分析。为此,Guemmah T、Chekira C和EL Fadili H开展研究,提出符合NIST SP 1800-35零信任架构(ZTA)参考、按MITRE ATT&CK标注的新型半合成多源数据集ZTAD(Zero Trust Architecture Dataset),并设计进化算法(EA)优化的人工神经网络(EA-ANN)进行特征选择与入侵检测验证。实验证明ZTAD可有效支撑行为检测研究,EA特征选择将ANN准确率从99.6%提升至99.9%。该数据集与方法的公开发布填补了现有人工智能驱动网络安全研究在标注行为与多源取证数据方面的空白。
研究人员采用的主要关键技术方法为:在参照NIST ZTA架构搭建的开源虚拟化测试床(含Windows Server 2019、Ubuntu 22.04及GitLab Web应用)中,利用MITRE CALDERA执行带LoLBins场景的ATT&CK TTPs(重点模拟Execution与Exfiltration战术);通过Plaso(log2timeline)采集多源主机取证日志生成超级时间线(super timeline),经Psort后处理并按MITRE ATT&CK战术标注为CSV格式;以二进制编码染色体表示特征子集,用随机通用采样选择、均匀交叉、翻转变异(概率0.1)的进化算法(EA)优化多层感知机(MLP, 两个各100神经元隐藏层)的特征输入,以测试集准确率为适应度函数,种群规模20、迭代50代,最终评估EA-ANN混合模型性能并与随机森林(Random Forest)、XGBoost及RFE特征选择MLP对比。
I. Introduction(引言)
研究人员指出传统基于签名和IOC的检测对LoLBins无效,需转向行为分析并结合MITRE ATT&CK框架与NIST零信任架构(ZTA);现有数据集过时、无TTP标注、缺乏多源行为数据,是AI网络安全研究的瓶颈,由此引出构建ZTAD的必要性。
II. State of the art(相关工作)
通过对2018—2025年IEEE Xplore、ScienceDirect等数据库文献综述,研究人员归纳现有数据集分真实(Realistic)、合成(Synthetic)与半合成(Semi-synthetic)三类及其利弊,指出现存常用数据集(KDD99、NSL-KDD、UNSW-NB15等)均无MITRE ATT&CK TTP标注或仅极少量标注(如UWF-ZeekData22仅侧重侦察),论证ZTAD的创新定位。
III. Proposed dataset generation methodology(提出的数据集生成方法学——ZTA-SDGen)
研究人员改进Security Dataset Generator(SDGen)为ZTA-SDGen,分四步:①参照NIST SP 1800-35搭建含多云/本地模拟的ZTA测试床;②用MITRE CALDERA执行ATT&CK TTPs,特别加入findstr.exe、forfiles.exe、makecab.exe、nslookup.exe、certutil.exe、bitsadmin.exe、curl.exe等LoLBins模拟数据发现与渗出(Exfiltration);③用Plaso引擎提取注册表、Prefetch、浏览器历史等Windows/Linux取证构件形成超级时间线;④用Psort过滤排序并以MITRE ATT&CK战术(本研究聚焦Execution和Exfiltration)标注输出CSV。由此生成ZTAD数据集,含7,068,103条记录、18个字段(含Date、Time、MACB、Source、Sourcetype、User、Host、Short、Desc、Filename、Inode、Label等),大小约3.84 GB。
IV. The proposed Evolutionary Artificial Neural Network (EANN)(提出的进化人工神经网络)
ANN采用sklearn中MLP(双隐层各100神经元),80%训练/20%测试划分。EA以与特征数等长的二进制染色体编码特征选中状态(1)或未选中(0),适应度函数为选中特征子集训练的MLP在测试集上的准确率,选用随机通用采样(SUS)选择、均匀交叉、位翻转突变(Pmutation=0.1),精英保留策略防退化,运行50代得最优特征子集(最终选出Date、Timezone、MACB、Sourcetype、User、Short、Inode、Format)。
V. Results and discussions(结果与讨论)
- •
A. DATASET OVERVIEW / B. DATA STRUCTURE:如上所述ZTAD来源于虚拟ZTA环境,CSV格式3.84 GB,字段说明同前文。
- •
C. VALIDATION OF THE DATASET USING EANN:基线ANN在ZTAD上达Accuracy=99.618%,Precision=99.611%,Recall=99.618%,F1=99.612%;对比KDD99与UNSW-NB15显示ZTAD具更丰富真实流量动态。
- •
D. FEATURES OPTIMIZATION USING EA:EA进化特征选择后EA-ANN在ZTAD上Accuracy提升至99.9%(原文表述99,9%),表明所选特征组合(含Sourcetype与Short等易混淆LoLBins行为字段)能捕捉 benign 与 malicious 的非线性相关,证实EA优于传统RFE。
- •
E. COMPARATIVE ANALYSIS WITH SELECTED CLASSIFIERS:对比实验显示Random Forest(RFE)=99.95%、XGBoost(RFE)=99.95%、ANN(RFE)=98.80%、EA-ANN(EA)=99.90%,EA显著提升ANN性能并接近集成学习器水平。
VI. Conclusion(结论——翻译如下)
本文提出了符合MITRE ATT&CK框架标注、与NIST零信任架构(ZTA)相一致的零信任架构数据集(ZTAD),以克服先前网络安全数据集的关键局限。通过运用NIST ZTA原则,该方法确保数据集呈现跨多数据源、体现现代网络安全挑战的多样复杂攻击行为。研究进一步证明了将进化算法(EA)与人工神经网络(ANN)相结合进行特征优化的有效性——该混合模型显著提高了检测的准确率(Accuracy)、精确率(Precision)与召回率(Recall),再次强调了精心设计的数据集与特征选择技术对增强AI驱动安全机制的重要性。上述发现凸显了多源数据集与先进威胁检测策略在对抗利用LoLBins等 sophisticate 技术的 adversary 方面之价值,ZTAD数据集可作为后续研究训练与测试先进网络安全工具的重要基石。