《International Journal of Information Security》：Revisiting adversarial robustness in NIDS: a multi-dataset evaluation of test-time evasion attacks
编辑推荐：
基于机器学习的网络入侵检测系统（NIDS）仍高度易受测试时规避（TTE）攻击，然而现有研究严重依赖遗留数据集并忽视评估规模的影响。本研究利用对抗鲁棒性工具箱（ART）在三个现代且领域多样的数据集上开展TTE攻击的系统评估：UNR-IDD、CICIOMT-202
基于机器学习的网络入侵检测系统（NIDS）仍高度易受测试时规避（TTE）攻击，然而现有研究严重依赖遗留数据集并忽视评估规模的影响。本研究利用对抗鲁棒性工具箱（ART）在三个现代且领域多样的数据集上开展TTE攻击的系统评估：UNR-IDD、CICIOMT-2024与UAV-IDS-2025。研究人员评估了基于PyTorch的全连接神经网络分类器与基于一维卷积神经网络（1D CNN）的分类器，对抗白盒（AutoAttack、Auto-PGD、Carlini & Wagner）与黑盒（HopSkipJump）威胁模型。此外，研究人员通过评估从10%至100%递增测试集比例下的性能，开展了可扩展性分析。结果表明模型普遍存在严重脆弱性：尽管干净基线准确率最高可达100%，Carlini & Wagner与HopSkipJump攻击使分类准确率下降近80%。虽然1D CNN表现出比PyTorch分类器更强的结构韧性，但其对抗鲁棒性随测试集规模增大而持续恶化。这些发现证实评估规模与特征结构强烈影响对抗性能，凸显了现代NIDS中可扩展评估标准与自适应防御的迫切需求。
研究背景方面，测试时规避（TTE）攻击在推理阶段对输入样本施加精心构造的扰动以诱导误分类，同时保持底层恶意功能不变，可分为白盒（完全掌握模型架构与参数）与黑盒/灰盒（内部信息部分或完全受限）场景。机器学习与深度学习技术显著提升了NIDS处理大规模流量与检测细微恶意模式的能力，但Biggio等人首次证明基于梯度的优化可在测试时有效构造对抗样本，Liang等人对谷歌钓鱼页面过滤器实施分类器破解攻击实现100%规避率，凸显了部署模型面临的现实威胁。尽管FGSM、C&W、AutoAttack、PGD、HSJ等算法相继提出，Nicolae等人推出的对抗鲁棒性工具箱（ART）提供了标准化实现，但现有研究存在若干空白：第一，大量研究依赖NSL-KDD、CIC-IDS、UNSW-NB15等传统基准数据集，其攻击类别有限，难以代表现代演进的攻击态势；第二，许多工作以攻击成功率（ASR）为主要指标，无法全面比较干净与对抗性能；第三，对特征分布、相关结构与类别复杂度等数据集特性关注不足；第四，对抗评估的可扩展性，即测试集规模变化如何影响对抗性能，尚未充分探索。为此，研究人员利用ART在UNR-IDD、CICIOMT-2024与UAV-IDS-2025三个当代数据集上开展TTE攻击综合评估，涵盖白盒Auto-PGD、AutoAttack、C&W与黑盒HSJ攻击，应用于PyTorch全连接分类器与1D CNN，主要贡献包括：将TTE评估扩展至较新复杂数据集；对干净与对抗条件下模型行为进行详细比较分析；通过混淆矩阵与性能指标透明呈现基线对抗场景对比；将原为图像领域开发的TTE系统评估扩展至含现代攻击类别的表格网络入侵数据；通过以10%增量将测试集规模从10%增至100%研究评估规模对鲁棒性与稳定性的影响。
关键技术方法方面，研究人员采用最小最大缩放器（MinMaxScaler）归一化特征并用标签编码器（LabelEncoder）转换类别标签，未施加类别平衡以反映真实部署中的自然分布；保留各数据集原始训练测试划分（UNR-IDD约82:18、UAV-IDS约70:30、CICIoMT-2024为每类固定规模测试集），以准确率（Accuracy）为主要评估指标；选用基于PyTorch的全连接前馈神经网络（单隐藏层ReLU激活，Adam优化器、交叉熵损失、1200轮、批大小64）与一维卷积神经网络（两个卷积块加ReLU与最大池化、两层全连接，Adam优化器、学习率0.001、50轮、批大小64）；利用ART实施白盒AutoAttack、Auto-PGD、C&W与黑盒HSJ攻击，攻击超参数在各数据集间保持固定以确保公平比较；在可扩展性实验中，PyTorch分类器与1D CNN在所有数据集上以10%至100%递增测试子集进行评估。样本队列来源为UNR-IDD（Das等人，基于软件定义网络模拟环境的端口统计，含Blackhole、Diversion、Normal、Overflow、Port Scan、TCP-SYN六类标签与34个特征）、CICIoMT-2024（Dadkhah等人，含40个IoMT设备的刺激与真实数据，涵盖DDoS、DoS、Recon、Spoofing与MQTT攻击）、UAV-IDS-2025（Zeng等人，基于NS-3.24模拟器与扩展BOID算法生成，含122,171条流记录、五类流量与22个特征）。
研究结果方面，攻击性能部分：所有数据集上分类器干净基线准确率为70%至100%，但对抗条件下差异显著。UNR-IDD数据集上CNN与PyTorch分类器基线准确率分别约73.26%与81%，PyTorch模型在C&W与HSJ攻击下分别降至13.73%与13.19%，而CNN在AutoAttack下保持40.29%，表明该数据集存在极端类别不平衡导致训练不足，PyTorch模型因过拟合与梯度敏感性在对抗压力下崩溃，CNN因卷积特征对扰动更具韧性而部分稳健。CICIoMT-2024的Benign-ARP子集上PyTorch与CNN干净准确率分别为82.68%与76.53%，Auto-PGD与C&W使PyTorch降至17%与19.12%，HSJ达49.97%，CNN在27.85%至49.71%间波动；Benign-DOS子集两模型干净准确率近100%（PyTorch 99.93%、CNN 100%），PyTorch在Auto-PGD与AutoAttack下保持94%以上，但C&W与HSJ分别降至21.07%与0.13%，CNN在C&W与HSJ下分别降至14.53%与34.79%；Benign-DDoS子集两模型干净准确率均100%，PyTorch在Auto-PGD与AutoAttack下保持67%以上，但HSJ与C&W分别降至4.29%与22.51%，CNN在HSJ下保持84.91%但C&W降至26.63%，表明重复特征结构与低特征多样性使模型易受精确扰动。UAV-IDS-2025数据集上PyTorch干净准确率94%至96.05%、CNN达99.08%，但Auto-PGD、AutoAttack、C&W、HSJ使PyTorch分别降至6.40%、16.23%、5.31%、10%，CNN分别为14.37%、55%、0.99%、19.96%，C&W的优化特性破坏性尤强。可扩展性分析部分：UNR-IDD上干净准确率稳定高于78%，Auto-PGD从10%时的74.15%降至100%时的37.97%，AutoAttack从73.44%降至28.52%，C&W从72.55%降至17.83%，HSJ从73.98%收敛至22.99%；CICIoMT-2024 Benign-ARP基线约79%至80%，Auto-PGD从75.53%降至48.24%，AutoAttack从75.91%降至35.59%，C&W从74.76%降至26.88%，HSJ在全规模下维持49.88%；DoS子集干净准确率全规模100%，AutoAttack保持98%以上，C&W从92.23%降至21.43%，HSJ从91.77%降至19.67%；DDoS子集AutoAttack从98.86%降至89.03%，C&W从92.09%降至19.71%，HSJ从92.03%降至20.20%；MQTT Recon子集干净准确率70%，Auto-PGD从66.14%降至35.00%，AutoAttack从73.44%降至28.52%，C&W从67.19%降至34.48%，HSJ从64.24%降至8.82%；UAV-IDS-2025干净准确率96.05%，Auto-PGD从86.15%降至6.51%，AutoAttack从87.83%降至16.27%，C&W从86.27%降至5.31%，HSJ从86.60%降至1.91%。总体趋势显示Auto-PGD与AutoAttack斜率较缓，而C&W与HSJ在大规模下斜率更陡、破坏性更强，凸显可扩展防御策略的迫切需求。
讨论部分指出，在较大数据集上实施C&W与HSJ面临显著计算挑战，执行时间长且在大测试量下模型可能不稳定或无法收敛，研究人员将测试数据划分为较小子集迭代实验以缓解模型崩溃但时间复杂度仍高，这归因于攻击基于迭代优化的本质；UAV-IDS-2025使用CNN时需将输入数据类型从float64转换为float32以确保框架兼容，虽降低数值精度并引入轻微舍入效应，可能影响优化密集型攻击尤其是C&W。未来工作将聚焦降低优化攻击的计算开销并研究缓解数值精度转换对对抗鲁棒性评估影响的策略。研究结论翻译如下：本研究将当代TTE评估方法扩展至UNR-IDD、CICIOMT-2024与UAV-IDS三个现代入侵检测数据集，以评估ART在NIDS中的实际适用性。研究人员在包括白盒场景下AutoAttack、Auto-PGD与C&W以及黑盒场景下HSJ的多样对抗威胁模型下评估了CNN分类器与PyTorch分类器。实证结果揭示了对抗操纵的显著脆弱性，C&W与HSJ攻击使分类准确率下降高达80%，即使对基线性能强劲的模型亦然。可扩展性分析进一步表明，在对抗条件下模型准确率随测试集规模增大而持续下降，这与较大数据集主要有益于模型泛化的传统预期形成对比。这些观察凸显两个核心洞见：第一，入侵检测中的对抗鲁棒性本质上是情境依赖的，不仅由模型架构塑造，还受数据集结构、特征分布与底层任务特性影响；第二，仅靠数据集规模不足以确保鲁棒性，韧性源于数据集设计、模型属性与特定对抗威胁模型的综合影响。总体而言，研究结果凸显了自适应、情境感知学习与防御机制的必要性，以在复杂测试时对抗条件下维持可靠性能。未来工作应研究综合考虑数据属性、模型架构与动态对抗行为的集成鲁棒性框架，以增强下一代NIDS的可靠性与安全性。
