摘要
工业控制网络中的入侵检测系统通常采用随机分层划分方法进行评估，即将每次记录的攻击案例都同时纳入训练集和测试集。虽然这种方法较为便捷，但它衡量的是模型识别已见过模式的能力，而非检测新型攻击的能力。我们在安全水处理（SWaT）数据集的网络流量数据上，延续了之前的一项研究，重新分析了基于监督学习和无监督学习的入侵检测系统，并量化了更严格评估标准带来的影响。我们针对五种模型类型（XGBoost、卷积-MLP混合模型、双向LSTM分类器、无监督LSTM自编码器以及时间卷积网络），在三种评估方案下进行了测试：随机分层法、攻击案例保留法以及一次排除一个攻击法。在30个文件的子样本上采用一次排除一个攻击法测试时，所有监督学习分类器在大多数被保留的攻击案例上的识别效果都不如随机猜测；而无监督LSTM自编码器的平均识别率为0.550，且每个攻击案例的识别率在0.046到0.894之间波动，呈现明显的双峰分布。通过调整符号后的集成方法，可以筛选出那些单个攻击案例的AUROC值出现反转的模型，最终得到的平均识别率为0.844；即便再加入时间卷积网络作为第四种模型，也无法进一步提升识别率，这表明当前需要的是额外的检测机制，而非另一种监督学习分类器。此外，我们还报告了在5%误报率条件下的召回率、配对Wilcoxon显著性检验结果以及自助法置信区间。我们公开了整个预处理、评估和集成流程，并认为在SWaT数据集的网络流量入侵检测系统评估中，攻击案例保留法和一次排除一个攻击法应成为标准评估方案。
