HEDM-KD：一种用于类别不平衡入侵检测的并行异构知识蒸馏框架

《IEEE Access》：HEDM-KD: A Parallel Heterogeneous Knowledge Distillation Framework for Class-Imbalanced Intrusion Detection

　　

摘要：

网络入侵检测对于系统安全至关重要，特别是准确识别罕见和不规则的入侵样本。类别不平衡仍然是一个主要挑战，因为正常流量的主导地位会使决策边界偏向多数类别，从而降低对少数入侵的检测能力。传统的知识蒸馏方法依赖于大型的预训练教师模型，这不仅计算成本高，而且在类别不平衡条件下，对教师模型和学生模型之间动态不确定性差异的适应性有限。为了解决这些问题，我们提出了HEDM-KD，一个基于卷积神经网络（CNN）的并行异构集成知识蒸馏框架。该框架首先通过自助采样构建多个异构子集，并应用多样化的不平衡处理策略来增强数据多样性。动态互学机制随后实现了跨分支的同步训练：在每一轮训练中，选择验证F1分数最高的分支作为教师，并将其卷积权重转移到其余学生分支。一个基于熵的动态加权策略进一步根据模型输出不确定性自适应地平衡硬标签损失和蒸馏损失，提高了在类别不平衡分布下的鲁棒性。最后，多分支硬投票增强了分类稳定性。在CarHacking、CIC-IoV2024、UNSW-NB15和CICIDS2017数据集上的大量实验表明，HEDM-KD在准确率、精确率、召回率和F1分数方面，与单一重采样方法、传统知识蒸馏变体以及包括AdaBoost、ResNet18、TFTKD和DFF-DA在内的模型相比，具有竞争力。值得注意的是，它在高度不平衡的UNSW-NB15数据集上保持了强大的检测能力，同时在CarHacking、CIC-IoV2024和CICIDS2017上达到了近乎完美的指标。凭借其轻量化设计，HEDM-KD有效地缓解了类别不平衡的影响并展示了...

显示更多