校准感知决策融合驱动的监督—无监督混合入侵检测集成框架

《Computer Networks》:Building a supervised–unsupervised ensemble for intrusion detection systems using model calibration and decision fusion

【字体: 大 中 小 】 时间:2026年11月04日 来源:Computer Networks 4.7

编辑推荐:

  机器学习尤其是深度学习已成为网络入侵检测中的重要路径,因其可从网络流量中学习模式并适应演化威胁。然而现有入侵检测系统多只侧重单一能力:或基于有标签数据分类已知攻击,或通过异常检测识别未见攻击。在真实运维环境中,单一系统难以同时覆盖两类需求。研究人员提出一种混合

  
机器学习尤其是深度学习已成为网络入侵检测中的重要路径,因其可从网络流量中学习模式并适应演化威胁。然而现有入侵检测系统多只侧重单一能力:或基于有标签数据分类已知攻击,或通过异常检测识别未见攻击。在真实运维环境中,单一系统难以同时覆盖两类需求。研究人员提出一种混合入侵检测系统,将监督式与无监督模型通过校准感知集成进行结合,旨在同时检测已知攻击与训练数据中缺失的攻击类别。核心贡献是一条校准与决策融合流水线,用于对齐异构模型输出并整合为统一检测决策。基于 CIC-IDS2017 与 BoT-IoT 两个基准数据集的多场景实验表明,该集成既能检测未见攻击,也可对已知攻击做多分类,并在二分类检测性能上优于单一范式,说明混合设计有效利用了监督分类与无监督异常检测的互补优势。
研究背景与问题动机
网络恶意流量在复杂系统中持续演化,传统规则或阈值方法泛化不足。基于人工智能的入侵检测系统(IDS)虽能学习数据模式,但存在明显分裂:监督方法依赖标签,对已知攻击分类强,对未知攻击泛化弱;无监督异常检测以正常流量建模,可发现新威胁,但误报高、对已知类识别弱。实际部署常堆砌多个专用系统,成本高、一致性差。因此,亟需统一框架同时利用监督与无监督的互补能力。
研究人员开展的工作与结论
研究人员提出校准感知混合集成 IDS:以 SGM-CNN 作监督多分类器,以 MSCNN-AE 卷积多尺度自编码器作无监督异常检测器(仅用良性流量训练,以重构误差 MSE 为异常信号)。两路异构输出经概率校准后,在验证集上以线性融合规则聚合为统一决策。在 CIC-IDS2017 与 BoT-IoT 上设三场景:同数据集低频攻击作分布外(OOD),同数据集高频攻击也作 OOD,跨数据集 IoT 场景语义差异 OOD。结果显示,该框架在保持已知攻击多分类性能的同时,提升二分类检测与未知攻击覆盖能力。
主要关键技术方法
特征端用 UM-NIDS-Tool 从 pcap 提取流特征,剔除 IP/MAC/端口/指纹等可泄露实体标识的特征;类别特征独热编码,序列特征取统计量;PCA 降维保留 99.99% 方差;训练集用 SMOTE+高斯混合模型欠采样(SGM)处理不平衡。模型端:SGM-CNN 做多类输出;MSCNN-AE 仅训练良性流量,用重构误差与潜空间欧氏距离作置信估计。校准端尝试 Platt Scaling、Isotonic Regression、MLP,以验证集优化期望校准误差(ECE);自编码器侧将 MSE 或潜空间距离经 z-score 与 sigmoid 映射为攻击概率。融合端在条件独立近似下用概率乘积/和规则做决策融合。
研究结果
数据与特征工程
通过流表示与隐私感知特征选择,配合 PCA 与 SGM 重采样,构建适配双范式输入的通用表征,避免主机标识泄漏并缓解类别不平衡。
模型集成与决策融合
定义 SGM-CNN 与 MSCNN-AE 双基模型;输出校准部分把分类概率与自编码器误差统一为可比校准概率,用 ECE 与可靠性图评估;融合策略部分在校准输出上做线性决策融合,而非简单投票。
实验场景与评估
三个 OOD 场景分别验证:CIC-IDS2017 内低频未见过攻击、加入高频未知攻击、Bot-IoT 跨域语义未知攻击。OOD 样本不进训练与验证,仅最终评测。
结果结论
混合集成在已知类多分类上不退化,在二分类与 OOD 检测上优于单模型,证明监督分类与异常检测可通过校准融合互补。
讨论与结论翻译
讨论指出,简单投票或同质子模型集成无法处理异构输出尺度与置信偏差;校准感知融合显式建模不确定性,使 CNN 的判断与自编码器的重构异常可公平加权。跨数据集结果显示框架对网络环境漂移有一定鲁棒性,但依赖流特征分布与校准集代表性。
研究结论:校准与决策融合流水线能够把监督深度学习与无监督深度学习的输出对齐为统一可信决策,使入侵检测系统在已知攻击分类与未知攻击发现之间取得更好平衡;该混合范式为通用化、可部署 IDS 提供了可扩展路径。
接下来你想优先深化:方法机制、实验设计还是评审意见?
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号