基于最大熵逆强化学习(Maximum Entropy Inverse Reinforcement Learning, MaxEnt IRL)的物联网(IoT)网络网络攻击检测方法

《IEEE Aerospace and Electronic Systems Magazine》:Maximum Entropy Inverse RL for Cyber Attack Detection in IoT Networks

【字体: 大 中 小 】 时间:2026年06月15日 来源:IEEE Aerospace and Electronic Systems Magazine 3.8

编辑推荐:

  摘要:物联网(Internet of Things, IoT)设备的迅速普及显著扩大了网络威胁的攻击面,使得有效的入侵检测系统(Intrusion Detection System, IDS)对网络安全至关重要。传统异常检测方法往往难以应对高维网络流量数据与不

  
摘要:物联网(Internet of Things, IoT)设备的迅速普及显著扩大了网络威胁的攻击面,使得有效的入侵检测系统(Intrusion Detection System, IDS)对网络安全至关重要。传统异常检测方法往往难以应对高维网络流量数据与不断演化的攻击模式。研究人员提出一种基于最大熵逆强化学习(Maximum Entropy Inverse Reinforcement Learning, MaxEnt IRL)的新型网络攻击检测方法。该方法从正常网络流量模式中学习奖励函数(Reward Function),从而识别偏离预期正常操作的异常行为。通过利用最大熵原理,该方法在训练阶段无需标记攻击样本即可捕捉正常流量状态的底层分布。研究使用分布式拒绝服务(Distributed Denial of Service, DDoS)、地址解析协议中毒(Address Resolution Protocol Poisoning, ARP Poisoning)及基于消息队列遥metry传输(Message Queue Telemetry Transport, MQTT)的攻击等多种攻击类型评估性能。综合实验表明所提方法达到91.18%准确率,优于传统机器学习方法、深度学习方法及其他基于强化学习(Reinforcement Learning, RL)的攻击检测技术。结果突显了MaxEnt IRL在IoT环境下实现稳健且自适应网络攻击检测的潜力。相关代码与数据集已公开:https://github.com/Mmassaoudi-cell/maxent-irl-iot-ids
论文解读:《Maximum Entropy Inverse RL for Cyber Attack Detection in IoT Networks》
一、研究背景与意义
物联网(Internet of Things, IoT)设备在智能城市、工业自动化及关键基础设施中的广泛部署在带来便利的同时也大幅扩展了网络攻击面,分布式拒绝服务(Distributed Denial of Service, DDoS)、中间人攻击及高级持续性威胁(Advanced Persistent Threat, APT)等对IoT网络构成严重挑战。传统基于签名(Signature-based)的入侵检测系统(Intrusion Detection System, IDS)无法检测零日攻击与多态威胁;基于异常(Anomaly-based)的方法通常面临高误报率且在处理高维异构IoT流量时表现不佳;监督式机器学习方法依赖大量昂贵标注数据且泛化能力弱;深度学习方法(如自编码器Autoencoder、长短期记忆网络Long Short-Term Memory, LSTM)虽具较强特征学习能力,但计算开销大且同样需大量标注样本,难以适配资源受限IoT环境。逆强化学习(Inverse Reinforcement Learning, IRL)可从专家演示中推断奖励函数,最大熵逆强化学习(Maximum Entropy IRL, MaxEnt IRL)通过假设专家演示服从玻尔兹曼(Boltzmann)分布以解决IRL的模糊性问题,适合仅利用正常流量建模、无需攻击样本的异常检测场景。本研究将轨迹级MaxEnt IRL约简为基于状态(State-based)的异常检测框架,仅用正常IoT流量训练奖励网络(Reward Network),以奖励值偏离度检测攻击,发表于《IEEE Aerospace and Electronic Systems Magazine》。
二、主要关键技术方法
研究人员采用RT_IOT2022数据集(含DOS_SYN_Hping、ARP_poisoning、MQTT_Publish等攻击类型,正常样本占比约10.2%)与KDD Cup 99数据集进行验证,按80%/20%分层划分。将MDP中动作空间退化为单元素集A={?},轨迹τ约简为状态s,奖励函数R(s,a)→Rθ(s)由全连接神经网络(默认两层,64与32个隐藏单元,ReLU激活)参数化。训练目标为最大化正常状态在玻尔兹曼分布下的对数似然,损失函数为?MaxEnt(θ)=?(1/B)Σ[Rθ(si)?log Σ exp(Rθ(sj))],使用Adam优化器(学习率10?3)迭代训练,检测阈值τ取训练集正常样本奖励值的第5百分位数,测试时若Rθ(stest)<τ则判为攻击。基线对比包括SVM、LSTM、Autoencoder、Isolation Forest、One-Class SVM(OCSVM)、VAE、Deep SVDD、Energy-Based Model with NCE(EBM-NCE)及REINFORCE、DQN、Double DQN、PPO、A2C等深度强化学习(Deep Reinforcement Learning, DRL)方法。
三、研究结果
SECTION III. Problem Formulation(问题形式化)
研究人员将网络流记录定义为状态空间S(含协议类型、包计数、字节数、流持续时间、端口及统计特征),正常流量Dnormal用于训练,攻击流量Dattack仅用于测试。标准MaxEnt IRL的MDP经映射A→{?}、T(s'|s,a)→P(s')、τ→s、R(s,a)→R(s)约简为状态级公式:P(s|R)∝exp(Rθ(s))/Zs(R),其中Zs(R)=Σs'∈Sexp(R(s'))。该形式区别于密度估计,其显式约束奖励函数对正常状态赋值高、异常状态赋值低,并通过最小化KL散度(DKL(P?normal∥P(·|Rθ)))进行校准,适用于流记录可独立观测且含聚合时序统计信息的IoT流量场景。
SECTION IV. Maximum Entropy IRL Method(最大熵IRL方法)
Reward Network由多层感知机实现,Rθ(s)=W2·ReLU(W1·s+b1)+b2,可堆叠隐藏层。训练以批次正常状态最大化对数似然(式9-11),梯度计算含经验期望项(式10,16)。Algorithm 1描述离线训练流程:初始化网络与Adam优化器→遍历epoch采样批次→计算MaxEnt损失→反向传播更新参数→于训练集正常样本奖励值取第5百分位设阈值τ→输出Rθ与τ。在线检测阶段逐流计算Rθ(stest),低于τ报警。
SECTION V. Experimental Results(实验结果)
  • •
    A. Dataset Description:RT_IOT2022含123,117条记录84特征,KDD Cup 99含41特征,预处理含独热编码、标准化及float32转换。
  • •
    B. Threat Model and Deployment Assumptions:攻击者具网络层注入/修改流量能力(含洪泛、ARP欺骗、协议利用、侦察),但为黑盒无法获知θ、τ及Dnormal;防御者离线训练后在线打分,ΔR(s)=τ?Rθ(s)可作连续异常严重度评分并分三级(Critical/High/Monitor)映射SOC处置流程;假设正常流量具代表性、特征空间稳定、概念漂移有界、流独立观测及闭世界评估。
  • •
    C. Evaluation Metrics:Accuracy、Precision、Recall、F1-score、ROC-AUC(%)及PR-AUC(%)。
  • •
    D. Baseline Comparison:在RT_IOT2022上MaxEnt IRL准确率91.18%,F1、Recall、ROC-AUC(94.7% on KDD)、PR-AUC均优于半监督基线(Deep SVDD F1=92.01%,EBM-NCE F1=78.35%),显著超越DRL基线——REINFORCE退化为全预测正类(Recall=100%,ROC-AUC≈50%)、DQN劣于随机(ROC-AUC=0.316),验证MaxEnt对数似然公式相较NCE之优势。
  • •
    E. Per-Attack-Type Performance Analysis:DOS_SYN_Hping召回98.50%(F1=99.25%),NMAP_FIN_SCAN召回100%(F1=100%),NMAP_TCP_scan召回93.88%,NMAP_UDP_SCAN召回94.70%,协议层与扫描攻击检出良好。
  • •
    F. Threshold Sensitivity Analysis:阈值百分位数α从1至49变动,F1于α=5时为92.38%(FPR=5.88%),α=16时最优F1=97.98%(FPR=16.71%),说明可按SOC容忍度调参提升约5.6个百分点。
  • •
    G. Ablation Studies:2层网络即近最优(F1=95.34%,Acc=91.94%);MaxEnt损失远优于MSE替代(F1由82.34%升至95.34%);200 epoch后增益微小(300 epoch F1=95.67%);IRL价值附加分析显示单独MaxEnt IRL不需攻击标签即达竞争性能。计算复杂度分析示推理时间约0.043 ms/样本,内存占用7.36 MB,具实时部署可行性。
  • •
    H. Limitations and Deployment Considerations:状态级公式忽略跨流时序依赖故难检多阶段攻击;需定期重训应对概念漂移;阈值须按环境校准;数据集代表性有限但方法因仅学正常分布具一定未知攻击检测潜力。
四、讨论与结论总结
研究人员得出结论:所提MaxEnt IRL框架将IoT入侵检测从纯分类转向行为推理,仅需正常流量学习奖励函数并以奖励偏离检测攻击,在RT_IOT2022与KDD Cup 99上准确率91.18%,显著优于退化之DRL基线及多数传统与深度方法,计算高效适于资源受限环境。局限含闭世界假设、阈值敏感及无法检测需跨流时序建模的多阶段攻击。未来方向含在线适应机制、对抗鲁棒性评估及多场景IoT验证以增强实用性。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号