《Sensors》：Explainable Intrusion and Anomaly Detection for IoT Sensor Networks Using Hybrid Feature Selection and Deep Autoencoder Learning
编辑推荐：
物联网（Internet of Things, IoT）环境具有分布式与资源受限特征，带来了独特的安全挑战，因此有必要开发稳健且透明的入侵检测系统（Intrusion Detection System, IDS）解决方案。该研究提出了一种面向IoT环境的专用系
物联网（Internet of Things, IoT）环境具有分布式与资源受限特征，带来了独特的安全挑战，因此有必要开发稳健且透明的入侵检测系统（Intrusion Detection System, IDS）解决方案。该研究提出了一种面向IoT环境的专用系统，将混合特征选择方法与异常检测算法、分类策略以及可解释性技术相结合，以增强安全防护能力与事件透明性。该工作的创新性在于融合了多种现代方法：通过结合随机森林（Random Forest, RF）与SelectKBest的混合特征选择，在保留高检测精度的同时降低计算开销；应用深度自编码器（Deep Autoencoders, DAEs）检测偏离已学习正常行为的异常流量，从而在受控实验条件下实现对先前未见攻击模式的检测；采用前馈神经网络（Feedforward Neural Networks, FNNs）对异常数据进行高精度分类并缩短训练时间；同时引入Shapley加性解释（Shapley Additive Explanations, SHAP）与局部可解释模型无关解释（Local Interpretable Model-Agnostic Explanations, LIME）等可解释性工具，以揭示模型决策依据并提升可信度。研究人员利用CIC-IDS2017与EIIoT数据集评估该框架在识别关键网络威胁及后续分类中的有效性。所提出的框架HDATL-XAI（Hybrid Dimension-reduction Autoencoder and Traditional Learning with Explainable Artificial Intelligence）集成了多种先进技术，在提供全面防护的同时确保透明性，提升了安全性与可信赖性，可作为保护IoT网络的重要工具。
该论文发表于《Sensors》，聚焦于资源受限物联网（Internet of Things, IoT）传感器网络中的入侵检测系统（Intrusion Detection System, IDS）设计问题。随着IoT设备在智能家居、医疗、工业自动化等场景中的快速普及，网络边界持续扩展，攻击面显著增大。传统安全防护机制通常依赖较高算力、固定通信协议或已知攻击签名，难以适配IoT环境中异构、分布式、轻量化的部署需求，尤其在面对零日攻击（Zero-Day Attacks, ZDAs）与未知异常行为时，基于签名的检测方法存在天然局限。与此同时，当前许多基于机器学习（Machine Learning, ML）与深度学习（Deep Learning, DL）的IDS虽然提高了检测性能，却普遍存在模型“黑箱化”问题，难以向安全分析人员解释为何某一流量被判定为攻击。正是在检测能力、计算效率与可解释性三者难以兼顾的背景下，研究人员开展了本项研究。
研究人员提出了HDATL-XAI框架，旨在面向IoT/IIoT环境构建兼具高效性、异常检测能力、多类别分类能力和可解释性的综合入侵检测流程。该框架以混合特征选择为前端，通过随机森林（RF）与SelectKBest联合筛选关键流量特征，降低特征维度与运行负担；以深度自编码器（Deep Autoencoder, DAE）学习正常流量分布，并基于重构误差识别异常样本；再通过前馈神经网络（Feedforward Neural Network, FNN）对异常流量进行攻击类别判定；最后利用SHAP和LIME对模型进行全局与局部解释。论文在CIC-IDS2017与Edge-IIoTSet（文中亦称EIIoT）两个基准数据集上验证了方法有效性。结果表明，该框架在CIC-IDS2017上达到98.20%的准确率，在EIIoT上达到91.01%的准确率，并在精确率、召回率与F1-score上表现出较均衡的一致性。论文的重要意义在于提出了一种并非单纯追求极限精度，而是强调“资源约束下的综合可部署性”的IoT安全检测框架，同时以可解释人工智能（Explainable Artificial Intelligence, XAI）增强了IDS结果的可审计性和可信度。
在方法层面，研究人员主要使用了以下关键技术。首先，选取CIC-IDS2017和Edge-IIoTSet两个公开样本队列作为实验数据来源，并采用分层划分构建80%训练集与20%测试集，避免测试信息泄漏。其次，在训练集上完成数据清洗、类别编码、归一化，并使用SMOTE处理类别不平衡。随后结合RF重要性排序与SelectKBest单变量筛选构建混合特征选择器，并通过一致特征保留、冲突特征阈值筛入及高相关特征去冗余等规则形成最终特征子集。其后，以仅含正常流量的训练样本训练DAE，通过验证集优化异常阈值τ；对检测出的异常样本再使用加入高斯噪声正则化的FNN进行监督分类。最后，通过SHAP评估全局特征贡献，通过LIME解释单样本局部决策规则，并进一步量化解释稳定性、忠实性与决策支持效用。
以下结合论文主体，对主要结果进行分节解读。
5.1. Confusion Matrix
该部分利用混淆矩阵与ROC–AUC结果评价模型对不同攻击类别的判别能力。在CIC-IDS2017数据集上，正确预测主要集中于对角线，说明大多数类别均被准确识别，其中正常流量、“DoS Hulk”和“PortScan”等类别识别效果尤为突出；ROC曲线显示多数类别AUC达到1.00，“Heartbleed”类AUC为0.99，说明模型具有很强的类别分离能力。在EIIoT数据集上，模型对“Normal”流量识别准确，但“Backdoor”和“Password”等类别存在较多混淆；对应ROC–AUC结果中，“DDoS_ICMP”“DDoS_TCP”“DDoS_UDP”“MITM”“Normal”“Port_Scanning”等类别AUC达到1.00，而“Backdoor”“DDoS_HTTP”“Ransomware”“XSS”等类别AUC略低但仍维持在0.97–0.99之间。该结果说明研究框架对多数攻击类型具有良好的区分性，但在细粒度攻击类别更多、类别间结构更相近的EIIoT中分类难度上升。
5.2. Validation Analysis
该部分考察模型训练收敛与泛化稳定性。在CIC-IDS2017上，训练与验证准确率持续提升并最终超过0.992，同时损失下降至0.02以下，曲线无明显发散，表明模型具有稳定收敛特征且泛化误差较低。在EIIoT上，训练与验证准确率也呈持续上升趋势，验证准确率最终高于0.906；损失曲线逐步下降并稳定于约0.25，虽存在轻微波动，但整体未出现过拟合失控现象。该部分说明，所提出的DAE+FNN组合在两个数据集上都表现出较为稳健的训练动态。
5.3. Explainable AI
该部分围绕模型解释能力展开，强调IDS不仅需要检测攻击，还需给出可被防御人员理解的决策依据。
5.3.1. SHAP Analysis
在CIC-IDS2017中，SHAP分析表明“Flow IAT Min”“Fwd IAT Max”“Fwd Packet Length Min”等是全局最重要特征。研究人员指出，这些特征具有明确的安全语义：极小的流间到达时间可反映DoS/DDoS高频洪泛行为，较长的前向包间隔与低速侦察或入侵相关，较短的前向包长度则常见于PortScan与暴力破解探测报文。瀑布图进一步显示，在某个被正确识别的DoS样本中，“Flow IAT Min”显著推动预测朝攻击类别偏移，而“Fwd Packet Length Std”则对预测起到相反调节作用。在EIIoT中，编码后特征4、9、11、24、31具有较高重要性，其含义可映射到流量字节速率、TCP标志位计数和连接持续时间等网络统计量，其中Feature 31与数据外传攻击如Backdoor、Ransomware关系密切，Feature 9则驱动对DDoS_TCP的判别。研究还检验了相关特征条件下SHAP归因稳定性，在CIC-IDS2017中，去相关前后前5位特征排序保持一致，说明解释结果具有稳定性。
5.3.2. LIME Analysis
LIME用于给出局部实例解释。在CIC-IDS2017中，一个以1.00概率被判为“BENIGN”的样本，其局部判定规则主要受“Flow IAT Min”“Fwd IAT Max”“Bwd IAT Mean”等特征影响，这些规则有助于理解模型如何区分正常与恶意行为。研究人员进一步指出，此类规则可直接转化为防火墙阈值或告警条件，具备操作层面的落地价值。在EIIoT中，LIME对“Normal”样本给出高置信度解释，显示“Encoded Feature 31”“Encoded Feature 17”等对非“DDoS_HTTP”或正常类判定具有关键作用。聚合后的LIME结果表明，CIC-IDS2017更依赖流时序与包长统计特征，而EIIoT则依赖较少但判别性更强的编码特征子集。研究还比较了LIME局部规则与SHAP全局排序的一致性：在200个随机测试样本上，前10个特征平均重合率为73%；在高非线性、高置信度攻击样本上下降至58%，显示局部线性代理在极端决策区域的近似能力有限，但总体仍具有较强一致性。
5.4. Quantitative Explainability Evaluation
该部分将可解释性从可视化展示推进到可量化评估。首先，在特征稳定性方面，研究人员对5次不同随机种子重复实验中的前10个SHAP特征计算Jaccard相似系数，CIC-IDS2017为0.82，EIIoT为0.79，说明重要特征识别并非随机波动产物。其次，在忠实性（faithfulness）方面，仅保留前10个SHAP特征重新训练FNN时，CIC-IDS2017可保留完整特征模型95%的准确率，EIIoT可保留92%的准确率，说明SHAP较好捕捉了真实驱动模型决策的关键特征。最后，在决策支持效用方面，研究人员将LIME中最常出现的高权重阈值规则提取为独立二值检测器，在CIC-IDS2017测试集上获得91.3%的精确率与88.7%的召回率，表明局部解释不仅“可看”，而且可转化为简明、可执行的检测逻辑。
5.5. Discussion
讨论部分主要分析框架设计取舍及其与现有方法的关系。研究人员认为，RF与SelectKBest结合形成的混合特征选择可在较大幅度减少维度的同时维持高性能：在CIC-IDS2017中，特征数由80降至15，降幅81%，训练时间较全特征RF下降44%，而准确率仅相对全特征RF基线下降1.74个百分点；在EIIoT中，61维降至15维，维度降幅75%，但由于数据分布更复杂，准确率代价更大。论文据此说明，单独使用SelectKBest会遗漏依赖特征交互的信息，而RF的非线性重要性排序对保留关键模式是必要的。
5.5.1. Comparative Performance Analysis
该部分比较了多种“DAE+分类器”组合。结果显示，DAE + FNN在准确率、精确率、召回率和F1-score上均达到98%，总体性能最佳；DAE + LSTM次之，且训练时间更短；DAE + DNN与DAE + CNN性能中等；DAE + RNN和DAE + ANN则在精确率与召回率上较弱。该结果支持研究人员选择FNN作为DAE后端分类器的合理性，同时指出LSTM在训练效率敏感场景中具有应用潜力。
5.5.2. Model Ablation Study
消融实验用于分离各模块贡献。结果显示，在单独监督分类条件下，RF-only在两个数据集上都取得高于HDATL-XAI主框架的准确率，分别达到99.94%和98.16%。论文对此作出三点解释：其一，RF依赖全特征与集成投票，在封闭标签监督任务中天然占优；其二，DAE压缩到32维潜空间后引入信息瓶颈，会损失部分有利于全特征判别的细节；其三，RF-only无法对训练标签中不存在的异常类型提供无监督异常评分，也无法像SHAP/LIME那样提供可操作的实例级解释。因此，研究人员强调，HDATL-XAI的价值不应仅以封闭集准确率衡量，而应从未知威胁检测潜力、部署资源约束与解释能力的综合维度评价。论文还通过敏感性分析表明，DAE潜空间维度32在重构误差与下游分类性能之间取得最优平衡，维度过小会造成信息不足，过大则趋近恒等映射而失去压缩泛化意义。
5.5.3. Comparison with State-of-the-Art Methods
与现有IoT/IIoT IDS方法相比，HDATL-XAI在CIC-IDS2017上达到98.20%的准确率、98.20%的精确率、98.0%的召回率和98.20%的F1-score；在EIIoT上达到91.01%、91.82%、91.34%和90.89%。论文指出，虽然部分既有方法在单一数据集上报告了更高准确率，但常常缺少精确率、召回率与F1-score等完整指标，或者难以跨数据集保持稳定。相较之下，HDATL-XAI在两套不同性质数据集上都呈现出较为均衡的多指标表现，体现了其面向IoT与IIoT环境的适应性。统计分析进一步表明，在类别不平衡情境下，以宏平均F1-score为基础的方差分析显示，HDATL-XAI在部分少数类攻击检测上优于RF-only，尤其是在CIC-IDS2017中的Heartbleed、Infiltration与Web Attacks等类别上具有统计学显著优势。
总体而言，讨论部分表明，该研究并未将框架设计为单纯追求基准数据集最高准确率的封闭式分类器，而是强调兼顾混合特征降维、异常检测、多类攻击识别与事后解释的一体化设计，以适应真实IoT环境中资源受限、攻击多变、决策需审计的应用需求。同时，论文也明确承认其局限，包括零日检测尚未采用严格的留一攻击族验证协议、实验基于离线数据集而非真实在线网络、EIIoT中少数类召回仍受类别不平衡影响，以及解释有效性尚缺乏安全分析人员参与的人机协同外部验证。
结论部分指出，该研究提出了一种适配IoT环境特殊安全挑战的高效且可解释的IDS。所提出系统针对资源受限、数据异构以及分布式网络中的高效防护需求，融合了混合特征选择、异常检测、基于FNN的分类以及可解释性技术，从而提升了多类网络威胁的检测性能，并增强了对模型决策过程的理解。这种方法组合有助于同时提高检测准确性与效率，并确保系统对终端用户而言具有可理解性和可信赖性，从而增强其在真实IoT场景中部署的信心。论文同时指出，DAE在异常检测中的有效性并不意味着其必然能够识别所有全新攻击，因为其性能仍依赖训练数据对预期行为范围的覆盖程度。未来研究可结合自监督学习（self-supervised learning）与元学习（meta-learning）以增强对新型攻击模式的泛化与快速适应能力。此外，当前关于零日检测的论断主要基于DAE重构误差机制的理论潜力，而非严格的专门实验协议，后续应采用留一攻击类别交叉验证或时间分离的新攻击流量评估方案进行更有力验证。论文还指出，实时流式接入、概念漂移、包级处理，以及面向安全分析人员的人机协同解释评估，仍是未来需要进一步解决的关键问题。
