《High-Confidence Computing》：A comprehensive analysis of explainable AI-driven machine learning techniques for network intrusion detection systems
编辑推荐：
可解释人工智能（XAI）已成为提升基于机器学习（ML）和深度学习（DL）的入侵检测系统（IDS）透明度、可信度和操作可用性的关键推动因素。虽然ML/DL模型显著提升了检测能力，但其黑箱性质给安全分析师、监管合规性、模型调试和对抗鲁棒性带来了挑战。本综述对应用于
可解释人工智能（XAI）已成为提升基于机器学习（ML）和深度学习（DL）的入侵检测系统（IDS）透明度、可信度和操作可用性的关键推动因素。虽然ML/DL模型显著提升了检测能力，但其黑箱性质给安全分析师、监管合规性、模型调试和对抗鲁棒性带来了挑战。本综述对应用于IDS的XAI技术进行了全面回顾，特别关注过去五年发表的研究。研究人员开发了一个统一的XAI赋能ML-based IDS方法分类体系，基于模型透明度、解释范围和操作目标对方法进行分类。该综述系统分析了跨多种部署环境（包括云、IoT/IIoT/CPS、SDN和IoMT）的IDS框架，并回顾了主要解释机制，如SHAP、LIME、基于注意力的模型、显著性方法和规则提取技术。研究人员通过检查检测性能指标和解释质量度量来整合评估实践，强调其在IDS语境中的解释和局限性。此外，研究人员从对抗性角度研究了XAI赋能ML-based IDS，识别出对规避、模仿、投毒和针对解释机制的攻击的脆弱性。研究人员还回顾了数据集全景，讨论了代表性差距和泛化挑战。最后，研究人员识别了关键开放问题并概述了未来研究方向，包括对抗鲁棒的可解释性、可扩展的解释机制、现实数据集、部署感知设计和人在回路IDS。本综述旨在为研究人员和实践者提供设计透明、鲁棒且操作有效的XAI赋能ML-based IDS的结构化基础。
论文主体部分总结如下：
**1. 引言**
引言部分指出，随着网络威胁日益复杂，机器学习（ML）在网络安全中发挥着关键作用，尤其是基于ML的入侵检测系统（IDS）能够分析网络数据并检测异常。然而，深度学习模型的黑箱特性引发了透明度、偏见、安全和伦理方面的担忧。可解释人工智能（XAI）应运而生，旨在使ML模型决策可理解。将XAI整合到ML-based IDS中，可增强决策透明度，使网络管理员能够理解并信任自动化决策，从而提高对安全事件的响应速度和准确性。本文对过去五年间将XAI集成到ML/DL-based IDS中的研究进行了全面综述，旨在为研究人员和实践者提供当前研究现状的深入理解，识别关键趋势、方法、优势与局限，并指出未来研究方向。
**2. 近期与XAI-based IDS相关的综述论文**
本节回顾了近期相关综述，并论证了进行本项新综述的必要性。现有综述存在领域特定（如IoT、IIoT、医疗、CPS、5G/B5G）、任务特定（如恶意软件检测、自动驾驶）或方法特定（如SHAP/LIME聚焦）的局限性，且时间覆盖范围多截至2021-2022年。因此，本综述填补了空白，提供了一个跨领域、更新至2025年的XAI赋能ML/DL-based IDS综合分析。论文还详细说明了论文筛选标准，包括来源数据库、关键词组合、多阶段筛选过程，最终选取85篇高质量研究，其中超过65篇发表于2024-2025年。
**3. 背景**
本节提供了ML模型、常用数据集及XAI技术的背景知识。首先，概述了常用分类算法，包括决策树（DT）、随机森林（RF）、K近邻（KNN）、人工神经网络（ANN）、支持向量机（SVM）、卷积神经网络（CNN）、循环神经网络（RNN）、长短期记忆网络（LSTM）、门控循环单元（GRU）、自编码器（AE）和生成对抗网络（GAN）等，并对各分类器族在IDS场景中的适用性、优势、局限、可解释性兼容性、对抗鲁棒性和计算成本进行了比较。其次，详细介绍了用于评估XAI赋能IDS的数据集，如NSL-KDD、UNSW-NB15、CIC-IDS2017、CSE-CIC-IDS2018、ToN_IoT、IoT-23等，分析了其攻击类型、规模、时效性、适用场景及已知缺陷，并给出了数据集与最佳XAI评估配置的映射。最后，讨论了XAI的关键术语和方法，包括局部解释（如SHAP、LIME）、全局解释（如特征重要性、部分依赖图）、模型特定方法（如注意力机制、层相关性传播LRP、DeepLIFT、积分梯度）、以及反事实解释等，并总结了XAI方法在IDS中的分类维度。
**4. XAI赋能机器学习入侵检测系统**
本节是核心部分，根据使用的XAI技术对ML-based IDS进行分类分析。首先，聚焦于使用SHAP和/或LIME的IDS，并将其按应用领域细分：通用网络、IoT网络、IIoT网络、车载网络、特定攻击检测以及专业领域（如SIEM、SDN、IoMT）。对于每个子类，综述了多项代表性研究，分析了其模型架构、数据集、XAI集成方式、检测性能、优势与局限。例如，在通用网络中，Sarhan等使用SHAP解释NetFlow特征；在IoT中，Houda等结合DNN与RuleFit、LIME、SHAP；在IIoT中，Khan等使用CNN与AE-LSTM结合LIME；在车载网络中，Lundberg等开发了基于SHAP的可视化工具。在这些研究中，SHAP和LIME因其模型无关性和理论基础被广泛采用，但存在依赖旧数据集、缺乏对抗鲁棒性评估、XAI仅作为事后分析工具等局限。其次，分析了不使用SHAP/LIME的XAI技术，包括内在可解释模型（如SOM、竞争学习）、注意力机制、规则提取、图神经网络解释、知识图谱、形式化验证等。例如，Botana等提出了EADMNC，兼具预解释和后解释能力；Andresini等提出ROULETTE，利用注意力机制提高可解释性；Wei等提出xNIDS，将解释转化为防御规则。这些方法提供了更深层次的语义和因果解释，但标准化评估和实际部署验证仍显不足。
**5. 评估XAI赋能入侵检测系统的指标**
本节首先介绍了XAI评估指标的分类学，基于Nauta等提出的Co-12框架，包括正确性、完整性、一致性、连续性、对比性、协变量复杂性、紧凑性、组合性、置信度、上下文、连贯性和可控性。然后，讨论了定量指标，如保真度、鲁棒性、一致性、连续性、相关性、紧凑性等，以及基于函数的方法。接着，阐述了人本指标，如可解释性、用户满意度、信任、可操作性、人工基础评估和应用基础评估。最后，指出评估XAI在IDS中面临的开放挑战，包括缺乏标准化评估协议、过度依赖轶事证据、有限的人本研究、难以测量真实保真度、易受对抗操纵、领域特定约束、人类与模型推理不一致以及缺乏可操作性指标。
**6. 针对XAI赋能入侵检测系统的对抗攻击**
本节探讨了XAI系统本身可能引入的新攻击面。研究表明，解释方法可被操纵，即使模型预测保持不变。例如，Dombrowski等发现微小扰动可扭曲梯度解释；Heo等证明可操纵显著性图；Slack等提出脚手架攻击以隐藏模型偏见。同时，存在同时攻击预测和解释的对抗攻击（如ADV2）以及针对特定解释方法（如SHAP、反事实解释）的攻击。此外，XAI也可被用于辅助攻击，如利用XAI引导对抗样本生成以规避IDS。防御策略包括对抗训练、稳健解释设计、可信度检查等。本节强调了在XAI-enabled IDS中联合保障预测和解释安全性的必要性。
**7. 讨论、未解决问题与未来方向**
本节首先讨论了XAI研究在2020年后的显著增长，并指出监管和政策推动是重要因素。然后，列出了开放问题与未来方向，包括：针对XAI-enabled IDS的攻击（需联合保护预测与解释完整性）、评估挑战（需标准化和以人为本的框架）、新数据集设计（需反映现代威胁和领域特性）、部署操作考虑（计算开销、延迟、可扩展性、系统集成、人员因素、安全风险、隐私合规等），以及额外问题（如性能与透明度权衡、事后解释的保真度、内部模型检查、适应动态环境、XAI工具自身安全）。结论强调，XAI for IDS是一个跨学科领域，需要融合机器学习、网络安全、人机交互和政策，以提供准确、鲁棒、可操作且易于理解的解释。
**8. 结论**
结论部分总结了本综述的主要贡献，即对XAI-enhanced ML/DL-based IDS进行了全面回顾，涵盖通用网络、IoT、IIoT、车载系统等专业领域，突出了解释感知架构、以人为本设计以及非SHAP/LIME可解释性范式的发展趋势，同时指出了数据集真实性、鲁棒性、评估标准化和人类信任方面的持续挑战。本综述为未来研究提供了结构化基础。
