《Journal of Information Security and Applications》：XAI in cybersecurity: A survey on techniques, challenges, and future directions
编辑推荐：
本文综述了可解释人工智能（XAI）在网络安全中的应用，包括恶意软件检测、入侵检测和对抗攻击。毫无疑问，人工智能（AI）已在这些应用的决策中发挥作用。其主要焦点在于构建既准确又高效的AI模型。然而，网络分析师和安全专家必须理解安全决策背后的根本原因，以解决现有问
本文综述了可解释人工智能（XAI）在网络安全中的应用，包括恶意软件检测、入侵检测和对抗攻击。毫无疑问，人工智能（AI）已在这些应用的决策中发挥作用。其主要焦点在于构建既准确又高效的AI模型。然而，网络分析师和安全专家必须理解安全决策背后的根本原因，以解决现有问题并提高系统安全性。AI模型的黑箱特性使得提供这种理解变得困难，导致AI鲁棒性不足以及其在各行业的广泛采纳受阻。另一方面，XAI是一组增强AI鲁棒性的AI模型，因此有潜力解决上述挑战。本文的主要目标是讨论AI网络安全挑战以及如何利用XAI应对这些挑战，概述XAI技术，并呈现和比较XAI在网络安全中的最新研究。论文还讨论了XAI技术在安全漏洞以及对对抗攻击的弹性方面的弱点。最后，讨论了使用XAI进行网络安全的相关挑战，以促进进一步研究。
人工智能（AI）在网络安全中的应用日益广泛，但黑箱特性导致缺乏透明性和鲁棒性，限制了信任。可解释人工智能（XAI）通过提供决策解释来增强透明度。本文发表在《Journal of Information Security and Applications》上，系统综述了XAI在网络安全中的技术、攻击和未来挑战。研究人员检索了2016–2024年间的高质量文献，全面总结了内在可解释模型和后解释方法（梯度、替代、图、注意力、对抗等），分析了优缺点，并探讨了针对XAI的四种攻击（投毒攻击PA、逃避攻击EA、模型提取攻击MEA、成员推理攻击MIA）及安全隐私挑战。研究认为XAI可以提高AI鲁棒性，但自身存在脆弱性，需进一步发展鲁棒机制。
关键技术方法包括：内在可解释模型（如决策树DT、逻辑回归LR）；基于梯度的特征归因方法（标准梯度、层间相关性传播LRP、梯度加权类激活映射Grad-CAM）；替代方法（Shapley加法解释SHAP、局部可解释模型无关解释LIME、局部非线性近似解释LEMNA、锚定解释Anchor、局部规则解释LORE、规则提取）；图解释方法（BD-GNNExplainer）；注意力方法；对抗方法；多种XAI融合方法；大语言模型（LLM）解释方法（GPT-4、LLaMA）。这些方法分别适用于不同场景，在计算效率、稳定性和通用性方面存在权衡。
研究结果：
3.1 可解释模型（Interpretable models）：通过分析多项研究，DT等模型易理解且计算成本低，常用于入侵检测，但难以处理复杂攻击且存在过拟合风险。
3.2 梯度方法（Gradient-based feature attribution techniques）：包括标准梯度、LRP和Grad-CAM，计算高效但易受噪声干扰，缺乏全局解释能力，LRP可能产生不准确热图，Grad-CAM限于CNN。
3.3 替代技术（Surrogate techniques）：SHAP提供公平特征贡献但计算昂贵；LIME模型无关但结果不稳定；LEMNA适用于RNN/MLP；Anchor规则精确但耗时；LORE局部保真度高；规则提取生成可读规则但可能过度简化。这些技术在入侵检测、恶意软件检测中应用广泛。
3.4 图方法（Graph-based technique）：BD-GNNExplainer通过标注重要边解释GNN，增强僵尸网络检测可理解性，但依赖真实子图准确性。
3.5 注意力方法（Attention-based technique）：利用注意力机制突出关键特征，提升恶意流量分类透明性，但训练开销大且权重不反映完整计算逻辑。
3.6 对抗方法（Adversarial-based techniques）：通过对抗样本揭示决策边界并生成反事实解释，但计算资源需求高且易被针对性操纵。
3.7 多种XAI结合（Multiple XAI techniques）：融合LIME、SHAP等提供更全面局部和全局解释，但复杂度增加。
3.8 LLM解释（Large language models explainability）：LLaMA3、GPT-4等可作为检测器或解释接口，生成自然语言解释，提升灵活性但验证困难。
4. 攻击（Attacks on XAI technique）：投毒攻击PA通过操纵训练数据破坏解释；逃避攻击EA在推理阶段扰动输入误导解释；模型提取攻击MEA通过查询窃取决策边界；成员推理攻击MIA利用解释推断训练集成员。结论是XAI不鲁棒，需开发防御。
5. 挑战与未来（Challenges and future work）：五个关键挑战包括XAI引导的安全漏洞利用、隐私风险、鲁棒性不足、多利益相关方（分析师、开发者、攻击者）解释需求差异、缺乏网络安全领域评价指标。未来应开发认证鲁棒解释器、引入差分隐私、建立标准化数据集。
总结讨论部分指出，XAI在提升透明性的同时引入了新攻击面；现有评估指标注重技术指标，缺乏面向安全实践的“行动性”和“逃避鲁棒性”指标；多利益相关方需要定制化解释。
研究结论翻译：本综述全面探讨了XAI的基础知识——其定义、决策透明性的重要性以及在检测和缓解网络攻击中发挥的积极作用。同时，本文强调了XAI技术面对对抗威胁时的脆弱性，揭示了对鲁棒防御策略的明确需求。展望未来，研究人员和实践者必须应对若干紧迫挑战：防止XAI引导的安全漏洞利用、避免隐私泄露、增强XAI技术的鲁棒性、在多样化网络安全环境中建立多利益相关方可解释性，以及统一标准化评估指标。通过共同努力改进可靠和值得信赖的XAI方法，该领域可以更好地保护数字资产免受不断演变的安全威胁，并将XAI作为未来网络安全解决方案的基础。
