《Machine Learning and Knowledge Extraction》：From Black Box to Clarity: A Systematic Review of Explainability Methods in Deep Convolutional Neural Networks
编辑推荐：
深度神经网络（DNNs）显著提升了机器感知与推理能力，但其决策过程缺乏透明度，尤其在医疗、金融和法律等高影响领域构成重大挑战。卷积神经网络（CNNs）的黑箱特性尤为令人担忧，因为其决策依据与决策本身同等重要。本文围绕一个易于提出却难以回答的问题展开：如何使CN
深度神经网络（DNNs）显著提升了机器感知与推理能力，但其决策过程缺乏透明度，尤其在医疗、金融和法律等高影响领域构成重大挑战。卷积神经网络（CNNs）的黑箱特性尤为令人担忧，因为其决策依据与决策本身同等重要。本文围绕一个易于提出却难以回答的问题展开：如何使CNNs能够解释自身？为回答该问题，研究人员按照PRISMA指南，对2017年至2025年间发表的154项研究进行了系统综述。这些研究从Web of Science、Scopus、IEEE Xplore和ACM Digital Library检索到的4421项研究中筛选得出。研究人员开发了CNN专用分类法，该分类法从四个维度组织可解释人工智能（XAI）方法：解释时机、模型依赖性、输出类型和目标组件。研究发现该领域对事后可视化方法存在巨大偏倚，Grad-CAM是引用最广泛的视觉解释方法，在模型无关框架中LIME和SHAP占主导地位。本研究首次分析了标准评估方法，发现综述中154项研究中有98项使用客观方法评估保真度、稳定性或敏感性，而采用人本方法评估任务执行、用户信任或交互准备的不足十项。研究人员主张采用双重报告惯例，要求至少按度量族同时报告一组指标。第三项贡献是构建了基于证据的挑战地图，概述了四个问题：缺乏标准化基准、事后机制可扩展性限制、对对抗性扰动的脆弱性，以及技术描述与人类理解之间的持续差距。针对每项挑战，研究人员提出了具体方向：整合因果推理、采用参与式评估设计，以及构建混合透明架构。本研究为致力于更可解释深度神经网络的研究人员和从业者提供了实用路线图。
4. 人工智能模型中的可解释性/可解释性：概念及可解释性与准确性的权衡
可解释性（interpretability）指无需外部辅助即可理解模型的能力，如决策树（decision tree）等简单模型。可解释性（explainability）指需要额外技术才能被理解，如随机森林（random forest）等黑箱模型。CNN（如Alexnet）拥有大量参数，难以理解。模型准确性与可解释性之间存在权衡：深度学习模型（如GANs、CNNs、RNNs、ResNet）性能高但可解释性低；集成方法（如MLPs、随机森林、XGBoost）平衡但可解释性有限；统计模型（如SVMs、KNN、朴素贝叶斯）可解释性和性能中等；图形模型（如贝叶斯信念网络、马尔可夫逻辑网络）可解释性较好但性能有折衷；规则基和线性模型可解释性高但复杂任务效果差。理想模型应兼具高可解释性与高性能。
5. 可解释人工智能的目标
XAI的目标包括：可解释性（interpretability）使用户（包括非专家）理解模型预测和判断，通过用户理解测试评估；信任（trust）评估模型解决问题的稳定性和有效性，通过用户调查和性能指标衡量；透明度（transparency）指利益相关者理解系统决策的程度，通过用户研究评估；可靠性（reliability）评估模型在相似条件下产出结果的一致性，通过统计方法如分半信度检验或组内相关系数（ICC）衡量；因果性（causality）研究模型变量间关系，使用因果推断方法评估；隐私（privacy）评估用户数据是否被保护，通过数据访问审计和差分隐私度量；公平性（fairness）确保模型平等对待所有用户群体，通过统计均等性度量和差异指数衡量；可用性（usability）评估系统与人交互的有效性和安全性，通过启发式分析和用户体验调查；协作（collaboration）促进数据科学家、领域专家和最终用户共同理解AI模型行为，通过协作平台使用和反馈系统评估。
6. 可解释人工智能的基础
6.1 核心概念与原则：解释力（explaining power）指AI解释其预测或结果的能力，核心要素包括清晰性、可解释性和问责制，确保AI模型不是黑箱，而是能清晰描述决策过程。
6.2 清晰可解释AI决策的必要性：随着AI在各领域的广泛采用，透明决策需求激增，不仅需要准确性，还需匹配的解释。考虑社会解释中的道德含义是促进信任的人本策略。
6.3 人工智能可解释性的分类法：方法分为模型无关（model-agnostic）和模型特定（model-specific）。模型无关方法（如LIME、SHAP）灵活，可解释多种ML模型；模型特定方法（如层级相关性传播LRP）针对特定架构。内在可解释性（intrinsic interpretability）指模型本身结构透明（如稀疏线性模型、短决策树）；事后可解释性（post-hoc interpretability）指训练后应用解释技术。与先前分类法相比，本研究提出CNN专用分类法，涵盖解释时机、模型依赖性、输出类型和目标组件四个维度，填补了文献空白。
7. 人工智能中的可解释性方法
7.1 数据可解释性：涉及数据在训练、验证和评估中的透明度，强调数据质量、偏差和完整性对模型预测的影响，是建立信任的基础。
7.2 模型可解释性：指理解ML模型决策的能力，通过多种技术实现，如特征重要性、规则提取等，选择取决于模型特性和应用需求。
7.3 事后可解释性：在模型训练后外部应用，不修改模型内部结构，适用于遗留或专有模型。广泛方法包括LIME、SHAP和Anchors。
7.4 方法选择的关键评估：数据可解释性方法在实践中较少；事后方法因不修改模型而受青睐，但解释与模型分离可能产生自身局限；选择取决于用户专业知识、部署约束和解释保真度与简洁性的权衡。
8. 深度神经网络中的可解释AI
8.1 多层神经网络的复杂性：深度神经网络（DNNs）通过多层结构捕捉复杂模式，但增加了计算复杂度和过拟合风险，泛化能力受层数、层大小和架构影响。
8.2 深度网络可解释性的需求：DNNs不仅学习表示到输出的映射，还从原始数据提取表示，其深层表示通常不可解释。解释重点在于理解中间层神经元所捕获的表示。
8.3 可解释深度学习模型概述：包括特征相关和模型简化方法。规则提取方法如分解法（DeepRED）在神经元级别工作，保真度高但可扩展性差；非分解法（如TREPAN）将网络视为黑箱，可扩展性更好。其他方法包括可解释模仿学习、知识蒸馏、神经元信号估计、预测分解（如DeepLIFT）、积分梯度（integrated gradients）等。
8.4 随NN复杂性增加模型简化和特征相关的挑战：随着NN层数增加，模型简化算法开发更困难。特征相关技术（如神经元信号估计、DeepLIFT、积分梯度）是解释NN决策的关键工具，提供对个体特征和神经元贡献的详细理解。
9. 卷积神经网络中的可解释AI模型
9.1 基于架构修改的可解释CNN模型：包括Dynamic-K激活（使用自适应激活阈值，产生稀疏显著图）、残差注意力网络（Residual Attention Network，集成注意力模块，注意力掩码作为软显著图）、ALL-CNN（用大步长卷积层替代最大池化，结合解卷积和引导反向传播生成显著图）、NIN（用微型网络替代卷积层，mlpconv层提供可解释特征图）、可解释CNN（Interpretable CNN，改进损失函数强迫每个滤波器编码特定对象部分，提高可解释性但降低分类精度）。
9.2 基于架构简化的可解释CNN模型：包括决策树（分解高维特征，需手动标注）、DeepKNN（在每层结合线性分类器，提高鲁棒性但增加计算开销）、LIME和SHAP（模型无关事后方法，LIME快速但稳定性差，SHAP基于合作博弈论，一致性好但计算昂贵）、子网提取（Subnet Extraction，基于剪枝检测语义卷积层）、自解释神经网络（SENNs，使用概念编码器和组合函数，但缺乏分类精度证据）。
9.3 基于特征相关的可解释CNN模型：包括EBANO（使用K-means聚类超列特征，扰动输入生成解释）、特征相似性（Feature Similarity，使用K近邻算法测量特征相似性，忽略高层特征）、DGN-AM（使用反向传播寻找最大激活神经元，适用于标准图像）、DeepLIFT（分解预测，基于参考值）、特征提取与重建CNN（FER-CNN，附加反馈CNN，编码器-解码器结构，分类精度优于其他方法）。
9.4 基于视觉解释的可解释CNN模型：包括显著图（Saliency maps，基于梯度影响）、类激活映射（CAMs）及其变体如Grad-CAM（通过全局平均池化GAP或梯度生成类判别图，但存在定位误差、梯度饱和、忠实性无保证、易受对抗攻击等局限）、可视化方法（如Score-CAM避免梯度问题）、内在可视化（Intrinsic Visualization，修改架构如教师-学生模型使用自编码器）。表8总结了各方法在计算复杂度、模型访问、解释范围和架构适用性方面的比较。
10. XAI评估指标综述
现有评估存在客观指标与人本指标的根本性错位。98项研究使用客观指标（保真度、稳定性、敏感性），仅31项使用人本指标（任务绩效、校准、主观信任），不足10项同时报告两者。两家族常产生冲突：高保真度方法可能低信任度。推荐双重报告惯例，至少报告一个客观指标和一个人本指标。三个冲突案例：保真度与决策支持价值冲突（CAM家族高保真度但无决策支持）、客观质量与用户信任冲突（规则基解释客观差但主观信任高）、稳定性与实用效用冲突（LIME不稳定但探索性调试中有用）。
10.1 客观评估：包括使用自动技术和客观标准，如保真度、敏感性、规则错误率、反事实示例生成、文本解释自动评估（METEOR、CIDE、BLEU）等。
10.2 人本评估：包括定性方法（如SAGAT评估情境意识、MGM方法主观比较、ITS需求调查、激活最大化与线性组合对比）和定量方法（如BCM分类任务、GAN解剖、Anchors与LIME预测能力比较、Likert量表反馈）。人本评估通过人类参与（普通用户或领域专家）评估解释有效性。
10.3 基准差距：154项研究中无一项聚焦社区公认的XAI基准套件，客观评估受限于特定数据集和任意协议选择，人本评估在参与者招募、任务设计和样本量方面差异更大。缺乏共同基准导致跨研究比较困难。表11按解释类型推荐了最合适的客观和人本指标对。
11. 挑战与未来方向
包括不同解释模型间的整合问题、缺乏有效实现、模型特定策略的鲁棒性、解释本身的可信度（对抗攻击脆弱性）、混合模型（结合黑箱与透明模型）、融入因果分析（causal analysis）等。具体问题：缺乏标准化基准、事后方法可扩展性限制、对抗扰动脆弱性、技术描述与人类理解差距。未来方向：整合因果推理、采用参与式评估设计、构建混合透明架构，以及在联邦学习、生成建模和多模态合成中设计CNN可解释性。
12. 总结与展望
提供了CNN可解释性方法的综合概览，包括内在与事后方法（架构修改、简化、特征相关、视觉解释），客观与人本评估指标。跨领域模式：医疗领域多用事后视觉方法（如Grad-CAM），计算机视觉多用梯度方法，金融领域偏好模型无关方法（如SHAP），网络安全和自主系统仍待探索。建议：制定标准化基准、解决可扩展性、增强对抗鲁棒性、早期人本对齐、探索深度混合架构。为从业者提供从应用范围到方法选择的路径，为研究者提出降低深度学习可解释性设计障碍的研发议程。
