综述：可解释轻量级神经网络：方法、指标与挑战

《Neurocomputing》：Explainable lightweight neural networks: A survey on methods, metrics, and challenges

　　

随着人工智能（AI）在资源受限环境（尤其是计算机视觉任务）中的应用日益广泛，叠加伦理与实践层面的考量，兼具高效性与可解释性的轻量级模型需求持续攀升。本综述系统梳理了轻量级神经网络与可解释人工智能（XAI）的融合路径，旨在解决模型在计算效率与透明度之间的平衡难题。研究人员回顾了主流轻量级神经网络技术的优势与局限，同时梳理了广泛应用的XAI方法体系。基于Scopus数据库的文献计量分析表明，知识蒸馏（KD）是当前采用最广泛的轻量级技术，因此本综述重点探讨了KD与XAI的交互机制。此外，研究人员系统评述了现有面向XAI有效性评估的定性与定量指标，并通过卷积神经网络（CNN）与Transformer架构的解释结果对比，揭示了二者在解释模式上的架构差异，进而论证了开发感知XAI的跨架构蒸馏方法的必要性。尽管该领域已取得显著进展，但模型复杂度与可解释性之间的权衡问题仍未完全解决。本综述强调，亟需完善评估指标体系并设计原生可解释的轻量级模型，以支撑可部署、可解释的轻量级AI系统发展。

1. 1.
   引言
   当前神经网络研究面临双重需求：既要实现高效轻量化，又要保障决策过程的透明性与可理解性。这一需求源于资源受限场景下的实际部署挑战，以及医疗、金融、自动驾驶等敏感领域对算法问责制的伦理与法规要求。欧盟《通用数据保护条例》（GDPR）与《人工智能法案》均明确要求高风险AI系统需提供可理解的决策依据。然而，深度神经网络（DNN）常被视为“黑盒”，其决策机制难以解析，而轻量化压缩过程可能进一步破坏模型内部表征的可解释性。本综述的核心贡献包括：首次将轻量级神经网络技术与XAI方法纳入统一研究框架；论证开发透明可问责轻量级AI系统的必要性；基于文献计量分析确定KD为核心轻量化技术并解析其与XAI的交互机制；系统梳理XAI评估指标的局限性并提出改进方向；通过CNN与Transformer架构的解释对比揭示架构差异，为跨架构蒸馏研究提供依据。全文后续章节安排如下：第2章阐述轻量级神经网络与XAI的技术背景；第3章详述六类轻量化技术及其优劣势；第4章综述压缩模型中XAI的应用现状；第5章讨论XAI评估指标体系；第6章对比CNN与Transformer的解释特性；最后总结未来研究方向。
2. 2.
   背景
   2.1 轻量级神经网络的关键进展
   轻量级模型研发主要沿两条路径推进：一是降低模型复杂度，二是引入XAI提升透明度。CNN作为计算机视觉的主流架构，通过卷积核提取层次化空间特征，典型代表包括AlexNet、VGG与ResNet。为适配边缘部署，早期轻量化CNN如SqueezeNet采用“Fire模块”压缩参数量，SqueezeNext进一步通过低秩卷积分解优化效率。任务专用架构如LiteFlowNet通过级联特征扭曲与光流正则化实现模型压缩，3DPyraNet-F与EmoP3D则通过三维加权求和层减少时空特征提取的计算开销。谷歌MobileNet系列成为移动端部署标杆：MobileNetV1引入深度可分离卷积；MobileNetV2结合倒置残差与线性瓶颈；MobileNetV3集成神经架构搜索（NAS）、SENet模块与H-swish激活函数；MobileNeXt提出的沙漏块进一步优化梯度传播。针对Transformer全局建模能力强但计算成本高的问题，混合架构应运而生：MobileViT融合CNN局部特征提取与ViT全局建模能力；Mobile-Former通过双向桥接机制实现MobileNet与Transformer的特征融合。各类技术均存在权衡：过度简化可能损害模型鲁棒性，CNN在长程依赖任务中表现受限，Transformer则需进一步优化以满足实时性要求。

2.2 XAI的关键进展

XAI技术可分为模型无关与模型特定两类，按解释层级分为数据级与模型级解释。数据级解释聚焦输入特征的重要性归因，如基于示例、反事实与特征归因的方法；模型级解释则通过构建可解释代理模型近似复杂模型行为，包括内在可解释设计与事后解释技术。常用方法包括：SHAP（SHapley Additive exPlanations）基于博弈论分配特征重要性；LIME（Local Interpretable Model-agnostic Explanations）通过局部线性逼近生成解释；LRP（Layer-wise Relevance Propagation）通过反向传播计算神经元相关性；Grad-CAM（Gradient-weighted Class Activation Mapping）利用梯度信息生成类别激活热力图；DeepLIFT（Deep Learning Important FeaTures）通过比较参考激活量化特征贡献；遮挡敏感度分析与RISE（Randomized Input Sampling for Explanation of Black-box Models）通过掩码扰动评估区域重要性；分层解释技术（如HIPE）提供多粒度推理；概念激活向量（CAV）与测试概念激活向量（TCAV）基于语义概念解释模型决策；梯度显著性图通过输入梯度定位关键像素。针对Transformer架构，研究者提出注意力回滚与Transformer专用LRP等方法。XAI还可指导模型压缩：如利用DeepLIFT识别冗余连接指导剪枝，基于LRP的重要性评分实现混合精度量化。当前XAI方法仍面临计算开销大、解释稳定性不足、跨架构泛化性差等挑战，亟需面向轻量级模型的专用解释框架。

1. 3.
   轻量级神经网络技术
   3.1 概述
   研究人员系统梳理六类主流轻量化技术：知识蒸馏（KD）、权值共享、剪枝、量化、低秩分解与迁移紧凑卷积滤波器（TCCF）。共性优势包括：显著降低模型参数量与存储需求；减少推理计算量与延迟；提升内存利用效率；部分方法可加速训练过程。共性局限则体现为：过度压缩可能导致精度损失；引入额外优化复杂度；部分技术依赖特定硬件或架构；最关键的是，压缩过程会干扰XAI方法的可靠性，具体影响因技术类型而异。

3.2 知识蒸馏

KD通过训练小型学生模型复现大型教师模型的输出分布或中间表征，实现知识迁移。技术变体包括：软目标蒸馏利用教师输出的软化概率传递类别间关系；特征蒸馏对齐师生模型的中间层特征图；关系蒸馏匹配特征间的结构依赖；注意力蒸馏模仿教师的注意力模式；对数匹配蒸馏最小化师生预激活输出的均方误差；教师助理蒸馏引入中间规模网络缓解师生容量差距；对抗蒸馏通过判别器优化学生输出分布；自蒸馏通过同架构迭代训练提升性能；在线蒸馏支持多模型协同训练；数据集蒸馏将训练数据浓缩为合成样本。KD的优势在于显著提升模型部署效率、保护数据隐私、部分场景下可超越教师性能，且具有任务普适性。但其依赖教师模型质量，训练成本较高，且可能因过度拟合教师输出导致泛化性下降。文献计量显示，KD是近五年增长最快的轻量化技术，2023-2024年相关出版物均超千篇。

3.3 权值共享

权值共享通过复用网络参数降低存储开销，典型应用包括：CNN的空间权值共享赋予平移不变性；循环神经网络的时序权值共享处理序列数据；网络间权值共享支持迁移学习；局部连接非共享核提升空间特异性；位置导向局部连接权值共享兼顾局部感知与参数效率。该方法可有效抑制过拟合并提升泛化能力，但标准CNN的全局权值共享可能限制特征多样性，且在位置敏感任务中表现受限。

3.4 剪枝

剪枝通过移除冗余连接或单元压缩模型，包括权值剪枝、单元剪枝与结构化剪枝。其优势在于提升计算效率并降低过拟合风险，但剪枝效果受数据与任务影响显著，不同启发式策略可能导致模型鲁棒性波动。研究表明，适度剪枝（如ResNet18稀疏度15%）可同步提升性能与可解释性，但过度剪枝会破坏解释质量。

3.5 量化

量化通过降低参数量化位宽压缩模型，涵盖训练后量化、量化感知训练、二值/三值量化、定点量化与混合精度量化。8位整数量化已在边缘设备广泛应用，可在精度损失可控前提下显著降低带宽需求与部署门槛。但极低比特量化易导致训练不稳定，且离散化权重会干扰梯度传播，影响基于梯度的XAI方法可靠性。

3.6 低秩分解

低秩分解将权重矩阵近似为低秩张量乘积，包括矩阵分解、张量分解与分块分解。该方法擅长处理高维稀疏数据，可通过投影滤除噪声与冗余信息，但面临非凸优化收敛不稳定、迭代计算开销大、分解秩选择困难等问题。

3.7 迁移紧凑卷积滤波器

TCCF通过重构卷积操作提升效率，核心技术包括：深度可分离卷积拆分通道与空间卷积；分组卷积独立处理输入通道组；空洞卷积扩大感受野；瓶颈层压缩与扩展特征维度；点式分组卷积降维。此类方法支持跨任务迁移学习，参数效率高，但存在迁移假设过强导致的跨数据集稳定性问题，且双卷积等特殊结构设计复杂度较高。

3.8 讨论

轻量化技术本质是通过约束模型容量换取效率提升，但这一过程会重塑视觉表征的组织方式，可能抑制细粒度特征表达，进而影响可解释性。尽管轻量化模型可降低训练与推理能耗，符合绿色AI发展趋势，但在医疗等对解释性要求严苛的领域，需权衡压缩收益与解释质量损失。模型设计应综合考量计算效率、表征能力与可解释性的多目标优化。

3.9 轻量化技术研究趋势

基于Scopus的文献计量分析显示，2019年后六类轻量化技术研究均呈上升趋势。KD占据主导地位，2023-2024年发文量突破千篇；量化与剪枝分列二三位，常与KD联合使用以进一步提升压缩率。这一趋势印证了资源受限环境下高效AI部署的迫切需求。

1. 4.
   压缩模型中的XAI
   现有研究多聚焦KD的性能迁移，对其解释性传承关注不足。剪枝研究表明，适度稀疏化可提升CNN解释质量，但最优剪枝率存在架构依赖性（如ResNet18为15%，ResNet50为25.8%）。量化导致的梯度不连续性会显著降低基于梯度的XAI方法稳定性，尤其低于8位量化时问题更为突出。现有KD与XAI融合研究仍处于起步阶段：部分工作仅将XAI作为可视化工具，未定量分析蒸馏过程中的解释漂移；XDistillation框架尝试通过卷积自编码器同步迁移知识与解释特征，在CIFAR-10与MNIST数据集上验证了可行性，但未深入探究师生解释对齐机制。跨架构蒸馏（如CNN与Transformer间）成为新兴方向，但亟需开发感知XAI的蒸馏框架，确保学生模型继承教师的决策逻辑而不仅是输出分布。
2. 5.
   XAI评估指标
   5.1 定性评估指标
   定性指标侧重用户体验，包括：解释充分性，通过专家清单评估解释的清晰度、完整性与可操作性；解释满意度，基于量表调查用户对解释的理解度与信任度；用户理解度，通过访谈与认知测试衡量用户心智模型构建情况；好奇心激发度，评估用户探索模型行为的意愿；信任与依赖度，采用Adams、Jian、Madsen等量表测量用户信心；显式性，评价解释概念的直观易懂程度，如概念原型相比像素级热图的优越性。

5.2 定量评估指标

定量指标提供客观评估依据：鲁棒性衡量输入扰动下解释的一致性；保真度评估解释与模型真实行为的吻合程度，可通过删除/插入关键特征时的性能变化量化；单调性验证特征重要性排序与模型性能的单调关系；忠实度计算特征归因与输出变化的相关系数；稳定性评估相似输入产生一致解释的能力；紧凑性量化解释涉及的要素数量，反映简洁性。当前指标普遍存在理论定义与工程落地的脱节，如稳定性测试需大量重复实验，在实时系统中难以实现。

5.3 挑战

XAI评估面临多重挑战：解释的主观性与用户依赖性导致标准化困难；缺乏跨任务通用评估框架；理论指标与实际部署需求存在鸿沟；透明度与效率间的固有权衡；现有指标难以同时覆盖模型行为与人类认知；评估基准缺失阻碍方法横向对比。亟需开发兼顾客观性与实用性的综合评估体系。

1. 6.
   CNN与Transformer的XAI方法对比
   6.1 方法论
   为探究架构对解释特性的影响，研究人员选取ResNet18、ResNet50、MobileNetV2三种CNN与DeiT-Small、DeiT-Tiny、ViT-Base三种Transformer，在ImageNet-1K子集上采用Grad-CAM生成统一解释，并基于插入、删除、忠实度、紧凑性四项指标进行量化对比。统计检验采用Wilcoxon符号秩检验与Cohen's d效应量分析，辅以Bootstrap置信区间估计。

6.2 结果与分析

可视化结果显示：CNN生成局部凝聚的热力图，聚焦单一判别区域；Transformer生成弥散多焦点热力图，覆盖目标与背景边缘。定量结果表明：CNN平均紧凑性（0.352）显著高于Transformer（0.163），而Transformer平均忠实度（0.085）优于CNN（-0.023）。插入与删除指标在两类架构间差异较小。统计检验证实所有指标差异均达极显著水平（p<0.001），忠实度与紧凑性的效应量分别达3.107与-3.601，远超0.8的大效应阈值，表明差异源于架构本质属性而非抽样误差。值得注意的是，CNN的负忠实度暗示其高亮区域与模型输出变化呈弱负相关，而Transformer的正忠实度反映其弥散归因可能源于覆盖范围更广而非真正更高的解释质量。

6.3 讨论

解释差异源于架构归纳偏置：CNN的局部感受野限制导致解释聚焦，Transformer的全局自注意力机制产生弥散归因。当前指标未能区分“真正高忠实度”与“因覆盖广而表现出的高忠实度”，插入/删除指标甚至无法捕捉显著的视觉差异。这对跨架构KD提出警示：单纯对齐输出分布可能丢失解释特性，强制CNN学生模仿Transformer教师的全局解释模式会导致架构不匹配。未来需开发感知架构的解释对齐方法与评估指标。

1. 7.
   未来方向
   基于上述分析，研究人员提出五大发展方向：①感知XAI的跨架构KD：在蒸馏损失中引入解释对齐项，但允许架构保留自身解释特性，避免强行统一解释模式；②架构感知评估指标：开发紧凑性校正忠实度等指标，解耦解释质量的多维特性，建立跨架构标准化评估体系；③原生可解释轻量级模型：探索原型网络、概念瓶颈模型的轻量化适配，减少对事后解释的依赖；④效率与可解释性联合优化：采用帕累托优化框架平衡精度、延迟、能耗与解释质量，建立多维度基准测试平台；⑤解释对抗鲁棒性：系统评估压缩模型在噪声、对抗攻击下的解释稳定性，量化压缩对解释可靠性的影响机制。
2. 8.
   结论
   本综述系统整合了轻量级神经网络与XAI的研究进展，揭示了模型压缩对解释质量的复杂影响。文献计量分析确立了KD的核心地位，而CNN与Transformer的解释对比凸显了架构差异对XAI有效性的关键作用。未来研究需突破精度与可解释性的零和博弈，通过感知XAI的蒸馏方法、架构感知的评估体系与原生可解释模型设计，推动透明可信的轻量级AI系统在医疗、金融等关键领域的落地应用。轻量化模型研发不应仅以计算效率为目标，更需将可解释性作为核心设计准则，方能实现技术价值与社会责任的统一。