基于费希尔-拉奥准则的渐进重估信道剪枝算法

《Neural Networks》：Fisher-Rao guided channel pruning with progressive re-estimation

　　

摘要

结构化通道剪枝能够实现高效且易于部署的模型压缩，但其可靠性取决于通道重要性准则以及剪枝策略。我们提出了一种基于费希尔-拉奥原理的框架，该框架通过对角线经验费希尔估计来为通道门评分，并结合逐步重估与短期恢复训练。在CIFAR-10数据集上，该方法在ResNet-56架构上使参数量和FLOPs分别减少71.0%和56.2%，在ResNet-110上减少85.5%和66.8%，在VGG-16上减少90.2%和50.6%，在GoogLeNet上减少74.8%和57.7%。在ImageNet数据集上，其在ResNet-50架构上的Top-1准确率可达到75.65±0.04%，同时参数量和FLOPs分别减少60.0%和50.1%；在MobileNetV2架构上准确率为71.59±0.05%，参数量和FLOPs分别减少60.0%和54.4%；在EfficientNet-B0架构上准确率为75.90±0.07%，参数量和FLOPs分别减少77.2%和50.4%。无需恢复训练的测试表明，该方法的效果依赖于模型架构，因此更适合作为一种与损失函数相关、受预算约束的分类剪枝方法，而非针对特定硬件或任务的解决方案。

引言

深度卷积神经网络在视觉识别领域取得了显著进展，但其较高的计算和内存需求仍制约了其在对延迟和能耗要求严格的平台上的应用。在这样的环境中，实用的模型需要在预测精度、参数量优化以及高效执行之间找到平衡。

实现高效CNN部署的方法主要有两种：一种是设计轻量级架构，如SqueezeNet、MobileNet/V2、ShuffleNet以及EfficientNet等；另一种则是对已训练好的网络进行压缩。轻量级CNN也被广泛应用于航空交通监测、医学成像、飞行器检测以及指纹识别等领域。在第二种方法中，结构化通道剪枝具有优势，因为通过删除部分通道，可以构建出结构更紧凑的模型，且不会产生不规则的稀疏核。

现有的通道剪枝准则包括激活值统计、滤波器幅度、缩放因子、重构损失、梯度敏感度、秩信息、元学习以及数据驱动的选择方法等。尽管这些方法在许多情况下都很有效，但在进行大规模结构修改后，静态或启发式的排序方式可能会出现偏差。

因此，我们从信息几何的角度重新审视通道剪枝问题。在通道门控制下的预测分布

(y|x,θ,g)中，通道的重要性可视为对通道门扰动的局部敏感度。费希尔-拉奥度量可用于量化这种局部预测变化，因此我们采用对角线经验费希尔得分来评估通道门的重要性。

我们将这一得分与逐步剪枝及恢复机制相结合，即在每次结构修改后重新评估通道的重要性。我们在CIFAR-10和ImageNet数据集上，针对ResNet-56/110、VGG-16、GoogLeNet、ResNet-50、MobileNetV2以及EfficientNet-B0等多种CNN架构进行了实验，以验证该方法在不同架构上的效果。

综上所述，我们的主要贡献如下：

• •
  我们从费希尔-拉奥角度提出了结构化通道剪枝方法，通过引入逐通道门控，并利用对角线经验费希尔得分对通道进行排序。
• •
  我们设计了一种多阶段逐步剪枝流程，结合迭代式费希尔重估与短期恢复更新，以提高方法的稳定性，避免静态一次性决策带来的问题。
• •
  我们在CIFAR-10和ImageNet数据集上的七种CNN架构上对该方法进行了测试，包括轻量级的MobileNetV2和EfficientNet-B0，在此基础上分析了该方法的最佳应用场景。

章节要点

相关工作

模型剪枝通常分为非结构化稀疏化和结构化剪枝两类。由于非结构化稀疏化往往会导致不规则的内存访问模式，因此以加速为目标的研究大多倾向于采用通道级剪枝，从而得到结构更紧凑的模型。我们的贡献主要体现在基于损失敏感度的通道重要性评估以及逐步剪枝策略上。

方法

该方法本质上是一个评分与调度模块，而非需要大量搜索的剪枝系统。它通过结合通道门控、对角线经验费希尔重要性评分、逐步剪枝策略以及明确的预算控制机制，解决了离散通道选择、剪枝后重要性排序偏差以及预期剪枝比例与实际参数数量不符等问题。图2展示了该方法的整体流程。

实验

我们研究了费希尔重要性评分在结构化压缩下能否保持模型精度，逐步恢复机制的作用，以及该方法与现有主流剪枝方法的性能对比。

结论

本研究提出了一种基于费希尔-拉奥原理的结构化通道剪枝框架，该框架通过对角线经验费希尔评分来评估通道的重要性，并通过分阶段重估与短期恢复更新来实现逐步剪枝。该方法实现简单，能够通过经验费希尔评分与任务损失敏感性直接关联，且在完成结构化通道删除后仍适合密集型部署。实验结果表明，该方法具有较好的稳定性。

从实验结果来看，该方法始终能够

未引用内容

算法2。

利益冲突

作者声明没有任何可能影响本研究结果的财务利益或个人关系。

代码获取

用于训练和评估所提模型的代码，可应合理请求从相应作者处获取。

CRediT作者贡献说明

向新健：形式分析、概念设计。林明军：论文撰写与编辑、初稿撰写、软件开发。郑永平：研究调研。黄磊：项目管理。徐晓洲：论文撰写与编辑、初稿撰写。

利益冲突声明

作者声明不存在任何可能影响本文研究结果的已知财务利益或个人关系。

资金支持

本研究未获得任何外部资金支持。

Xinjian Xiang|Mingjun Lin|Yongping Zheng|Lee Huang|Xiaozhou Xu