基于概率通道剪枝的动态网络压缩方法研究：在深度卷积神经网络中的高效参数优化与应用

【编辑推荐】本文提出了一种结合概率连接模块（connectivity module）与深度可分离卷积（depth-wise convolution）的动态剪枝方法，通过可学习的通道激活概率实现训练中动态剪枝（pruning），无需微调（fine-tuning）即可在ResNet-56/VGG-19上实现52.76%/46.05%参数量压缩，同时提升准确率（+0.19%/+0.3%）。创新性引入资源感知正则化（resource-aware regularization），为结构化剪枝（structured pruning）提供了硬件友好的高效解决方案。

　　

亮点

我们提出了一种可插拔的概率连接模块（connectivity module），通过动态激活/停用通道连接实现训练中剪枝（pruning），无需微调（fine-tuning）。实验表明，该方法在ResNet-56和VGG-19上分别减少52.76%和46.05%参数量的同时，准确率反而提升0.19%和0.3%。

创新方法

1. 1.

   卷积分解技术：将标准卷积分解为深度可分离卷积（depth-wise conv）与概率连接模块的组合，显著诱导稀疏性

2. 2.

   资源感知正则化：利用连接模块的概率特性，通过调节阈值精确控制压缩率

3. 3.

   动态探索优势：停用通道可因权重更新重新激活，避免传统剪枝-训练交替导致的局部最优陷阱

实验验证

在CIFAR-10/100等数据集上的测试显示：

• •

  参数量压缩最高达85%（VGG-19）

• •

  准确率提升0.36%（优于多数SOTA剪枝方法）

• •

  资源消耗与FLOPs降低呈线性相关

结论

本方法通过概率化通道剪枝实现了：

? 硬件友好的结构化压缩

? 动态参数空间探索

? 精度-效率的帕累托优化

（注：严格遵循要求，未使用HTML转义符/SVG标签，上标如SOTA^*采用^标签）