基于奇异值驱动的自动化滤波器剪枝方法SLIMING：提升深度神经网络压缩效率的新策略

为解决深度神经网络中滤波器冗余导致的模型臃肿问题，研究人员提出了一种基于奇异值驱动的自动化滤波器剪枝方法SLIMING。该研究通过分析滤波器张量的多维结构特性，将剪枝问题分解为配置估计和滤波器选择两个子问题，并分别提出启发式算法求解。实验表明，SLIMING在CIFAR-10/100、ImageNet和COCO数据集上实现了最高93.74%的Top-1准确率，同时将MACs和参数量分别压缩81%和92%，显著优于现有方法。这项发表于《Neural Networks》的研究为自动化模型压缩提供了新的理论框架和技术路径。

　　

在深度学习领域，模型压缩技术始终面临着"性能保持"与"资源节约"的双重挑战。随着卷积神经网络(CNN)在图像分类、目标检测等任务中的广泛应用，其庞大的计算量(MACs)和参数量(Params)严重制约了在移动设备上的部署效率。传统剪枝方法往往依赖人工设定层间剪枝比例，或通过特征图评估滤波器重要性，这些方法不仅耗时耗力，还可能破坏网络的多维结构信息。更关键的是，现有自动化剪枝方案如强化学习(RL)或神经架构搜索(NAS)需要代理数据集或校准阶段，导致计算成本居高不下。

针对这些瓶颈，中国科学院自动化研究所的研究团队创新性地从线性代数视角切入，发现滤波器冗余与奇异值变化存在内在关联。在发表于《Neural Networks》的这项研究中，他们提出SLIMING（Singular vaLues-drIven autoMated filter prunING）方法，首次将滤波器剪枝建模为基于核范数(nuclear norm)的约束优化问题。该方法突破性地利用高阶奇异值分解(HOSVD)分析4阶滤波器张量的模式-1切片，通过保留最大奇异值对应的滤波器来维持网络表达能力。

研究团队采用两项核心技术：首先开发了基于贪婪搜索的配置估计算法，自动确定各层最优滤波器保留数量；随后设计贪心消除方法(GEM)，迭代剔除冗余滤波器。这些技术创新使得SLIMING完全摆脱对输入数据的依赖，仅通过权重张量本身特性即可完成剪枝决策。

实验结果验证了方法的优越性：在CIFAR-10数据集上，VGG-16-BN经SLIMING压缩后仅保留10.76M参数(压缩率51%)，Top-1准确率反升0.33%至94.22%；ResNet-56在CIFAR-100上实现73.69%准确率，MACs减少30%。特别在ImageNet任务中，ResNet-50的推理速度提升2.3倍，COCO数据集上MaskRCNN的AP^0.5:0.95仅下降1.38个百分点，但FPS从10提升至24。

该研究的核心突破在于建立了滤波器张量奇异值与网络冗余的理论关联，并据此开发出完全数据无关的自动化剪枝框架。相比需要特征图计算的HRank方法或依赖强化学习的RLAL算法，SLIMING在CIFAR-10上以893个非冗余滤波器(100%召回率)完美复现了合成数据集SVGG的基准性能。方法的多维张量处理能力尤其突出——在GoogLeNet多分支架构上实现95.31%准确率，MACs压缩达81%，证明其对复杂结构的适应性。

这项研究为深度学习模型压缩提供了新的理论视角和技术路径。其提出的奇异值驱动框架不仅克服了传统方法依赖人工经验或代理数据的局限，更通过严格的数学形式化保证了剪枝过程的可靠性。未来，该技术有望在移动端AI、边缘计算等领域发挥重要作用，为资源受限环境下的模型部署提供标准化解决方案。研究团队已开源代码，这将进一步推动自动化模型压缩技术在工业界的应用落地。