基于邻接边索引的深度神经网络谱剪枝
《Machine Learning and Knowledge Extraction》:Spectral Pruning of Deep Neural Networks via Adjacency Edge Index
【字体:
大
中
小
】
时间:2026年08月13日
来源:Machine Learning and Knowledge Extraction 8.4
摘要
本研究提出了一种基于邻接边指数(AEI)的新谱剪枝方法,该指数源自谱图理论及一阶矩阵扰动理论中的中心性度量指标。AEI得分通过Fiedler向量反映每个神经元对网络动态同步性的贡献。因此,AEI方法为数据驱动的神经元共激活图提供了具有数学依据的显著性评分。所提出的方法已在MNIST、Fashion MNIST、KMNIST以及一个真实世界社交网络数据集上进行了测试。此外,该方法还通过空间全局平均池化技术被扩展应用于CIFAR-10数据集上的卷积滤波器剪枝。研究将AEI方法与基于幅值的剪枝方法(如L1和L2范数)以及基于梯度的剪枝方法(如SNIP和GraSP)进行了比较。通过对比五种不同随机种子下的实验结果,证明了所提方法的稳定性。与那些以提升准确率为目标的剪枝方法不同,AEI方法是一种具有原则性、可解释性且能考虑结构特性的剪枝标准。谱分析表明,AEI是唯一一种能够有针对性地筛选出结构上处于边缘位置的神经元的方法,而基于幅值的方法则会对结构谱中的各类神经元进行广泛剪枝;GraSP则会主动去除结构上处于中心的神经元,这一效应在更复杂的数据集和更深层次的架构(如CIFAR-100、ResNet-20)中尤为明显,会导致在高稀疏度情况下准确率显著下降。研究人员还将AEI方法与L2范数相结合,形成了混合剪枝方法。实验结果显示,在40%的稀疏度下,该混合方法的准确率优势相比现有最佳方法从5.46个百分点提升到了2.26个百分点。此外,通过开展关于图结构选择对方法影响程度的消融实验,进一步证明了所提方法的稳定性。研究表明,当Spearman相关系数约为0.70时,该方法对图结构的选择具有中等程度的稳定性,其准确率差异小于0.2%。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号