通过考虑稳定性的初始训练和基于密度的渐进滤波器衰减方法来加速深度神经网络的训练过程
《Knowledge-Based Systems》:Accelerating deep neural networks through stability-aware initial training and density-guided asymptotic filter decay
【字体:
大
中
小
】
时间:2026年01月16日
来源:Knowledge-Based Systems 7.6
编辑推荐:
本文提出一种基于网络稳定性的深度神经网络剪枝方法,通过稳定性感知初始化训练获得可靠权重分布,构建超球密度评估模型重要性,并采用渐近过滤器衰减技术实现参数高效转移。实验表明该方法在CIFAR-10和ILSVRC-2012数据集上分别实现62.8%和53.5%的FLOPs缩减,同时保持0.13%和0.87%的精度优势。
庄晨|叶苏|黄金哲|叶一辰|谢一元
中国重庆西南大学电子与信息工程学院,400715
摘要
识别深度神经网络中计算冗余的组件是网络压缩的基石。与仅基于过滤器与全局质心的偏差来进行排序的基于幅度的方法不同(这些方法可能会使参数分布产生偏斜),我们提出了一种新框架,以充分利用参数空间内的潜在特征相关性。首先,对于未经训练或训练不完全的网络,我们引入了网络稳定性的概念,以量化不同训练阶段之间的架构相似性,并在不需要对整个模型进行完全训练的情况下,为搜索最佳网络架构提供明确的指导。因此,我们得到的种子模型比那些使用随机权重初始化的模型包含更可靠的信息。其次,我们分析了参数分布的特征,并为每个过滤器构建了超球体。然后,我们量化了每个过滤器在其超球体邻域内的密度,并根据高密度过滤器具有高“可替换性”的标准来识别冗余过滤器,这些过滤器可以通过微调技术进行恢复。第三,为了确保从原始模型到剪枝模型的知识和转移稳定且平滑,我们采用了一种渐进式过滤器衰减技术,逐步将信息量较大的权重集中在保留的过滤器上。我们在两个真实世界数据集上进行了广泛的实验,以证明我们提出方法的优越性。例如,在CIFAR-10数据集上,我们的方法将ResNet-110的FLOPs减少了62.8%,同时准确率提高了0.13%。在更大的ILSVRC-2012数据集上,我们在ResNet-50上将FLOPs减少了53.5%,同时Top-1准确率仅下降了0.87%。
引言
尽管深度神经网络(DNN)在各种AI驱动的应用中取得了显著突破,如目标检测[1]、语义分割[2]和异常检测[3],但它们固有的计算复杂性和存储需求对资源受限的嵌入式平台上的高效部署构成了重大挑战。此外,更深更广的架构通常能带来更好的性能,但它们也已知存在过度参数化的问题。因此,实现轻量级网络至关重要,这些网络应具有较低的推理时间,同时保持高水平的预测准确性。为了解决这些挑战,研究人员深入研究了模型压缩技术,出现了许多先进的方法。广义上讲,这些压缩技术可以分为几类,包括知识蒸馏(KD)[4]、量化[5]、神经架构搜索(NAS)[6]和网络剪枝[7]。
知识蒸馏(KD)已成为改进和优化大型模型的关键技术。然而,其性能受到教师模型能力的限制,因为学生网络往往难以完全捕获教师架构中嵌入的复杂知识,从而降低了知识转移的效果。量化是一种广泛使用的技术,它用低位数版本替换浮点权重来压缩模型。当与其他先进方法结合使用时,可以取得更好的结果。神经架构搜索(NAS)旨在为特定任务或边缘设备自动设计最佳网络结构。然而,NAS在搜索阶段通常需要大量的计算资源。例如,开创性的NAS模型NASNet-A[8]需要2000个GPU天的时间来搜索一个架构。虽然这些方法很强大,但它们要么依赖于专门的框架(例如量化和NAS),要么需要基于先验知识的手动设计(例如KD),这在实践中可能并不容易实现。
网络剪枝也是一种常见的模型压缩方法,它通过移除神经网络中不重要的连接来实现。传统的网络剪枝包括三个步骤:(i)训练一个密集模型以追求最高的预测准确性;(ii)在不牺牲太多模型性能的情况下消除弱或冗余的连接;(iii)对剩余的过滤器进行微调以补偿性能下降。根据剪枝的粒度,最近的研究可以分为权重剪枝和过滤器剪枝。权重剪枝[9]会删除过滤器内的单个权重,这不可避免地会导致非结构化的稀疏模式。尽管显著减少了参数数量,但这种方法并不能加速模型推理的速度,因为不规则的结构无法直接利用基本的线性代数子程序(BLAS)库,也不被通用硬件设备很好地支持。相比之下,过滤器剪枝在过滤器级别操作,从而能够减少推理时间和内存使用[10]。这种技术能够在不显著损失准确性的情况下实现较高的压缩比,其结构化架构与现有的计算平台高度兼容。因此,过滤器剪枝在加速和压缩DNN方面更为受欢迎。
尽管大多数基于剪枝的算法表现优异,但它们通常存在以下一个或多个弱点:(1)缺乏最佳的剪枝时机策略。许多先前的研究是对预训练模型进行剪枝,但预训练的权重并不总是可用的。一些工作甚至建议在模型初始化之前就进行剪枝,但从零开始剪枝无法为识别最佳架构提供可靠的指导,因为权重是随机初始化的。同时,在模型完全训练后进行剪枝是一个特别耗时的过程。(2)依赖于传统基于幅度的方法中的两个强前提条件。基于幅度的方法严重依赖两个前提条件:较大的偏差和较小的最小值,才能获得满意的结果,但这些条件并不总是满足的。当这两个条件都不满足时,就有可能错误地剪除具有不可替代特征细节的关键组件,从而破坏参数分布[11]。图1(b)直观地说明了这一点。此外,仅依赖过滤器权重或生成的特征图来确定重要性是不稳定的,并且对不同补丁的微小输入变化非常敏感。(3)忽略了批量归一化层的影响。直接将不重要的过滤器设置为零可能会掩盖后续批量归一化层中的缩放因子γ的影响,进一步降低模型的能力。传统上,结构化的剪枝技术涉及直接将不重要的过滤器设置为零,并允许在后续训练中重新激活之前剪枝的过滤器。然而,这种方案很粗糙,我们提供了坚实的理论证明,表明以这种方式进行模型剪枝会大幅缩小剪枝模型的感受野。
在本文中,我们提出了一种网络剪枝策略,该策略结合了稳定性感知的初始训练(SIT)、基于密度的过滤器重要性估计和渐进式过滤器衰减来压缩DNN。这种方法提供了最佳的剪枝时机,保持了参数分布,并最大化了网络的感受野。具体来说,我们认为基于实时稳定性训练网络可以为剪枝提供更有意义的见解,而不是仅仅依赖于随机初始化的权重。为了实现这一目标,我们提出了SIT策略,它提供了两个关键优势:(i)减少预训练的开销;(ii)为剪枝过程提供更可靠的配置。此外,如图1(c)所示,通过消除超球体内的冗余,我们最大限度地保持了参数分布和信息丰富的过滤器,从而提高了识别优秀模型的可能性。此外,我们引入了一种渐进式剪枝方案,通过动态衰减逐步抑制不重要的过滤器,逐渐将信息量较大的权重集中在保留的过滤器上。本文的关键贡献可以总结如下:
•对于随机初始化的网络,应用了一种稳定性感知的初始训练技术,为识别最佳架构提供了明确的指导,且计算开销可以忽略不计。
•引入了一种有效且高效的基于密度的标准来估计过滤器的重要性,有助于识别网络冗余并恢复模型性能。
•采用了一种渐进式过滤器衰减方案,为剪枝后的模型提供了更多空间来调整自身以恢复性能并平滑转移预训练的知识。
•使用CIFAR-10和ILSVRC-2012数据集在各种架构上进行了广泛的实验。结果清楚地证明了所提出方法的有效性和优越性。
相关工作
相关工作
研究人员提供了一系列先进技术来处理DNN日益增加的复杂性,以满足不断发展的嵌入式系统的需求。这些技术包括神经网络剪枝,它涉及消除深度学习模型中不太“重要”的连接。根据操作粒度,网络剪枝可以大致分为两类:非结构化剪枝和结构化剪枝。
提出的方法
我们首先介绍有关结构剪枝的初步知识。然后,如图2所示,我们详细介绍了整个剪枝框架,主要包括三个步骤:(1)SIT(图2(a))。我们不是从零开始剪枝,而是定义了网络稳定性的概念,以适应性地指导密集模型的初始训练几个周期,从而快速确定最佳剪枝架构。(2)基于密度的过滤器重要性估计(图2(b))。在这个阶段,我们
实验
为了证明我们提出方法的优越性,我们进行了广泛的实验,将SIT&DAFD与经典和最先进的剪枝技术进行了比较。
结论
为了识别网络冗余并确保知识的平滑转移,我们提出了一种名为SIT&DAFD的新过滤器剪枝方法。首先,我们实现了一种自动的早期训练停止策略,为网络剪枝提供了足够的知识,而不是依赖于随机初始化的权重。随后,为了保持参数分布和特征区分,我们构建了一个超球体并定义了过滤器密度来计算局部区域内的过滤器重要性。
CRediT作者贡献声明
庄晨:撰写——原始草稿,概念化,方法论,软件,撰写——审阅与编辑。叶苏:形式分析,软件。黄金哲:可视化。叶一辰:资金获取。谢一元:项目管理,资金获取,监督。
利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。
致谢
本工作得到了国家重点研发计划(项目编号2024YFB4710101)、中国重庆市自然科学基金(项目编号CSTB2024NSCQ-LZX0086)、西南大学创新研究2035试点计划和中央高校基本研究基金(项目编号SWU-XDPY22013)、西南大学青年团队专项基金(项目编号SWU-XJPY202301)以及国家自然科学基金(项目编号62441506)的支持。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号