基于可学习平滑掩码的批量梯度下降收敛性研究及其在前馈神经网络剪枝中的应用

本文提出了一种创新的前馈神经网络(FNN)剪枝方法，通过可学习平滑掩码(BGLSM)技术将NP-hard组合优化问题转化为无监督分类问题。作者采用批量梯度下降法优化包含三项正则化项的误差函数，在理论层面证明了算法收敛性，并通过多组基准数据集验证了该方法在权重和神经元剪枝中的卓越性能。

　　

Highlight

相关研究

本节重点讨论基于正则化惩罚项的FNN稀疏化方法。_L2正则化虽能有效控制权重幅度，但对大小权重采用相同衰减率不利于稀疏性。为解决该问题，权重消除法(weight elimination)被提出...

前馈神经网络与问题建模

我们分析的三层FNN包含输入层(_n节点)、隐藏层(_h节点)和输出层(_m节点)。权重矩阵_W⁽¹⁾连接输入与隐藏层，_W⁽²⁾连接隐藏与输出层，其中首列分别包含隐藏节点和输出神经元的偏置项。_σ1和_σ2表示激活函数...

实验设置

本节通过系统实验验证BGLSM方法的有效性。我们详细描述了所用数据集、神经网络架构，以及学习过程和本方法相关的超参数设置。后续将重点分析该方法的实验收敛性和剪枝能力，并进行横向对比...

结论

本文提出的可学习平滑掩码剪枝法，通过将权重/神经元分类问题转化为正则化误差函数优化，采用批量梯度下降实现了：1) 重要参数的精准识别 2) 冗余节点的有效剪枝 3) 理论收敛性保障。实验表明该方法在保持精度的同时显著提升网络稀疏度。

附录

为简化证明，引入以下符号并首先证明两个关键引理：

• _Ep和_Eq

• _?Ep和_?Eq

引理1

若假设(H1)-(H2)成立，则满足：_{‖?Ep‖ ≤ L‖θ‖}

引理2

设_f在紧集_Ω上连续可微，且_{{θ|?f(θ)=0}}仅包含有限个点...