编辑推荐：
研究人员提出了一种能够在训练早期识别并消除神经网络中无关层的算法。与权重级或滤波器级剪枝不同，层剪枝减少了神经网络中更难并行化的顺序计算量。研究人员采用在非线性网络段周围使用线性残差连接的结构，使得一旦非线性段被剪枝，信息仍可通过网络流动。该方法基于变分推断（
研究人员提出了一种能够在训练早期识别并消除神经网络中无关层的算法。与权重级或滤波器级剪枝不同，层剪枝减少了神经网络中更难并行化的顺序计算量。研究人员采用在非线性网络段周围使用线性残差连接的结构，使得一旦非线性段被剪枝，信息仍可通过网络流动。该方法基于变分推断（Variational Inference, VI）原理，对神经网络权重使用高斯尺度混合先验（Gaussian Scale Mixture Prior），并在训练与推理阶段均实现显著成本节约。具体而言，研究人员学习非线性段整个层权重矩阵前乘的标量Bernoulli随机变量后验分布，类似于自适应逐层丢弃（Adaptive Layer-wise Dropout）。为克服并发学习与剪枝中的挑战（如过早剪枝、对权重初始化或起始网络规模缺乏鲁棒性），研究人员采用先验参数上的“扁平化”超先验（Flattening Hyper-prior）。研究人员证明，使用该超先验后，所得优化问题的解始终描述后验分布参数取0或1的确定性网络。研究人员构建了投影随机梯度下降（Projected Stochastic Gradient Descent）算法，并利用随机近似结果证明其收敛至此类解。特别是，研究人员解析建立并证明了导致层权重收敛至零的条件，并从理论结果导出实用剪枝条件。所提算法在MNIST、CIFAR-10与ImageNet数据集及LeNet、VGG16、ResNet等常用全连接、卷积与残差架构上评估，仿真表明该方法因并发训练与剪枝，在以更低计算成本实现层剪枝方面达到最优性能。
研究背景与动机
深度神经网络（Deep Neural Network, DNN）在现代机器学习任务中表现卓越，但深层架构常存在过度参数化问题，导致训练与推理计算负担沉重，难以部署于低功耗移动设备。现有剪枝研究多聚焦权重级或节点级结构化剪枝，虽能加速推理，但层间顺序计算这一难以并行化的瓶颈未被触及；而层剪枝可消除整层权重矩阵，大幅削减顺序工作量与内存传输。已有层剪枝方法多在预训练后执行，无法在训练期节约算力，且并发训练与剪枝面临过早剪枝、对初始化敏感等挑战。为此，研究人员在《Neurocomputing》发表本研究，提出一种基于变分推断的并发训练与层剪枝算法，旨在训练早期即识别冗余层，兼顾算力节约与模型性能。
主要关键技术方法
研究人员构建带线性残差绕行的非线性块结构，使层剪枝后信息可经skip-connection流通；对每层非线性路径乘性引入标量Bernoulli随机变量z(l)∈{0,1}，其参数α(l)∈[0,1]由变分推断学习；权重设高斯先验，α(l)设Bernoulli先验并加扁平化超先验（∝α(l)-1(1-α(l))-1）以抑制过早剪枝；通过最大化证据下界（Evidence Lower Bound, ELBO）导出含数据拟合项、权重L2正则与α线性项的优化目标，并用投影随机梯度下降联合更新权重与α，理论上证明解必为α∈{0,1}的确定性网络。实验在MNIST、CIFAR-10、ImageNet及LeNet、VGG16、ResNet（含ResNet110、ResNet152）上验证。
研究结果
- 2.
问题建模（Problem formulation）
2.1 层剪枝网络架构：给出通用残差块结构（非线性路径Fθ经z(l)门控，加线性残差路径），说明ResNet原生skip-connection可直接复用，VGG类序列网络需补加恒等绕行；z(l)=0时该块退化为纯线性并可吸收至邻层，实现整层消除。
2.2 统计建模：设回归似然为高斯、分类为类别分布；权重θ～N(0,τ-1I)，z(l)～Bern(α(l))，α(l)上加扁平化超先验；最大后验（Maximum A Posteriori, MAP）导出含KL正则的目标。
2.3 变分近似：用变分后验q(z)近似真实后验，ELBO分解为数据期望损失、q与先验KL、α先验项；扁平化超先验使α梯度含常数项?log(α(1?α))导数，可调节剪枝强度。
- 3.
主要结果（Main results）
3.1 解的特征：证明目标函数对α多线性且在[0,1]盒约束下，极小值必在端点，故最优网络为α(l)∈{0,1}的确定性网络。
3.2 最优性条件：对单层缩减问题列KKT条件与Hessian，分α=0、α=1、0<α<1三情形讨论；α=0时非零权重必使二阶条件失效，故不可能为极小；α=1为合法局部极小；0<α<1需满足特定正定与梯度条件，实际收敛中被端点吸引。
- 4.
学习算法（Learning algorithm）
给出投影SGD流程：每步采样z(l)～Bern(α(l))做前向，反向传播得权重与α梯度，α经[0,1]投影；早中期α自发趋近0/1，达阈值的层在训练中即冻结移除。
- 5.
收敛性分析（Convergence results）
借随机近似与动力系统稳定性，证α(l)动态在0与1各有吸引域，一旦进入0邻域权重同步衰减且不可恢复，给出可安全剪枝的判据。
- 6.
实验（Simulations）
在MNIST/LeNet、CIFAR-10/CIFAR-100/VGG16/ResNet110、ImageNet/ResNet系列对比固定丢弃率、L1缩放因子、BN置零等基线；并发剪枝在ResNet110上获约若干倍训练耗时下降，准确率损失微小，层剪枝比同FLOPs权重剪枝效率更高。
讨论与结论翻译
讨论指出，扁平化超先验是并发层剪枝鲁棒性的关键，它既防过早剪枝又强制终态确定性；投影SGD理论收敛性为早期安全删层提供依据。结论部分原文表述为：研究人员证明采用扁平化超先验后优化解必为后验参数取0或1的确定性网络；所提投影SGD依随机近似收敛于此解，并解析给出层权重归零条件与实用剪枝准则；算法在MNIST、CIFAR-10、ImageNet及LeNet、VGG16、ResNet上以低于竞法的计算成本实现最优层剪枝性能，表明并发训练与层剪枝可兼得算力节省与精度保持。
