基于重要性采样与分块最小化的鲁棒神经网络训练优化策略

本文系统探讨了通过重要性采样（Importance Sampling）与分块最小化（Mini-batching）策略优化随机梯度下降（SGD）训练过程的新方法。作者提出ISMB算法，通过均匀分块计算梯度L2范数上界，动态调整采样分布，显著降低梯度估计方差，在多个数据集上实现了媲美全梯度训练的收敛速度与泛化性能。

　　

亮点（Highlights）

• •
  提出结合重要性采样与分块最小化的新型批量选择算法ISMB
• •
  通过最小化均匀分块内的梯度方差实现最优采样分布
• •
  采样概率与梯度L₂范数上界成正比，计算成本可忽略不计
• •
  在多数据集和网络架构中验证了优于现有方法的性能表现

方法（Methodology）

本小节详细阐述了针对随机优化中复杂挑战设计的创新算法。该算法通过最大化梯度估计的方差削减，有效降低计算成本并提升收敛速度。

符号说明（Notation）

训练集数据-标签对记为{(x_i, y_i)}_i=1^N，其中x_i ∈ R^d为数据向量，目标标签y_i（如MNIST数据集中y_i ∈ C={0,1,...,9}）对应手写数字分类类别。

实验（Experiments）

本节验证了所提算法在均匀分块中最小化梯度方差的采样策略，相比包括递减步长和核心集选择在内的先进方法更具效能。通过在公开数据集上的实验表明，我们的方法能有效降低梯度方差并加速深度神经网络训练，其性能可与全梯度方法相媲美。

结论（Conclusions）

我们开发了基于重要性采样的新型批量选择算法ISMB，通过从均匀分块中按梯度L₂范数上界比例采样实例，评估加权最小批量梯度估计与全梯度的一致性，有效降低了梯度估计方差。