-
生物通官微
陪你抓住生命科技
跳动的脉搏
生物通官微
陪你抓住生命科技
跳动的脉搏
基于蒙特卡洛的无梯度深度神经网络训练方法
《Science China-Physics Mechanics & Astronomy》：Beyond backpropagation: Monte Carlo method can train deep neural networks
【字体： 大 中 小 】 时间：2026年10月07日 来源：Science China-Physics Mechanics & Astronomy 7.2
编辑推荐：
摘要反向传播（BP）主导了深度学习的训练，但其对梯度的依赖带来了固有的问题——梯度消失和梯度爆炸。追求无梯度方法一直是人工智能领域的长期目标。本文证明，确实，在最简单的单 GPU 上实现的蒙特卡洛算法——随机变异一个参数，如果损失降低则保留，否则重试——可以实际地训练深度网络
反向传播（BP）主导了深度学习的训练，但其对梯度的依赖带来了固有的问题——梯度消失和梯度爆炸。追求无梯度方法一直是人工智能领域的长期目标。本文证明，确实，在最简单的单 GPU 上实现的蒙特卡洛算法——随机变异一个参数，如果损失降低则保留，否则重试——可以实际地训练深度网络。这种无梯度方法甚至不需要批量归一化或残差连接等常用技术，就可以直接训练足够深的网络。更值得注意的是，其灵活性扩展到几个非平凡场景：它支持纯剪枝训练，支持离散权重，兼容高斯等非常规传输函数，并揭示了深度网络的巨大冗余性。我们已在超过 20 层的深度网络、具有多达 16384 个隐藏神经元的单隐藏层宽网络上证明了其可行性，甚至在图像分类（MNIST）和字符级语言建模（Tiny Shakespeare）上都训练了一个简单的 Transformer 架构。这种简单的无梯度方法可能为理解神经网络的自组织和学习机制提供一个补充视角，同时也为构建受物理启发的深度学习系统提供了另一条途径。
反向传播（BP）主导了深度学习的训练，但其对梯度的依赖带来了固有的问题——梯度消失和梯度爆炸。追求无梯度方法一直是人工智能领域的长期目标。本文证明，确实，在最简单的单 GPU 上实现的蒙特卡洛算法——随机变异一个参数，如果损失降低则保留，否则重试——可以实际地训练深度网络。这种无梯度方法甚至不需要批量归一化或残差连接等常用技术，就可以直接训练足够深的网络。更值得注意的是，其灵活性扩展到几个非平凡场景：它支持纯剪枝训练，支持离散权重，兼容高斯等非常规传输函数，并揭示了深度网络的巨大冗余性。我们已在超过 20 层的深度网络、具有多达 16384 个隐藏神经元的单隐藏层宽网络上证明了其可行性，甚至在图像分类（MNIST）和字符级语言建模（Tiny Shakespeare）上都训练了一个简单的 Transformer 架构。这种简单的无梯度方法可能为理解神经网络的自组织和学习机制提供一个补充视角，同时也为构建受物理启发的深度学习系统提供了另一条途径。
