指数化梯度学习产生类脑突触分布：从规范优化到 Dale 定律与对数正态权重

《Neuron》：Exponentiated gradient learning yields brain-like synaptic distributions

　　

人工神经网络（artificial neural networks, ANNs）采用梯度下降（gradient descent, GD）训练常被用于建模大脑学习，但 GD 允许突触在兴奋性与抑制性之间切换，并产生与实验观察不符的权重分布。研究人员显示，另一种规则即指数化梯度（exponentiated gradient, EG）可避免这些问题：其乘法式、指数型权重更新在数学上禁止突触变号，并优先放大已有大权重，从而自然生成对数正态（log-normal）分布。该机制把任务相关计算集中到更小的强连接子集上，使 EG 训练的循环神经网络（recurrent neural networks, RNNs）比 GD 训练网络对突触修剪（synaptic pruning）更鲁棒，并在大量输入无关的生物相关设定下优于 GD。EG 在标准认知任务上匹配 GD 性能，同时把规范优化原理直接与大脑突触组织特征联系起来。

研究背景方面，计算神经科学日益需要用模型学习生态相关行为与高维输入，梯度下降因训练人工神经网络高效而被广泛使用。但 GD 存在明显现象学偏差：它违反 Dale 定律（Dale’s law），即突触不能在兴奋与抑制间切换；它不产生跨物种与脑区观察到的对数正态突触权重分布；它容易拾取任务中无关特征，而大脑更擅长忽略无关信息。即便不讨论生物可塑性实现问题，这些现象差异也促使研究人员寻找更类脑的学习算法。该算法应在认知任务上不弱于 GD，同时更好匹配 Dale 定律、对数正态权重、忽略无关输入等生物学现象。论文发表于《Neuron》。

关键技术方法方面，研究人员使用 Mod-Cog 含 82 个认知任务的基准套件训练 2500 单元 ReLU 循环神经网络（RNNs）；以镜像下降（mirror descent）框架推导 GD 与 EG，用反向传播通过时间（backpropagation through time, BPTT）计算梯度；采用动态相似性分析（dynamical similarity analysis, DSA）比较状态空间轨迹；用 NeuroGym 提供任务、MotorNet 控制两关节平面臂、NEURON 模拟多房室锥体细胞；样本形态来自 Allen Cell Types Database 的多个小鼠锥体细胞重建；并设置符号约束 GD（sign-constrained GD, scGD）作为对照。

研究结果部分，Deriving learning algorithms from optimization theory 小节中，研究人员从镜像下降出发，以平方 2 范数惩罚得 GD 更新 w_t+1=w_t?η?l(w_t)，以非归一化相对熵作突触改变惩罚得 EG 更新 w_t+1=w_t⊙exp(?η?l(w_t)⊙sign(w_t))，说明 EG 天然遵守 Dale 定律并产生大权重偏好。EG and GD have similar performance, but EG is a better phenomenological fit to biology than GD 小节中，RNN 在 Mod-Cog 上二者终期准确率均约 98.4%，但 GD 权重偏离对数正态，EG 权重仍近似对数正态，GD 有突触变号而 EG 无，且 EG 的更新幅度与当前权重幅度成比例。EG and GD discover similar but different solutions to cognitive tasks 小节中，DSA 显示两算法解不完全相同，GD 跨任务解多样性高于 EG，但算法间差异小于任务间差异。Learning with EG is more robust to synaptic pruning 小节中，修剪小权重时 EG 精度下降更少，修剪后重训 EG 恢复更快且权重空间变动更小，EG 网络呈现更高聚类和更小世界拓扑。EG is better at ignoring irrelevant features 小节中，点神经元与多房室神经元实验中，相关输入占比越低，EG 相对 GD 优势越大，能更好只给相关输入大权重。EG is better at continuous control with irrelevant features 小节中，两关节臂控制任务里加入无关噪声后，EG 学习更快、最终误差更小；无无关输入时二者相当。

讨论部分总结，研究人员指出 GD 与 EG 差异源于突触“距离”度量和权重空间几何不同；EG 的指数变换加乘法更新形成信用分配机制，使少数连接变强、多数连接偏弱，从而解释修剪鲁棒性、小世界性质和无关输入忽略。局限包括仍依赖类梯度信号、任务难度有限、未细分细胞类型。意义在于 EG 把乘法式权重依赖可塑性与镜像下降规范原理结合，可在不失任务性能下复现类脑权重统计，为数据约束型神经回路学习模型提供框架。

研究结论部分翻译如下：指数化梯度导致与梯度下降不同的解。这些差异的一个原因是不同突触邻近惩罚实际上改变了不同突触权重设定之间的“距离”。因此给定相同初始权重，GD 和 EG 到目标权重设定有不同“距离”，一般更倾向于发现某些而非其他权重配置。这与 Mod-Cog 套件结果一致：网络行为非常相似，但学到的突触权重明显不同。另一原因是 EG 将梯度的指数变换与乘法权重更新结合；指数会放大或压缩梯度坐标差异，乘法更新使信用分配偏向少数连接，自然产生少量强连接、大量弱连接的解，影响修剪、小世界性质及稀疏相关输入学习。这些效应反映 EG 的非欧几何。EG 还可更好发现初始化中的“赢彩票”子回路；但若可行解必须变号且网络欠参数化，GD 可能优于 EG，不过生物回路不属此情形。EG 属于乘法、权重依赖可塑性家族，但由镜像下降规范原理导出，能维持类对数正态统计并学难任务。它可为神经回路模型提供计算与实验桥梁，推动数据约束学习算法发展。