基于Spike的对齐学习解决了权重传输问题

《Nature Communications》：Spike-based alignment learning solves the weight transport problem

　　

摘要

学习算法往往受到对称性约束的限制，而这些约束很难与物理神经元网络中的局部计算相协调。例如，对比式赫布学习通常假设连接是对称的，而误差反向传播则需要在反向传递过程中了解正向权重。为了解决这一权重传输问题，我们提出了基于脉冲的对齐学习机制（SAL），这是一种利用噪声实现权重对齐的突触级学习规则。该规则可以与其他功能学习规则同时运行，从而在整个学习过程中保持所需的对称性，进而确保梯度的正确局部表示。SAL能够隐式地消除由于神经元和突触的差异性所导致的误差，而这种差异在无论是生物还是人工的模拟介质中都是普遍存在的。我们通过不同的脉冲贝叶斯推理网络模型以及符合生物学原理的误差反向传播模型来验证这一机制的有效性，并在深度学习计算机视觉任务中对它进行了基准测试。