《PLOS Computational Biology》：Cerebellum-inspired neural network of supervised learning with tensor-based sparse coding for multi-class classification
编辑推荐：
在Marr-Ito-Albus框架下，小脑在颗粒细胞（granule cells, GrCs）内产生的无监督稀疏表示基础上，在浦肯野细胞（Purkinje cells, PCs）中执行监督学习，对运动控制中的联想学习具有基础性贡献。然而，小脑回路和可塑性规则实
在Marr-Ito-Albus框架下，小脑在颗粒细胞（granule cells, GrCs）内产生的无监督稀疏表示基础上，在浦肯野细胞（Purkinje cells, PCs）中执行监督学习，对运动控制中的联想学习具有基础性贡献。然而，小脑回路和可塑性规则实现监督学习的具体机制，以及小脑结构约束所诱导的稀疏编码特性，仍缺乏清晰的刻画。为解决这一问题，研究人员首先建立了一种受颗粒层解剖和生理特性启发的稀疏编码机制，包括来自苔藓纤维（mossy fibers, MFs）的输入共享连接、由高尔基细胞（Golgi cells, GoCs）介导的用于赢家通吃（winner-take-all, WTA）稀疏化的局部反馈抑制，以及活动依赖性偏置调整。这种通过高效张量计算实现的稀疏编码，在几何解释中显示出保持局部邻域结构的能力。进一步地，研究人员证明了通过爬行纤维（climbing fibers, CFs）传递到浦肯野细胞的误差信号，与内在可塑性相结合，驱动了对稀疏表示进行多类分类的高效学习，从而在小脑核（cerebellar nuclei, CN）中产生准确的群体编码判断。由此产生的小脑启发神经网络模型在Fashion-MNIST上取得了[缺失]的测试准确率，与通过反向传播训练的单隐层前馈神经网络性能相当，同时提供了超过[缺失]倍的计算加速。该模型还展示了在简化运动任务中的原理验证性闭环控制能力，包括平衡小车上的杆和控制机械臂到达目标。本研究阐明了小脑启发的稀疏编码和监督学习机制，并展示了小脑启发神经网络在多个任务域中的稳健性能。这些结果表明，小脑启发架构可为资源受限和延迟关键型应用中的轻量级神经网络提供有用的设计原则。
小脑启发神经网络中的稀疏编码与监督学习机制解读
该研究发表于《PLOS Computational Biology》。在Marr-Ito-Albus这一计算神经科学奠基性框架中，小脑被视为一个监督学习系统，其浦肯野细胞（Purkinje cells, PCs）接收爬行纤维（climbing fibers, CFs）传递的误差信号，并通过平行纤维突触的长时程抑制（long-term depression, LTD）实现联想学习，尤其是经典的眼睑条件反射。然而，该经典模型存在若干关键问题：LTD具有单向性，只能降低突触权重，因而无法纠正假阳性（false positive, FP）误差；同时，CF信号长期被视为“全或无”的二元信号，无法区分假阴性（false negative, FN）与FP两种本质不同的误差类型。此外，颗粒层中约500亿个颗粒细胞（granule cells, GrCs）通过局部高尔基细胞（Golgi cells, GoCs）反馈抑制产生稀疏编码，但此类受结构约束的稀疏表示如何与下游监督学习有效整合仍不清楚。为此，研究人员提出了一个三层的小脑启发神经网络，结合张量计算、稀疏编码和CF驱动的学习规则，旨在阐明小脑环路实现高效监督学习的具体机制，并为轻量级神经网络设计提供新思路。
在方法层面，研究人员首先利用输入重采样模拟苔藓纤维-颗粒细胞（MF-GrC）的稀疏输入共享连接，将GrC划分为若干“bin”，每个bin内的GrC共享相同的MF输入，并采用随机初始化、归一化的权重矩阵结合top-k操作实现局部的赢家通吃（winner-take-all, WTA）稀疏化。随后，通过活动依赖性偏置调整抑制过度活跃的GrC并重新激活“死亡”神经元。在输出层，PCs和小脑核（cerebellar nuclei, CN）被建模为线性多类分类器，利用CF的基线放电率构造误差信号，整合LTD与内在长时程增强（long-term potentiation, LTP）形成复合学习规则，该规则在数学上等价于多类感知机算法。视觉任务采用Fashion-MNIST（fMNIST）和CIFAR-10数据集；运动任务使用OpenAI Gymnasium中的CartPole和MuJoCo中的Reacher环境。
研究结果分为五个部分。第一，小脑启发神经网络的构造：通过bin内top-k稀疏化及活动依赖性偏置调整，有效解决了稀疏编码中的死亡神经元问题；引入内在LTP后，模型能同时纠正FN和FP错误，且学习过程与学习率取值无关，简化了超参数选择。第二，GrC稀疏表示的几何解释：理论分析表明，该编码等价于基于余弦相似度的k近邻（k-nearest neighbors, KNN）表示，由于top-k操作的尺度不变性，输入向量被映射为与其最相似的k个随机字典原子的二值指示；该编码在正交化远距离样本对的同时保留局部邻域结构。二维玩具数据集验证了该编码可将线性不可分的输入转换为线性可分的稀疏表示。第三，视觉任务性能：在fMNIST上，模型采用2500个bin、总共50,000个GrC，最终测试准确率达到90.78%，比直接作用于原始输入的多类感知机高约10%，比Softmax分类器高约5%；与相同神经元规模、经反向传播训练的单隐层前馈神经网络（FNN）相比，模型在取得相当性能的同时显著缩短执行时间，实现了可观的加速。在CIFAR-10上同样观察到性能相当且计算加速的趋势。第四，CartPole任务性能：通过启发式试错策略生成观测-动作对训练集，训练后的模型在100,000次随机初始化测试中全部成功维持平衡达到最大500时间步，展现出强泛化能力。第五，Reacher任务性能：模型在100,000次随机测试中达到99.14%的成功率，成功试次的中位终止时间为27个时间步（约0.54秒），证明其能快速引导机械臂到达目标并保持稳定。
在讨论部分，作者强调该模型可视为“白盒”架构，其稀疏编码具有清晰的KNN几何解释，而随机权重字典的设计虽与极限学习机（extreme learning machine, ELM）有共性，但bin化top-k稀疏化带来了更好的视觉性能。模型仅需训练浦肯野层，因此训练效率显著高于全连接FNN，符合轻量级应用需求。此外，基线依赖的CF误差信号与内在LTP的整合，为二元指令信号下的高效学习提供了新的解释，其与多类感知机算法的等价性也连接了实验与理论。未来工作可探索更精细的GoC抑制连接、脉冲神经网络实现，以及实时闭环学习扩展。
结论部分翻译如下：总之，该研究强调了颗粒层中基于随机特征的稀疏表示以及浦肯野层中CF误差驱动的多类分类监督学习的小脑启发机制。所提出的小脑启发神经网络在视觉和简化运动任务中表现出稳健的性能，为小脑计算原理如何启发轻量级神经网络架构提供了新的视角。
