《PLOS Computational Biology》:‘Backpropagation and the brain’ realized in cortical error neuron microcircuits
编辑推荐:
本刊推荐:研究人员为探究大脑如何利用局部误差信号进行高效学习,围绕“反向传播与大脑”假说,构建了一个基于灵长类视觉皮层连接组学的、生物启发式多脑区皮质微环路模型。该模型实现了无需分相的、连续的错误反向传播(BP)近似,成功在多种任务上验证了其学习能力与可扩展性,并与层次预测编码(hPC)等理论建立了明确关联,为理解皮层复杂功能的学习机制提供了新见解。
我们的大脑是一个异常强大的学习机器,能够处理复杂感官信息、做出决策并控制精细动作。然而,大脑皮层中数十亿神经元如何通过局部、并行的互动,协同实现如此复杂的计算功能,一直是神经科学的核心谜题。人工智能领域的深度学习(deep learning)革命,其核心驱动力是错误反向传播(error backpropagation, BP)算法。BP通过从输出层向输入层逐层传递误差,为网络中每个连接(权重)计算其对于最终错误的“贡献度”,从而高效地调整网络,使其在图像识别、自然语言处理等任务上表现出色。这不禁令人遐想:大脑是否也采用了某种形式的BP来指导学习?“反向传播与大脑”(‘backpropagation and the brain’)的假说由此而生。
然而,将BP直接套用于大脑面临着根本的生物学合理性(bio-plausibility)挑战。经典的BP算法要求精确的权重对称传输、离散的前向与反向传播阶段、以及全局的误差信号协调,这些特性在大脑的嘈杂、连续、高度并行的生物网络中难以实现。与此同时,神经科学领域长期存在的预测处理(predictive processing)框架,特别是层次预测编码(hierarchical predictive coding, hPC)理论,提出大脑通过比较自上而下的预测与自下而上的感觉输入产生的“预测误差”(prediction error)来驱动学习和感知。虽然hPC在概念上与BP有深层次关联,但许多经典模型也存在生物实现上的困难,例如对神经元之间理想信号传输、严格层次连接或分阶段学习的假设。
那么,是否存在一种模型,既能体现BP算法高效、可扩展的学习精髓,又能满足大脑皮层在连接、形态和动力学方面的生物学约束?这正是本项研究试图回答的问题。发表在《PLOS Computational Biology》上的这项研究,提出了一个新颖的、受生物学启发的多脑区皮质微环路模型。该模型的核心创新在于明确设定了两种功能特化的锥体神经元(pyramidal cell, PYR)群体:表征神经元(representation neuron,对应皮层第5层锥体细胞)和错误神经元(error neuron,对应皮层第2/3层锥体细胞)。研究人员以灵长类动物视觉皮层的功能连接组(connectome)数据为指导,构建了这些神经元群体在不同脑区之间的连接模式,其网络结构并非严格的层级结构,而是包含了跨层级连接的“松散层级”。模型中的每个神经元被建模为具有三个独立整合区室(胞体、表征接收室和错误接收室)的多区室单元,其动力学在连续时间中运行,无需离散的学习或推理阶段。学习通过一种局部的、类赫布(Hebbian-type)的可塑性规则实现,该规则始终在线。研究表明,该模型的网络动力学能够近似误差反向传播,并在多种基准测试中展现了强大的学习能力和可扩展性,为解决皮层如何实现复杂学习的长期问题提供了一个具体、可检验的电路级假说。
为开展这项研究,作者主要采用了以下几种关键技术方法:首先,基于马尔可夫等人(Markov et al. 2014)提供的猕猴视觉皮层投射密度数据,构建了模型脑区间的生物合理性连接矩阵。其次,建立了包含表征和错误两类神经元群体的多区室神经元数学模型,其中神经元动力学采用了前瞻性编码机制以实现时空信用分配。模型在多种监督学习任务上进行训练和评估,包括非线性的阴阳分类任务、需要时空记忆的延迟匹配样本任务、小车倒立摆控制任务以及生成式的MNIST数字预测任务。最后,通过系统性地改变网络层数、局部连接强度、神经元变异性和进行连接损毁实验,并与标准人工神经网络、层次预测编码模型(如Mikulasch等人的树突hPC模型)和萨克拉门托等人的树突皮质微环路模型进行比较,全面评估了所提出模型的性能、鲁棒性和生物合理性。
研究结果
1. 运动控制和时空信用分配:研究首先在经典的运动控制问题(小车倒立摆)和需要短期记忆的任务(延迟匹配样本,DMS)上测试了模型。结果显示,仅包含少数神经元(如[4-1]或[2-1]结构)的微环路模型就能成功学习并稳定倒立摆,其表现与线性二次型调节器(LQR)相当。在DMS任务中,模型通过神经元膜电时间常数提供的短期记忆机制,成功解决了变长延迟的匹配问题,其表现与通过时间反向传播训练的等效循环神经网络(RNN)相当。这表明模型能够处理时空信用分配问题。
2. 显式错误神经元可扩展到多个脑区,而树突错误构建模型则面临困难:研究将模型与当前生物合理性较高的树突错误构建模型(萨克拉门托等人的微环路模型和米库拉什等人的树突hPC模型)进行了比较。在一个通过模仿随机初始化的教师网络来增加任务复杂度的实验中,随着网络层数(模拟脑区数量)的增加,树突错误构建模型的性能显著下降,而本研究提出的错误神经元模型的表现则与使用标准BP训练的人工神经网络(ANN)相当。这表明,在误差需要跨越多个脑区传播时,显式的错误神经元群体比在单个神经元树突上局部构建误差的机制更具可扩展性和鲁棒性。
3. 网络受益于错误和表征神经元的松散匹配:与经典预测编码模型中要求错误与表征神经元严格一一对应不同,本模型仅假设它们之间存在优先靶向的局部连接。在一个生成式MNIST数字预测任务中,研究人员系统性地改变了V2脑区中表征和错误神经元的数量。结果表明,网络性能在种群数量变化下保持稳定,并且增加表征神经元(尤其当其数量超过错误神经元时)比单纯增加错误神经元更能提升性能。这表明,放宽严格的一一对应要求不仅更具生物合理性,还能通过增加表征维度来提升网络的学习能力。
4. 错误神经元微环路对神经元变异性和损毁具有鲁棒性,除非误差信号噪声过大:通过在生成式MNIST任务中引入神经元激活函数的参数变异,研究发现模型对表征神经元的变异(如斜率、偏置的扰动)具有相当的容忍度,但对错误神经元的变异,特别是偏置的变异,则非常敏感。这是因为错误信号的符号对正确学习至关重要。此外,在一个三脑区网络(模拟V1, V2, V4)的损毁实验中,当切断V2到V1的主要连接后,基于严格层级模型的网络无法恢复,而基于视觉皮层连接组(包含跨层级连接)的模型能够利用V4到V1的“跳跃连接”(skip connections)重新学习并恢复性能,展示了生物真实连接模式在应对损伤时的稳健性。
研究结论与讨论
本研究提出了一个整合了“反向传播与大脑”假说和预测处理框架的生物启发式皮质微环路模型。其核心结论是,通过在大脑皮层每个区域设定功能特化的错误神经元(L2/3 PYR)和表征神经元(L5 PYR)群体,并依据解剖连接组学数据构建其多区室动力学和区内、区间连接,可以实现一种无需分相、始终在线的学习机制,其网络动力学能够近似误差反向传播算法。
该模型的重要意义在于,它同时解决了多个长期存在的生物合理性难题:1) 区间连接:采用基于实验观测的、非严格层级的连接模式(如灵长类视觉皮层连接组);2) 神经元形态与动力学:将锥体神经元建模为具有时空动力学的多区室单元;3) 可塑性:实现无需相位、始终在线的局部赫布型学习规则;4) 局部匹配:无需错误与表征神经元的严格一一对应;5) 可扩展性:能够高效训练包含多个脑区的网络,性能与人工神经网络相当。特别地,与近期备受关注的树突错误构建模型相比,本研究证明了显式错误神经元在跨越多脑区传播误差、实现复杂时空任务学习方面具有显著优势。
模型做出了多项可实验验证的预测,以区别于其他理论:首先,它预测存在分离的、功能特化的错误和表征神经元流,分别由L2/3和L5锥体细胞实现,并具有不同的整合动力学(错误神经元为乘法整合,表征神经元为加法整合)。其次,它预测皮层区间连接应体现L5→L5的表征流和L2/3→L2/3的错误流。第三,它预测局部L2/3到L5的投射对于向表征神经元传递学习所必需的误差信号至关重要,抑制这些连接会阻碍学习。第四,它预测网络对错误神经元活动的扰动比表征神经元活动的扰动更为敏感。最后,模型表明包含跨层级连接的“松散层级”结构能赋予网络在部分连接损毁后的恢复能力。
当然,该模型仍有一些未解决的生物学约束,如处理有符号误差信号的机制、遵循戴尔定律的兴奋/抑制性分离,以及向脉冲神经网络模型的扩展等,这些是未来研究的方向。总体而言,这项工作通过构建一个具体、可计算、并与大量生理证据相兼容的微环路模型,极大地推进了“反向传播与大脑”假说。它不仅为理解皮层如何实现复杂学习提供了一个强有力的候选机制,也通过提出明确的、可检验的预测,架起了计算理论与实验神经科学之间的桥梁。