《PLOS Computational Biology》:Predictive coding explains asymmetric connectivity in the brain: A neural network study
编辑推荐:
预测编码(predictive coding)的奠基性框架提出一个层次化的生成模块(generative modules)层级结构,每个模块试图推断下一级模块的神经表征;预测由自上而下的反馈投射(top-down feedback projections)承载
预测编码(predictive coding)的奠基性框架提出一个层次化的生成模块(generative modules)层级结构,每个模块试图推断下一级模块的神经表征;预测由自上而下的反馈投射(top-down feedback projections)承载,而预测误差则通过互逆的前向通路(reciprocal forward pathways)传播。这种对称的反馈连接在计算模型中支持对噪声刺激的视觉处理。然而,神经生理学研究已发现不对称皮层反馈连接(asymmetric cortical feedback connections)的证据。研究人员利用增强有预测反馈的卷积神经网络模型(convolutional neural network, CNN),这些模型被训练用于计算真实世界物体的抓取位置,研究了神经反馈在用于计算抓取参数的视觉处理中的贡献。在确认了对称反馈在噪声刺激评估中对抓取检测性能的改善效应后,研究人员描述了类似于皮层中观察到的不对称反馈的性能影响。具体地,研究人员测试了扩展有短程(short-range)、中程(medium-range)、长程(long-range)和超长程(longer-range)反馈连接的模型变体,这些连接(i)起源于同一源层或(ii)终止于同一目标层。研究人员发现,在不利条件下,预测编码的性能增强效应对于中程不对称反馈是最优的。此外,当中程反馈起源于接近输入层的表征抽象层级(representational abstraction)时,这种效应最为显著,相比之下较远层的作用较弱。总之,研究人员的模拟表明,在针对抓取检测优化的神经网络模型中,引入生物上真实的不对称预测反馈可提高模型对噪声视觉刺激的鲁棒性。
视觉系统中的反馈连接是大脑实现预测编码(predictive coding)的关键机制。经典的预测编码框架假设对称的反馈通路,即每个高层区域向直接相邻的低层区域发送预测信号,而误差信号通过互逆的前馈通路向上传播。这种对称结构在计算模型中能有效支持噪声刺激下的物体识别。然而,神经生理学定量图谱研究揭示了大量非互逆的“不对称”皮层反馈连接,其来源可以跨越多个脑区,但这类连接在神经计算中的功能作用尚不清楚。针对这一问题,研究人员旨在探索不对称反馈(asymmetric feedback)如何影响视觉处理,特别是抓取参数的计算,并揭示反馈路径长度和源层表征抽象层级(representational abstraction)对噪声鲁棒性的贡献。该研究发表在《PLOS Computational Biology》。
主要关键技术方法:
研究人员采用卷积神经网络(convolutional neural network, CNN)架构(分为短骨干和长骨干两个版本),基于Jacquard数据集(包含11,619个物体、约500万抓取注释,按66%/17%/17%划分训练/验证/测试集)进行抓取位置预测训练。在预训练的前馈模型上,利用Predify库实现预测编码动力学(predictive coding dynamics),通过添加不同路径长度(短程、中程、长程、超长程)和不同源层抽象层级(近端、中间、远端)的反馈连接,在测试阶段向输入图像注入不同标准差(σ)的高斯噪声,以均方误差(mean squared error, MSE)和交并比(intersection-over-union, IoU)评估模型性能。采用重复测量方差分析(ANOVA)和Tukey事后检验进行统计分析。
研究结果:
Feedback improves robustness of grasp detection to noise
研究人员首先在短骨干模型上添加对称反馈(4个连续PCoder)。在15个预测编码时间步中,对所有噪声水平,模型在最终时间步(t=15)的抓取检测MSE显著低于初始前馈时间步(t=1),平均差异显著(t=8.49, p<0.001)。这一结果表明,预测编码迭代过程能够逐步去除噪声,提升抓取参数表征的保真度。
Performance-related effects of feedback are layer-dependent
进一步,研究人员通过两组实验系统比较不同路径长度反馈的效应。
Constant feedback target(固定目标层)
在短骨干和长骨干模型中,所有反馈连接终止于同一目标层(卷积块1的最终ReLU层),而反馈源层依次位于不同抽象层级(短、中、长、超长)。重复测量ANOVA显示,反馈距离主效应显著(短骨干F=48.33, p<0.001;长骨干F=57.32, p<0.001),且中程反馈在所有噪声水平下平均表现最优。事后比较证实中程反馈与其他反馈类型之间的差异显著(p<0.05)。还发现反馈距离与噪声水平存在显著交互作用,表明中程反馈在中等噪声下最有效。
Constant feedback source(固定源层)
保持反馈源层固定(短骨干为卷积块4的最终ReLU层,长骨干为卷积块5的最终ReLU层),改变反馈目标层。结果再次显示中程反馈平均改善最大,中程反馈在多数噪声水平下表现最佳(除零噪声外),统计结果与实验2一致。
Proximal neural feedback loops improve robustness to noise
利用长骨干模型,研究人员设置三种中程反馈变体,其源层分别位于近端、中间、远端(相对于输入层)。中程反馈源层越接近输入层,噪声清理效果越好。重复测量ANOVA显示反馈源抽象层级主效应显著(F=35.56, p<0.001),近端反馈显著优于中间和远端反馈。
Evaluation under a robotic grasp-detection metric
使用传统的基于矩形的IoU指标评估时,所有实验均未观察到与MSE结果一致的单调趋势。研究人员认为,MSE测量的是密集参数图的分布式表征保真度,与神经生理学证据更吻合;而IoU将连续的分布性变化压缩为二值化的抓取姿态成功/失败,不适合评估视觉表征阶段。
结论与讨论:
研究人员的模拟表明,在针对抓取检测优化的神经网络模型中,引入生物上真实的不对称预测反馈可提高模型对噪声视觉刺激的鲁棒性。中程不对称反馈(跨越两个虚拟脑区)在噪声清理中表现出最优效果,且当反馈源层位于接近输入层的较低抽象层级时效果最佳。这提示大脑背侧视觉通路中位于低级区(如V
1)和高级区(如顶叶)之间的中间区域(如V
6A)可能作为理想的预测信号源,在早期视觉运动处理中发挥关键作用。研究还指出,中程反馈的有效性既包含最优的神经传输延迟,也包含适度的表征抽象信息;而过短或过长的反馈可能分别缺乏上下文信息或携带过于抽象的预测。未来研究需在更自然的噪声类型和多任务目标下验证该结论,并探索多反馈回路并行运作的生物学真实性。