脉冲神经网络中的预测编码轻量化模型:实现生物启发的节能高效视觉信息处理

【字体: 时间:2025年10月07日 来源:Nature Communications 15.7

编辑推荐:

  本刊推荐:为解决人工与生物神经系统在能效上的巨大差距,研究人员开展“预测编码轻量化(Predictive Coding Light, PCL)”主题研究,提出一种基于脉冲时序依赖可塑性(STDP)的无监督分层脉冲神经网络。该模型通过抑制最可预测的脉冲(spikes)实现信息压缩,在自然图像训练下复现了初级视觉皮层(V1)中简单细胞/复杂细胞(simple/complex cells)的感受野特性及多种非经典抑制效应(如方位调谐抑制、交叉方位抑制),并在手势识别(DVS128 Gesture)和动态视觉传感器数字分类(N-MNIST)任务中实现能效与性能的优越权衡,为类脑计算与神经形态工程提供了新范式。

  
当前人工智能系统在能耗方面远高于生物大脑。生物大脑通过离散的电压脉冲(即“尖峰”或“spikes”)来编码和传递信息,这种脉冲通信机制以及高效的信息表示策略(如避免冗余信息编码)使其能以极低的能量完成复杂任务。神经形态工程领域致力于模仿这种机制,通过构建脉冲神经网络(Spiking Neural Networks, SNNs)来大幅提升能效。然而,如何让脉冲神经网络学会像大脑一样采用高效的信息处理策略,尤其是如何通过抑制可预测的脉冲来减少能量消耗,仍是一个悬而未决的问题。
传统的预测编码(Predictive Coding)理论认为,大脑会丢弃那些可以被高层处理阶段预测的感觉信息,仅将预测误差传递到更高层级。尽管这一理论在神经科学和计算模型领域引发了广泛研究,但其在生物大脑中是否以及如何通过脉冲实现,仍存在争议。为此,发表在《Nature Communications》的一项研究提出了“预测编码轻量化”(Predictive Coding Light, PCL)模型,为这一难题提供了新的解决方案。
PCL是一种分层递归的脉冲神经网络,用于无监督表征学习。与经典预测编码模型不同,PCL并不将预测误差传递至高层,而是通过学习抑制最可预测的脉冲,从而传递一种压缩后的输入表征。该模型仅使用生物合理的、基于脉冲时序的局部学习规则,既能复现视觉皮层中的多种关键生理现象,又能在下游分类任务中实现高性能与低能耗的平衡。
研究人员为验证PCL的有效性,构建了一个包含“简单细胞层”和“复杂细胞层”的双层网络架构,其输入来自事件相机(event camera)产生的异步事件流。所有前向连接均为兴奋性,而所有反馈和循环连接均为抑制性。抑制性连接分为三类:短程侧抑制、长程侧抑制和自上而下抑制,分别促进特征多样性学习和可预测脉冲的抑制。所有连接均通过脉冲时序依赖可塑性(STDP)规则进行无监督学习。
在方法上,研究主要依托几个关键技术:一是基于脉冲时序依赖可塑性(STDP)的局部无监督学习规则,包括兴奋性和抑制性 synapses 的更新;二是使用事件相机模拟器(PIX2NVS)从自然图像和动态光流生成脉冲序列;三是对网络响应进行定量比较,如采用Gabor滤波器和能量模型(energy model)拟合简单细胞和复杂细胞的感受野特性;四是通过支持向量机(SVM)分类器评估网络在N-MNIST和DVS128 Gesture数据集上的分类性能,并分析脉冲稀疏性和能量效率。
抑制性STDP机制有效移除最可预测的脉冲
通过一个最小实验(4个神经元),研究表明当突触前神经元倾向于在突触后神经元之前放电时,抑制性STDP会增强相应的抑制性突触,从而抑制高度可预测的脉冲。随着训练进行,抑制性连接强度与脉冲可预测性呈正相关,最终显著减少网络中的冗余放电。
无监督学习下涌现出类简单细胞与复杂细胞的感受野特性
当PCL网络在自然图像事件流上训练后,其简单细胞层发展出可被Gabor函数良好拟合的感受野,而复杂细胞层则整合了具有相似方位和空间频率偏好但相位不同的简单细胞输入,表现出相位不变性(phase invariance),与生物复杂细胞特性一致。
PCL网络复现了环绕抑制、方位调谐抑制与交叉方位抑制效应
PCL网络展现出与初级视觉皮层实验一致的非经典感受野效应:包括环绕抑制(刺激范围增大时响应减弱)、交叉方位抑制(不同方位光栅叠加时响应降低)和方位调谐抑制(中心与周边方位差异导致的抑制)。通过消融实验发现,长程侧抑制和自上而下抑制对这些效应贡献最大。
PCL实现能量与信息效率的最优权衡
在N-MNIST和DVS128手势分类任务中,P网络在显著减少脉冲发放的同时,仅引起分类性能的轻微下降,且始终优于随机移除相同数量脉冲的对照模型。其机制在于PCL提高了群体稀疏性(population sparseness),即每个刺激激活的神经元数量更少,从而形成更高效的表征。
研究表明,PCL提供了一种不同于经典预测编码的框架,其通过抑制可预测脉冲而非传递预测误差,在脉冲神经网络中实现了高效的信息处理。该模型不仅为生物视觉系统中的多种现象提供了机制性解释(如感觉衰减、sensory attenuation),也为神经形态计算系统的设计提供了新思路。其依赖局部学习规则、避免非生物约束(如专用误差神经元)的特点,更易于在硬件上实现持续学习和低能耗处理。未来工作可扩展至更深网络架构,并引入循环兴奋性连接以支持更多计算功能如模式补全和证据累积。总之,PCL为理解大脑预测编码机制及开发脉冲神经网络应用提供了重要基础。
相关新闻
生物通微信公众号
微信
新浪微博
  • 急聘职位
  • 高薪职位

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号