
-
生物通官微
陪你抓住生命科技
跳动的脉搏
基于神经元共享架构与混合衰减策略的低延迟高性能脉冲神经网络设计与优化
【字体: 大 中 小 】 时间:2025年06月23日 来源:Neural Networks 6.0
编辑推荐:
针对脉冲神经网络(SNN)因时间步长依赖性和膜电位存储需求导致的延迟高、资源消耗大等问题,研究人员提出神经元共享块(NS-Block)和混合衰减策略,构建了Spiking-NSNet分类网络与Spiking-SSegNet分割网络。通过时空相关(TC)损失算法优化训练,在CIFAR-10/DVS-CIFAR10等数据集上实现94.65%/79%的准确率,PASCAL-VOC2012的mIoU达43.2%,显著降低时间步长至2-4步,为SNN在复杂视觉任务中的应用提供新范式。
在人工智能领域,模仿生物神经元信息处理机制的脉冲神经网络(SNN)因其事件驱动的异步特性和低功耗优势,被视为下一代神经计算的突破口。然而,现有SNN大多沿用传统人工神经网络(ANN)架构,面临两大核心挑战:一是需要数百个时间步长(time-step)积累膜电位(membrane potential)才能触发脉冲,导致推理延迟飙升;二是神经元间缺乏有效的电位信息传递机制,造成特征信息严重丢失。这些问题使得SNN在图像分割等复杂任务中表现远逊于CNN,成为制约其实际应用的"阿喀琉斯之踵"。
广东工业大学的研究团队在《Neural Networks》发表的研究中,创新性地提出"神经元共享"架构与混合衰减策略。通过设计Spiking-NSNet分类网络和Spiking-SSegNet分割网络,在CIFAR-10等数据集上仅用4个时间步长即实现94.65%的准确率,较传统SNN提速10倍以上,首次证明SNN在保持生物合理性的同时可达到ANN级性能。
研究采用三大关键技术:1)神经元共享块(NS-Block)实现跨层膜电位参数共享,减少50%存储开销;2)分层设置衰减因子(0.3-0.7),模拟生物神经元动态特性;3)时空相关(TC)损失函数优化直接训练,使DVS-CIFAR10准确率提升12%。实验使用软复位(soft reset)的LIF神经元,通过预训练-迁移学习框架解决深层SNN训练难题。
神经元优化
比较硬复位(hard reset)与软复位对神经元活跃度的影响,发现后者能使DVS-CIFAR10准确率提升5.2%。通过分层衰减因子设置,深层神经元保留更多历史信息,CIFAR-100分类误差降低3.8%。
网络架构设计
Spiking-NSNet采用ResNet残差结构,NS-Block将相邻3层神经元膜电位共享,使CIFAR-10单步长准确率达94.29%。Spiking-SSegNet结合UNet架构,在PASCAL VOC2012上以2步长实现43.2% mIoU,较基线模型提升9.1%。
训练策略
TC损失函数通过调整输出层膜电位分布,使DVS-CIFAR10训练收敛速度加快3倍。迁移学习策略使Spiking-SSegNet在DDD17动态数据集mIoU达53.4%,超越ANN模型2.7%。
该研究突破性地证明:1)神经元共享机制可压缩60%时间步长;2)混合衰减策略使SNN更符合生物动力学特性;3)TC损失函数开创SNN端到端训练新范式。Wujian Ye团队的工作为SNN在自动驾驶、医疗影像等实时场景的应用奠定基础,其提出的"生物合理性-计算高效性"协同设计理念,为第三代神经网络发展指明方向。
生物通微信公众号
知名企业招聘