基于训练后量化的高效人工神经网络-脉冲神经网络转换方法研究

【字体: 时间:2025年07月07日 来源:Neural Networks 6.0

编辑推荐:

  针对ANN-SNN转换过程中存在的转换误差问题,研究人员提出采用通道级阈值替代传统层级阈值,结合训练后量化(PTQ)技术和Householder反射矩阵,显著降低误差并提升分类准确率。该方法在静态图像和神经形态数据集上验证了有效性,为低功耗SNN部署提供了新思路。

  

随着人工智能对算力需求的激增,传统人工神经网络(ANN)的高能耗问题日益凸显。相比之下,模拟生物神经元运作的脉冲神经网络(SNN)因其事件驱动的特性,在神经形态硬件上可实现超低功耗运算(约20瓦)。然而,当前SNN训练存在两大技术路线——直接训练需消耗大量内存和时间,而ANN-SNN转换虽效率更高,却面临因时间步长增加导致的转换误差难题。

国家自然科学基金支持的研究团队发现,传统ANN-SNN转换采用单一层级阈值会放大误差。通过理论分析首次证明:通道级(channel-wise)阈值能更精准匹配ANN激活值与SNN平均膜电位。创新性地引入训练后量化(PTQ)技术,仅需少量校准数据即可完成阈值优化,无需全数据集重训练。实验表明,该方法在CIFAR-10/100和ImageNet等数据集上,较传统方法提升精度达1.8%,同时训练时间缩短90%。

关键技术包括:1) 构建量化兼容函数(QCFS)实现激活值离散化;2) 设计Householder反射矩阵校正膜电位偏差;3) 采用神经形态数据集CIFAR10-DVS验证时空信息处理能力。

研究结果部分:

  1. ANN神经元模型:理论推导表明,当时间步长T趋近无穷时,SNN脉冲发放率可逼近ReLU激活值,但实际应用中有限时间步导致量化误差。
  2. 方法论:通过重参数化将样本级阈值转化为通道级阈值,配合PTQ校准,使转换误差降低37%。Householder矩阵的应用进一步缩小膜电位与激活值的L2距离。
  3. 实验验证:在Transformer架构上,通道级阈值使N-Caltech101数据集分类准确率提升2.3%,证明方法对复杂网络的普适性。

结论指出,该研究为ANN-SNN转换建立了理论边界条件,通道级阈值策略可推广至其他脉冲编码方案。PTQ技术的引入使VGG-16等大型网络转换成为可能,为边缘计算设备部署SNN开辟了新途径。论文成果发表于《Neural Networks》,其核心价值在于首次将量化神经网络技术体系引入神经形态计算领域,实现了算法效率与硬件友好性的双重突破。

相关新闻
生物通微信公众号
微信
新浪微博
  • 急聘职位
  • 高薪职位

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号