
-
生物通官微
陪你抓住生命科技
跳动的脉搏
基于训练后量化的高效人工神经网络-脉冲神经网络转换方法研究
【字体: 大 中 小 】 时间:2025年07月07日 来源:Neural Networks 6.0
编辑推荐:
针对ANN-SNN转换过程中存在的转换误差问题,研究人员提出采用通道级阈值替代传统层级阈值,结合训练后量化(PTQ)技术和Householder反射矩阵,显著降低误差并提升分类准确率。该方法在静态图像和神经形态数据集上验证了有效性,为低功耗SNN部署提供了新思路。
随着人工智能对算力需求的激增,传统人工神经网络(ANN)的高能耗问题日益凸显。相比之下,模拟生物神经元运作的脉冲神经网络(SNN)因其事件驱动的特性,在神经形态硬件上可实现超低功耗运算(约20瓦)。然而,当前SNN训练存在两大技术路线——直接训练需消耗大量内存和时间,而ANN-SNN转换虽效率更高,却面临因时间步长增加导致的转换误差难题。
国家自然科学基金支持的研究团队发现,传统ANN-SNN转换采用单一层级阈值会放大误差。通过理论分析首次证明:通道级(channel-wise)阈值能更精准匹配ANN激活值与SNN平均膜电位。创新性地引入训练后量化(PTQ)技术,仅需少量校准数据即可完成阈值优化,无需全数据集重训练。实验表明,该方法在CIFAR-10/100和ImageNet等数据集上,较传统方法提升精度达1.8%,同时训练时间缩短90%。
关键技术包括:1) 构建量化兼容函数(QCFS)实现激活值离散化;2) 设计Householder反射矩阵校正膜电位偏差;3) 采用神经形态数据集CIFAR10-DVS验证时空信息处理能力。
研究结果部分:
结论指出,该研究为ANN-SNN转换建立了理论边界条件,通道级阈值策略可推广至其他脉冲编码方案。PTQ技术的引入使VGG-16等大型网络转换成为可能,为边缘计算设备部署SNN开辟了新途径。论文成果发表于《Neural Networks》,其核心价值在于首次将量化神经网络技术体系引入神经形态计算领域,实现了算法效率与硬件友好性的双重突破。
生物通微信公众号
知名企业招聘