高效训练与神经编码：用于连接混合型人工神经网络（ANN）与短时记忆网络（SNN）的计算

《IEEE Transactions on Emerging Topics in Computing》：Efficient Training and Neuro-Encoding for Bridging Hybrid ANN and SNN Computation

研究提出融合ANN与SNN优势的混合计算框架HNEB，通过自适应剪裁下限激活函数ACFS统一训练参数，结合Clipped-ReLU增强ANN性能，采用高稀疏性SIF模型和低开销SSE编码机制优化SNN计算，实验表明HNNs在VGG16/ResNet上实现≤0.89%误差同时达到超低延迟（CIFAR10≤4T，CIFAR100≤8T），能耗效率较纯SNN提升84.13%。

　　

摘要：

尖峰神经网络（SNNs）和人工神经网络（ANNs）的互补优势激发了人们对混合式ANN/SNN计算的兴趣。尽管现有的大多数研究都集中在将ANN转换为SNN以实现纯SNN推理上，但混合式ANN/SNN推理面临着独特的挑战，其中两个领域的复杂性和性能都至关重要。主要限制包括实现超低延迟、保持统一的训练参数以促进资源共享，以及开发高效的神经网络和编码模型以处理混合类型的数据。为了解决这些挑战，我们引入了自适应裁剪-限幅-移位（ACFS）激活函数，以利用统一的参数来弥合ANN和SNN之间的差距，从而在两个领域之间平衡推理准确性和复杂性。我们的混合神经编码桥（HNEB）集成了适用于ANN的裁剪ReLU激活函数、用于增强SNN稀疏性的选择性积分-激发（SIF）模型，以及一种用于资源高效激活-尖峰转换的无状态尖峰编码（SSE）机制。在VGG16和ResNet上的实验结果表明，SNN在超低延迟下（例如，CIFAR10的T ≤ 4，CIFAR100的T ≤ 8）能够达到与ANN相当的准确率（损失≤0.89%）。实验分析显示，混合神经网络（HNNs）在能量与准确性之间提供了更好的平衡，通过分层划分ANN和SNN将能效提高了多达84.13%，同时通过最小化编码开销保持了准确性。