面向高效脉冲神经网络的考虑社区结构的稀疏拓扑设计

《Scientific Reports》：Community-aware sparse topology design for efficient spiking neural networks

　　

摘要

脉冲神经网络因其基于事件的计算方式以及稀疏的脉冲通信机制，为实现高效能的类脑计算提供了有力途径。然而，现有的大多数脉冲神经网络架构都源自密集型人工神经网络，并未充分利用网络拓扑结构在学习过程中的作用。在本研究中，我们提出了一种针对基于图的脉冲神经网络的、考虑社区结构的稀疏拓扑设计框架。通过使用七种不同的社区检测算法（KMeans、谱聚类、快速贪婪算法、Louvain算法、Leiden算法、Infomap算法和小世界算法），我们在严格控制的条件下（64个神经元、92%的稀疏度、约10个社区、T=4个时间步长），系统地比较了不同模块化结构对收敛速度、分类精度以及能耗的影响。在MNIST和CIFAR-10数据集上的实验结果显示，存在与数据集相关的权衡关系：在简单且噪声较低的MNIST数据集上，Infomap这类精细算法能够达到最高的分类精度（99.67%）；而在更为复杂的CIFAR-10数据集上，那些较为粗糙且抗噪声能力较强的算法（Louvain算法、KMeans算法、小世界算法）表现最佳，分类精度约为92.96%，略高于精细算法的约90.8%。值得注意的是，所有基于社区结构的拓扑结构的收敛速度都要远远快于传统脉冲神经网络（分别为27–44个训练周期，而传统网络需要100–300个训练周期）。尽管我们的稀疏模块化架构使用的神经元数量是基准模型TANet-Tiny的两倍，但由于更高的稀疏度（92%对比约80%）以及有序的连接结构，每个样本的推理能耗仍保持在相同水平（约1.2毫焦耳），相当于将每个神经元的能耗降低了一半。这些研究结果挑战了“仅凭网络规模或稀疏度就足够”的传统观点，表明稀疏连接的组织方式——即网络拓扑结构——对学习效率、分类精度以及能耗有着至关重要的影响。我们的框架为在类脑系统设计中实现基于数据集特征的社区检测提供了实用指导。