一种用于触觉分类的、具有内在知识传递能力的发展型脉冲神经网络
《IEEE Transactions on Neural Networks and Learning Systems》:An Intrinsically Knowledge-Transferring Developmental Spiking Neural Network for Tactile Classification
【字体:
大
中
小
】
时间:2026年04月08日
来源:IEEE Transactions on Neural Networks and Learning Systems 8.9
编辑推荐:
摘要:通过反向传播(BP)计算的梯度下降法已被广泛用于训练脉冲神经网络(SNNs)。然而,这种方法存在一些局限性。它需要人工干预来调整网络架构,在遇到包含新信息的数据时容易发生灾难性遗忘先前学到的知识,并且计算要求较高。为了解决这些问题,我们提出了仿生发育脉冲神经网络(BDNNs
摘要:通过反向传播(BP)计算的梯度下降法已被广泛用于训练脉冲神经网络(SNNs)。然而,这种方法存在一些局限性。它需要人工干预来调整网络架构,在遇到包含新信息的数据时容易发生灾难性遗忘先前学到的知识,并且计算要求较高。为了解决这些问题,我们提出了仿生发育脉冲神经网络(BDNNs),该网络模仿了生物神经电路的产后发育过程。我们使用一个神经形态学触觉系统对BDNNs进行了评估,该系统的任务是通过抓取来分类物体。我们的研究结果表明,BDNNs能够根据输入数据动态增长,通过逐步招募隐藏神经元来提高分类准确性,而无需手动调整架构。生长过程能够自主适应输入数据的复杂性。BDNNs还表现出强大的知识转移能力,能够有效利用先前关于抓取物体的知识来逐步学习新物体。此外,在使用相同数据集和硬件的比较实验中,BDNNs的分类性能与标准的基于BP的方法及其变体相当,同时学习速度快一到三个数量级。此外,BDNNs在性能和速度上优于现有的持续学习算法。这些结果突显了BDNNs作为持续学习和实时边缘计算应用的有前景的方法。我们的工作源代码可在https://github.com/1jiaqixing/BDNNversion1上公开获取。CCBY - IEEE不是该材料的版权持有者。请按照https://creativecommons.org/licenses/by/4.0/的说明获取全文文章和API文档中的规定。
第一部分:引言
深度学习通过实值人工神经网络(ANNs)的快速和广泛采用对人工智能产生了深远影响。然而,这种进步的能源成本非常高。相比之下,脉冲神经网络(SNNs)作为新一代的生物可信ANNs,提供了更低的功耗和更高的计算效率[1]、[2]、[3]。传统上,使用基于脉冲时序的可塑性(STDP)方法来更新SNN权重。然而,这种方法在大规模网络中缺乏可扩展性[4],并且难以与监督学习集成[5]。为了解决这个问题,一种方法是使用标准的梯度下降和反向传播(BP)训练实值ANN,然后将学到的权重转移到其SNN对应物[6]、[7]、[8]、[9]、[10]。另一种方法是使用基于时间的BP(BPTT)直接训练SNN,其中替代函数近似脉冲以规避不可微分问题[11]、[12]、[13]、[14]。尽管基于BP的学习对于优化SNN非常有效,但它面临几个限制其更广泛应用挑战。首先,基于BP的学习耗能高且计算要求高,特别是在应用于大型数据集时[3]、[15]。特别是BPTT需要在空间和时间域中反向传播梯度,因此需要大量的内存和计算资源[16]、[17]。为了减轻BPTT在SNN中的效率问题,已经提出了多种方法[14]。例如,使用截断时间窗口的BPTT可以减少内存和计算需求,但代价是丢失了长距离的时间依赖性[18]。为了降低BP的复杂性,可以使用脉冲神经元的脉冲率[17]或它们的输入和输出累积[19]来表示信息。通过考虑使用可变的替代梯度[20],可以实现更充分的权重更新。为了促进BPTT中时间点之间的信息共享,提高了SNN的适应性[21]。由于SNN的稀疏事件驱动特性,通过使用精确的脉冲时序实现的事件驱动BP降低了能源成本[22]、[23]。其次,与ANNs一样,基于BP的学习需要人工干预来确定最佳网络架构,这涉及耗时且通常繁琐的超参数调整。尽管已经开发了诸如神经架构搜索(NAS)之类的工具来自动化这一过程并帮助找到最佳配置[24]、[25],但这些方法仍然高度依赖人类的专业知识,因为它们的有效性通常是特定于任务的[26]、[27]。最后,重要的是,基于BP的学习方法会遭受灾难性遗忘,即神经网络在学习新知识时往往会迅速且彻底地忘记先前学到的知识[28]、[29]。这也被称为灾难性推理,这个问题对于在非平稳数据流中实现持续学习构成了重大挑战[28]、[29]。持续学习——在学习新任务的同时保留和建立过去经验的能力——是智能系统的基本特征,对于实际应用至关重要。然而,当数据随时间逐步演变时,灾难性遗忘通常需要从头开始重新训练整个网络。为了解决这一限制并实现有效的知识转移,将深度学习与认知科学的原则相结合为更灵活和适应性强的学习系统提供了有希望的途径[30]、[31]。
一个示例应用场景是触觉感知,它在使机器人和假肢手能够敏感地检测物理触觉并在与人类直接互动时确保安全方面起着至关重要的作用。另一个重要方面是能够以与人类能力相当的水平复制熟练的物体操作[32]、[33]、[34]、[35]。为了开发支持这种触觉感知的人工触觉系统,当前的主流方法是生成模拟触觉信号以响应触觉刺激,通常使用电子(e-)皮肤。然后使用实值ANNs处理这些信号[33]、[36]、[37]、[38]。最近,我们展示了一个能够快速分类物体的神经形态学触觉系统[39]、[40]。该系统被表示为一个触觉SNN,使用标准的BPTT方法进行训练。因此,它仍然继承了传统基于BP的学习方法的固有局限性。
为了解决与基于BP的学习SNNs相关的挑战,我们提出了仿生发育脉冲神经网络(BDNNs)。BDNNs受到产后大脑发育的启发,在这种发育过程中,神经电路的持续增长是由感官和经验输入塑造的神经元活动驱动的[41],这种持续增长支持持续学习,其中先前经验被有效利用来获取新知识。为了说明BDNNs的原理,我们使用我们的神经形态学e-皮肤[39]关于抓取物体的神经形态学数据集进行了物体分类,如图1所示。我们的贡献总结如下:我们引入了BDNNs的基础框架,并证明了它们通过逐步招募隐藏神经元来学习的能力。BDNNs通过路径寻找和修剪过程更新突触权重,消除了对替代梯度或BP的需求。我们还展示了BDNNs根据输入复杂性自适应调整其结构。这种自主性使它们免除了训练过程中的人工干预。我们展示了BDNNs在从增量新数据中学习时表现出强大的知识转移能力。在这种情况下,知识转移指的是已建立的神经网络及其所代表的已知知识能够有效地用于学习增量信息。这一内在属性使BDNNs能够抵抗灾难性遗忘,从而实现无需从头开始重新训练的持续学习。我们进行了BDNNs与现有学习方法(包括标准的基于BP的方法及其变体[11]、[19]、[20]、[42]以及最先进的持续学习算法[43]、[44]、[45]、[46]、[47]、[48])的比较研究。为了验证BDNNs的适用性和有效性,我们还在几个不同的公共数据集上对其性能进行了验证。
由于自主性、适应性、知识转移能力和提升的学习速度,这种基于BDNN的学习范式有望为更快、更高效、更自主和动态适应的学习铺平道路,支持在靠近传感器且资源受限的环境中进行边缘计算。
图1. BDNN用于触觉分类的学习示意图。(a) 一个带有64个传感器的e-皮肤连接到左手手套[39],用于抓取物体以生成脉冲列形式的神经形态学触觉数据集。(b) 五个物体的类别、通过添加五个新物体得到的十个物体的类别、通过再添加五个物体得到的十五个物体的类别,以及包含二十个物体的类别,所有这些都被用来生成各种数据集。(c) 我们的笔记本电脑执行了关于BDNNs增长的算法(c1),这些算法由几个控制器组合控制(c2),以进行新鲜学习和经验学习。在新鲜学习数据集(长方体、棱锥台和圆锥)中,BDNN通过逐步招募隐藏神经元从零开始发展,直到达到准确的物体分类。在经验学习中,BDNN首先学习长方体,形成一个具有招募的隐藏神经元(HN_1:a)的最优网络。在扩展的数据集(长方体和棱锥台)中,NH_1用于后续学习,并形成一个具有a+b个招募的隐藏神经元(HN_2:a+b)的最优网络。同样,通过对长方体、棱锥台和圆锥的进一步学习,形成了具有a+b+c个隐藏神经元的BDNN(NH_3:a+b+c)。插图使用BioRender.com创建。
第二部分:原理和方法
A. BDNNs的脑部灵感
在早期大脑发育过程中,经验主要通过动作电位或脉冲进行编码、处理和传输。这些经验驱动的神经元活动引导神经元寻找并建立与突触后神经元的连接,根据需要调整突触强度。同时,修剪移除了不再功能或有益的突触。路径寻找和修剪之间的相互作用导致了多样的神经电路架构,每个架构编码了不同的知识片段。例如,一个孩子第一次玩玩具。关于这个经验的神经电路是从零开始发展的。随着经验的积累,孩子更快更容易地学会玩新玩具,这意味着现有的神经电路被有效地用来学习新事物,这与持续学习中的知识转移有关[49]。
为了构建BDNNs,隐藏神经元使用泄漏积分-发射(LIF)神经元模型进行建模,而输入神经元仅接收输入数据。路径寻找过程从随机初始化突触权重开始。在由ξn索引的监督机制的指导下,该过程选择满足定义的收敛标准的突触。一旦识别出候选的突触连接,修剪就会从网络中移除较不优的突触。隐藏神经元的招募过程迭代进行,直到达到预定义的分类准确性。输出层的权重基于最小二乘优化要求确定。从零开始学习数据集的BDNN被称为新鲜学习,表示为f-BDNNs。从已经构建的较小网络中学习的BDNN被称为经验学习,表示为e-BDNNs。值得一提的是,通过逐步增加隐藏神经元进行学习的方法已被用于实值ANNs的随机学习[50]、[51]。
B. 输入-输出关系
我们使用关于抓取各种物体的神经形态学触觉数据集来解释输入-输出关系。关于抓取动作的触觉信息编码在脉冲的时序中,特别是所有脉冲列中的第一个脉冲[39]。对于一组不同的物体Oa,输入数据集的形式为脉冲列X(Oa)∈Na×T×d,其中Na、T和d分别代表数据集中的数据样本总数、数据流的长度(时间步长)和触觉传感器的数量(本工作中为64个)。数据集中的数据样本表示为X(Oa)(i)=[xa(1),xa(2),…,xa(T)], i=1,2,…,Na。这a个物体是从总共20个物体中随机选择的。BDNN的目标函数f:Rd→Ra,它输出为物体分类任务定义的缩放独热向量。我们假设BDNN有一个学习组件,包括输入层和隐藏层之间的突触集合,即BDNN的深度较浅。
对于新鲜学习,f-BDNN从零开始学习X(Oa)以对Oa进行分类。f-BDNN的发展方式是一次只将一个隐藏神经元加入网络。假设f-BDNN已经具有(n?1)个隐藏神经元,其中整数n≥1。输入-隐藏权重集合表示为W?n?1=[w?1,w?2,…,w?n?1],其中w?j是输入层和第j个隐藏神经元之间的权重子集。f -BDNN的输出f?n?1∈RNa×a表示为f?n?1(x)=∑j=1n?1β?n?1S?j(1),其中x∈X(Oa),S?j是第j个隐藏神经元的输出,β?n?1表示n?1个隐藏神经元与输出神经元之间的权重集合。S?j定义为时间窗口T内的脉冲计数,即S?j=∑Tt=1s?j(t),s?j(t)表示第j个隐藏神经元的脉冲。残差拟合误差||en?1||2定义为||f?f?n?1(x)||2=||f?∑j=1n?1β?n?1S?j||2。当新的对象出现并被添加到Oa中时,可以开始有经验的学习。对于包含Oa的b个对象集合Ob,其中b=a+a′,a′是从20个对象池中新增的对象数量。与Ob相关的数据集表示为X(Ob)∈Nb×T×d,满足X(Ob)=X(Oa)∪X(Oa′)。假设一个BDNN已经完成了对X(Oa)的学习,达到了预定义或最佳准确率,该网络中有n个隐藏神经元。随后,这个BDNN被用作种子网络来学习X(Ob)以进行分类,从而得到e -BDNN。假设e -BDNN在种子网络的基础上额外招募了n?1个隐藏神经元,其输出f?n+n?1∈RNa×b表示为f?n+n?1(x)=∑j=1nβn+n?1S?j+∑j=n+1n+n?1βn+n?1S?j。残差误差||en+n?1||2表示为||en+n?1||2=∣∣∣∣∣∣∣∣f?∑j=1nβn+n?1S?j?∑j=n+1n+n?1βn+n?1S?j∣∣∣∣∣∣∣。当n=1时,en=f?∑nj=1βnS?j,这被称为在扩展数据集X(Ob)上使用e -BDNN进行的一环学习。
C. 通用逼近性质
对于已经招募了n?1个隐藏神经元的BDNN,添加第n个隐藏神经元。隐藏层的输出由S?={S?j∣j=1,2,…,n}给出,其中∥S?j∥≤b对于?b∈N。设Fn=span(S?1,…,S?n)是由n个隐藏神经元生成的函数空间,f?n∈Fn是目标函数f∈L2的逼近。为了最小化逼近误差(2),通过解决??β?n∥∥f?f?n?1?β?nS?n∥∥2=0来获得隐藏层和输出层之间的最优权重集合β?n,从而得到β?n=?en?1,S?n?∥S?n∥2。当路径寻找满足以下关系时:?en?1,S?n?2∥S?n∥2>σ∥en?1∥2,对于σ∈(0,1),则逼近误差遵循递归不等式:∥en∥2<(1?σ)n∥e0∥2,这意味着limn→∞∥en∥=0。因此,BDNN在L2空间具有通用逼近能力。逼近性质的证明在下面给出并详细阐述。
D. 架构
节点组件涉及通过路径寻找单元和剪枝单元实现的第n个新隐藏神经元的发展。如果BDNN的学习准确率尚未达到期望水平,路径寻找单元将工作,使第n个隐藏神经元尝试与输入神经元建立连接,尝试次数为P,P∈N。对于每次路径寻找操作,随机定义不同的突触权重集合wn和vn。这里,wn表示输入神经元与隐藏神经元n之间的权重集合,vn表示来自隐藏神经元n的输出反馈权重。在P次路径寻找操作中,得到的wn和vn可以分别表示为[?λ,λ]d×P和diag[?λ,λ]P。权重集合分别为wn={wnp|wnp∈d×1,p=1,2,…,P}和vn={vnp|p=1,2,…,P]。随后,剪枝单元从这P次路径寻找尝试中选择最优权重,表示为w?n和v?n。选定的连接代表了输入神经元接收到的信息。
在LIF神经元动态中,神经元的输入电流通常是突触电流的积分,这些电流由突触前脉冲的到达触发。我们假设突触电流可以线性求和。给定脉冲列的时间步长为Δt,让sn,sn={sn1;sn2,…,snp,…,snP}表示第n个隐藏神经元的输出,其中snp=[snp(1),…,snp(t),…,snp(T)],p=1,2,…,P。snp(t)使用(10)和(11)获得,其中a=exp(?(Δt/τsyn)),b=exp(?(Δt/τmem)),τsyn和τmem分别是突触和膜的时间常数,Θ是Heaviside阶跃函数。然后得到第n个隐藏神经元的脉冲计数集合Sn={Snp|p=1,2,…,P},其中Snp=∑Tt=1snp(t)。
在路径寻找操作中,误差表示为||en||2={||enp||2|p=1,2,…,P},其中∥enp∥2=∥f?f?n?1?βnSnp∥2。第p次尝试的误差平方也可以表示为?en?1?βnSnp,en?1?βnSnp?。当只考虑输入-隐藏权重时,BDNN可以确保学习的非发散,即∥en∥2=∥en?1∥2?(?en?1,Sn?2)/∥Sn∥2≤∥en?1∥2。然而,它还不能确定每次路径寻找是否对学习任务有用。为了确定对第n个新增隐藏神经元有用的路径寻找,提出了一种监督机制,该机制使用索引ξn={ξnp|p=1,2,…,P}。第p次路径寻找操作的索引在以下方程中定义:ξnp=?en?1,Snp?2∥SnP∥2?σ∥en?1∥2。这个索引ξn用于在路径寻找操作期间保留正确的路径。当ξnp>0时,可以满足∥en∥2<∥en?1∥2的收敛条件,如(13)所示。随后,剪枝单元选择最优的w?n和v?n,使∥en∥2的上限值ε最小,其中ε>0。这是通过max(ξn)来实现的,并更新W?n、s?n和S?n,其中w?n和v?n也被更新。
对于有经验的学习,使用(4)计算en?1。等同于(10)和(11),隐藏神经元的响应函数表示为S。通过(14)定义S?j,其中W?j表示从种子网络继承的权重,我们有S?={S?1,S?2,…,S?n,S?1,S?2,…,S?n}∈Nb×(n+n),S?jS?j=∑t=1TS(X(Ob),W?j),j=1,2,…,n。假设每次收敛的路径寻找都是非最优的,其概率为ρ,其中?ρ∈(0,1),至少存在一个最优路径寻找的概率接近1?ρP,这相当于Wn中有w?n和v?n。对接单元在隐藏层的输出中解码触觉信息,并将其转换为与对象标签对应的量。对接单元的目标是获得隐藏层和输出层之间的合适权重。在有经验的学习中,关注的是招募的n个隐藏神经元的最优权重W?n=[w?1,w?2,…,w?n|v?1,v?2,…,v?n]。在开发过程中,优化输入神经元到n+n个隐藏神经元的权重[W?n;W?n]∈d×(n+n)。拟合指标用n+n表示,其中S?是所有隐藏神经元的输出。对接单元的功能是使用min(∥en∥)2来更新β,这是通过以下方程的导数求解方法计算的:d∥en?1?β?nS?∥2dβ?=0→β?n=?en?1,S??∥S?∥2。
E. 算法
参见算法1。算法1 BDNN:
1. 输入:X(Oa)∈Na×T×d,X(Ob)=X(Oa)∪X(Oa′)∈Na+a′×T×d
2. 输出:Out∈Nb×b
3. 当n≤1×105时循环执行:
4. 对于X=X(Oa)
5. 节点组件:
6. 路径寻找单元:
7. 从[?λ,λ]d×P,diag[?λ,λ]P,[?λ,λ]P中分配wn,vn,bn
8. 从(10)和(11)计算un,sn
9. 从(12)计算ξn,其中包含sn
10. 如果ξnp>0,则保留wnp和vnp
11. 否则删除wnp和vnp
12. 如果需要,返回步骤5
13. 路径寻找单元
14. 如果需要,返回步骤3
15. 剪枝单元:
16. 使用max(ξn)找到w?n和v?n,并更新W?n
17. 对接单元:
18. 使用W?n和e从(15)更新β?n
19. 保存单元:
20. 如果e≥?,则返回
21. 否则返回步骤2
22. 对于X=X(Ob)
23. W?n=W?n
24. W?0=W?n
25. 转到对接单元
26. 如果e≥?,则返回
27. 对于X=X(Ob)
28. W?n=W?n
29. W?0=W?n
30. 转到对接单元
31. 输出:新的权重[W?n;W?n]∈d×(n+n),β?n
III. 实验和结果
A. 实验
如图1(a)所示,触觉神经形态数据集是使用我们的实验室神经形态触觉系统生成的。该系统由基于摩擦电纳米发电机的64个触觉传感器组成的电子皮肤以及将连续模拟信号转换为离散电脉冲的电子电路组成。硬件和数据收集过程的详细信息在[39]中提供。简而言之,电子皮肤被附着在一只左手的园艺手套上。一名受试者佩戴手套并执行物体抓取任务,在此过程中以脉冲列的形式记录数据样本。每个物体被抓取50次以生成50个数据样本。研究涉及四名受试者,每个受试者总共生成200个数据样本。一个脉冲的幅度为2 V,宽度为1.5 ms。对象池中共有20个不同的物体,包括苹果、塑料瓶、焊锡清洁剂、罐子、长罐、鼠标、订书机、白球、短罐、杯子、香蕉、电池、胶带、手机、矩形海绵、万用表、喷雾器、网球和橙子[图1(b)]。为了展示BDNN学习的适应性,从20个物体池中随机选择五个物体形成一个五类数据集[图1(b)]。这个过程重复四次,总共生成了五个不同的五类数据集,分别表示为Class 5_i(i=0,1,..,4)。对于每个Class 5_i,从剩余的物体池中随机选择五个额外的物体,将数据集扩展为十类版本,表示为Class 10_i。按照相同的程序,每个10_i数据集再添加五个物体,创建十五类数据集,表示为Class 15_i。
BDNN的学习由控制器的组合指导,如图1(c1)所示。新的学习总是从零开始。例如,在学习分类三个几何物体时,随着BDNN的增长,分类准确率稳步提高(图1(c2),顶部)。相比之下,有经验的学习是在先前获得的知识基础上学习新物体(图1(c2),底部)。例如,考虑一个已经学会抓取长方体的BDNN。这个BDNN包含隐藏神经元(HN_1:a)及其相关权重Wa。它可以进一步用于学习抓取长方体和圆锥台。扩展后的网络包含a+b个隐藏神经元(HN_2:a+b)。这个网络可以进一步扩展以学习抓取圆锥体,从而得到包含a+b+c个隐藏神经元的网络(HN_3:a+b+c)。为了研究BDNN对变化输入数据的适应性,对每个数据集进行了三次新的学习。结果,我们为五类数据集、十类数据集和十五类数据集分别创建了15个f -BDNN,以及为20个物体创建了三个f -BDNN,总共创建了45个f -BDNN。
为了评估BDNN的知识转移能力,我们使用之前训练过的f -BDNN对扩展的数据集进行了一环学习。BDNN中的一环学习是指使用固定数量的隐藏神经元进行的训练过程,不涉及进一步的结构增长。例如,已经学会Class 5_0的f -BDNN对Class 10_0进行了一环学习。在这个过程中,隐藏神经元的数量保持不变,而输出神经元的数量从5个增加到了10个。由此产生的网络被归类为e-BDNN,它已经经历了一次循环学习。为了进行比较分析,我们还使用SNNs进行了一次基于BP的一次循环学习,其中一次循环指的是在一个固定网络架构下的单个训练周期。所有算法和实验都是在配备有AMD Ryzen 7 5800X处理器的笔记本电脑上实现的,该笔记本电脑也作为比较研究的平台。
B. 结果与讨论
1) BDNNs中的新鲜学习和经验学习:
我们首先检查了f-BDNN和e-BDNN的性能。f-BDNN的开发总是从给定的输入数据集开始,这意味着在不同数据集上训练的f-BDNNs是相互独立的。图2(a)–(c)展示了随着隐藏神经元数量的增加,f-BDNNs的演变过程,分别使用了数据集X(O10)、X(O15)和X(O20),其中X(O10)?X(O15)?X(O20)。对于分类O10,f-BDNN(O10)在网络中有220个隐藏神经元时达到了96%的测试准确率,仅花费了0.22小时(约13分钟)的训练时间[图2(a)]。学习O15需要1.5小时来为f-BDNN(O15)招募300个隐藏神经元[图2(b)],而学习O20需要1.8小时和410个隐藏神经元来为f-BDNN(O20)[图2(c)],两者都达到了90%的测试准确率。
图2. BDNNs在(a)–(c)新鲜学习和(d)–(f)经验学习中的表现。随着招募的隐藏神经元数量的增加,训练准确率、测试准确率和训练时间的演变:(a) f-BDN(O10)在十类数据集X(O10)上的表现,(b) f-BDN(O15)在十五类数据集X(O15)上的表现,(c) f-BDN(O20)在二十类数据集X(O20)上的新鲜学习表现,以及(d) e-BDN(O10)从使用X(O5)训练的f-BDN(O5)开始在数据集X(O10)上的表现,其中X(O5)?X(O10),最高准确率为97%;(e) e-BDN(O15)在十五类数据集X(O15)上的表现,从(d)中准确率最高的e-BDN(O10)开始;(f) e-BDN(O20)从(e)中准确率最高的e-BDN(O15)开始进行经验学习。显示全部
为了评估BDNNs的知识转移能力,如图2(d)所示,e-BDN(O10)是使用输入数据集X(O10)构建的,基于在数据集X(O5)上预训练的f-BDN(O5),其中X(O5)?X(O10)。这是一种重放率为1的增量学习。换句话说,f-BDN(O5)作为e-BDN(O10)的种子。最初,e-BDN(O10)继承了f-BDN(O5)的隐藏神经元,同时其输出层扩展到了十个神经元以适应扩展的分类任务。仅使用最初的63个隐藏神经元,e-BDN(O10)就在X(O10)上经历了一次循环学习。值得注意的是,它在分类O10时达到了89%的准确率,展示了BDNNs强大的知识转移能力。随后,e-BDN在学习X(O10)时开始招募更多的隐藏神经元。训练和测试准确率稳步提高,最终在仅0.17小时(约10分钟)内达到了98%。此时,网络中招募了150个新的隐藏神经元,总共213个隐藏神经元在e-BDN(O10)中。
为了继续增量学习,已经达到98%准确率的e-BDN(O10)被用作种子网络来学习更大的数据集X(O15),重放率为0.5[图2(e)]。经过一次循环学习后,e-BDN(O15)能够以91%的测试准确率对O15中的对象进行分类。进一步的训练使e-BDN(O15)招募了50个更多的隐藏神经元,在10分钟内达到了93%的测试准确率。接下来,这个e-BDN(O15)被用作种子来学习X(O20),重放率约为0.3[图2(f)]。第一次学习循环使得e-BDN(O20)在分类O20时的准确率为88%。通过进一步的学习和增加110个隐藏神经元,测试准确率提高到了90%。值得注意的是,在图2中的所有情况下,无论是新鲜学习还是经验学习,训练准确率和测试准确率之间的差距都非常小,表明了强大的泛化性能[53]。此外,当e-BDN(O10)是通过在X(O5)上的初始训练以及在其余数据集X(O10)?X(O5)上的后续训练获得的时,在X(O10)上获得了83%的测试准确率。这些结果清楚地展示了基于BDNN的学习在转移先前获得的知识方面的有效性。与基于BP的方法不同,后者会遭受灾难性遗忘,BDNNs保留并利用了先前的学习。在经验学习中,强大的知识转移显著提高了效率,使得学习速度比在同一数据集上的新鲜学习快十倍(图2)。
2) BDNNs的自主适应性发展:
为了更深入地研究BDNN的发展过程,我们现在关注新鲜学习。抓取数据集的内容各不相同,反映了对象特征和数据复杂性的差异。这些差异可能源于对象的数量和类型、同一受试者在重复抓取动作中使用的特定手势,或者不同受试者之间的抓取风格差异。对象类型由形状、硬度和表面粗糙度等属性来表征。为了评估BDNNs中的新鲜学习性能,即f-BDNs,我们首先学习了五个不同的五类数据集。每个数据集由从20个对象池中随机选择的五个对象组成。图3(a)显示了随着招募的隐藏神经元数量增加,f-BDN在包含苹果、塑料瓶、焊剂清洁剂、罐子和长罐子的五类数据集上的训练和测试准确率的进展(表示为Class 5_0)。随着学习的进行,准确率随着隐藏神经元的增加而提高,错误率降低。最初,训练和测试准确率都迅速上升,仅招募28个隐藏神经元时就达到了90%,如图2(a)–(c)所示。准确率继续提高,尽管速度较慢,但随着更多隐藏神经元的添加最终达到了97%。
图3. BDNNs的学习适应性。(a) 在五类数据集(Class 5_0)上使用f-BDN进行新鲜学习的过程,其中错误率和准确率随隐藏神经元数量的变化。(b) 分别基于五个不同的五类数据集(标签0–4)构建的五个f-BDNs,它们具有不同的隐藏神经元数量以达到最高的准确率。(c) 五类(Class 5_0)、(d) 十类和(e) 十五类数据集的特征分布,通过t-SNE可视化。(f) 包含(d)中不同类型对象的另一个十类数据集的特征分布。(g) 学习了所有对象数据集的f-BDNs的准确率、(h) 所需的隐藏神经元数量以及(i) 空间复杂性,其中数据集被分为5类、10类和15类。每个数据集构建了三个f-BDN。
图3(b)展示了所有五个f-BDN的结果,每个数据集都在不同的五类数据集上进行了训练。网络在达到其峰值分类准确率(约96%)所需的隐藏神经元数量上有所不同,突出了通过新鲜学习出现的结构多样性。为了进一步探索这种结构多样性,我们使用了t分布随机邻居嵌入(t-SNE)技术来可视化五类[图3(c)]、十类[图3(d)]和十五类[图3(e)],以及另一个不同的十类数据集[图3(f)]。可以看出,对象类别数量的增加导致了特征多样性和数据复杂性的相应增加[图3(c)–(e)]。此外,即使类别数量相同,数据集在复杂性上仍可能存在显著差异[图3(d)与(f)]。我们的结果如图3(b)所示,表明BDNN的新鲜学习对对象特征和数据复杂性的大幅变化具有高度适应性。
通过统计分析跨数据集的新鲜学习进一步支持了BDNNs的学习适应性[图3(g)–(i)]。可以做出几个关键观察。首先,所有f-BDNs最终都实现了超过90%的准确率[图3(g)]。其次,当一个类别中的对象数量增加时,平均准确率略有下降。同时,随着对象数量的增加,网络达到最高准确率所需的平均隐藏神经元数量也增加了[图3(h)]。BDNNs中隐藏神经元的增加与BDNNs的空间复杂性的相应增长相一致[图3(i)]。第三,如图3(h)所示,十类和十五类数据集之间的隐藏神经元数量分布有一些重叠。如图3(g)所揭示的,对象较少但复杂性较高的数据集可能导致比对象较多但特征分布较简单的数据集更低的准确率。这些发现强调了BDNNs在新鲜学习期间适应不同数据复杂性的能力。
3) 超越现有技术:
比较研究是在实验部分描述的同一台笔记本电脑上进行的,以评估BDNN学习与标准基于BP的学习[11]及其与SNN的差异。如图4、表I和II所示,BDNN在几个关键方面超越了现有技术。
表I 我们的BDNN模型与现有基于BP的SNN在20个对象数据集上的比较
表II 我们的BDNN模型与增量学习中现有模型的比较
表III BDNN与基于BP的SNN在各种公共数据集上的比较
图4. (a) 知识转移能力和(b) 学习速度的比较,比较了基于BDNN的学习与基于BP的学习以及使用SNN和CSNN的学习,所有这些都使用了LIF神经元模型。(a) BDNN和基于BP的学习与SNN和CSNN的分类准确率,它们都是基于学习了X(O10)的种子网络。种子网络仅通过一个循环学习了X(O10)数据集,其中X(O5)?X(O10)。一次循环学习指的是BDNN中固定隐藏神经元集合的训练过程,以及基于BP的学习过程中固定隐藏神经元数量的一个周期。(b) BDNN和SNN以及在笔记本电脑(AMD Ryzen 7 5800 Hz处理器)上实现的基于BP的学习在X(O20)上的训练和学习持续时间。e-BDN是从种子网络f-BDN(O15)构建的。这里,“理想”指的是已知最佳架构的基于BP的学习过程,而“实际”指的是需要手动调整超参数的情况。这里示例了BP-SNN的三个超参数调整步骤,以及BP-CSNN围绕最佳架构的四个超参数调整步骤(表I)。
首先,BDNNs完全由输入数据自动发展,从而消除了对超参数调整(如隐藏神经元数量)的需求。相比之下,基于BP的学习需要手动进行耗时且计算密集的超参数调整。例如,在我们之前的工作[39]中,应用了标准的基于BP的方法来优化SNNs,使用了与本研究中相同的神经形态触觉数据集。该过程大约需要300小时的计算时间,需要一位博士学生的专门努力,并通过Optuna框架[24]使用NAS,所有这些都在一台性能更高的计算机(Dell PowerEdge R740)上运行,这台计算机比本研究中使用的笔记本电脑强大得多。
其次,BDNNs表现出内在的知识转移能力。在增量学习新数据时,已经学习到的知识不仅被保留下来,而且还被用来促进新信息的学习。相比之下,基于BP的学习方法容易发生灾难性遗忘[28],[29],在新数据集上的训练过程中先前学习到的知识会被覆盖。作为对比,首先在X(O5)上训练了一个BDNN。同样,一个SNN模型[11]和一个卷积SNN(CSNN)模型[54]也在同一数据集上使用标准的基于BP的学习程序进行了训练。值得注意的是,所有三个模型,BDNN、SNN和CSNN,都使用了相同的LIF神经元模型。随后,提供了一个扩展的数据集X(O10),即X(O5)?X(O10),他们仅通过一次循环的学习就学会了如何对O10中的对象进行分类。如图4(a)所示,BDNN能够以88%的高准确率对O10进行分类。相比之下,在相同条件下,基于BP的学习方法表现较差,CSNN的准确率仅为59%,SNN的准确率为48%。第三,为了突出BDNN显著更快的学习速度,我们使用相同的数据集X(O20)与基于BP的学习方法进行了比较。如图4(b)所示,评估了BDNN、BP-SNN和BP-CSNN的学习持续时间。我们将学习持续时间定义为从开始到网络优化完成(包括架构选择)的总时间,将训练持续时间定义为在固定网络架构下更新权重所花费的时间。在理想情况下,如果事先知道隐藏层的最佳数量和每层的神经元数量,就可以绕过NAS,专注于多个周期的权重训练。BDNN本质上是在这种理想条件下运行的,因为它可以自主优化结构和权重,使其学习持续时间等于训练持续时间。然而,在实践中,基于BP的方法通常需要多轮超参数调整,这大大延长了学习持续时间。尽管调整的程度可能因任务、硬件和从业者的经验水平而异,但为了简化,我们将典型的实际情况建模为需要围绕最佳架构进行几次额外的试验以确认峰值准确率。如图4(b)所示,BDNN达到更高分类准确率所需的时间明显少于BP-SNN和BP-CSNN。具体来说,如表I所示,f-BDNN-1和e-BDNN-1分别在9.4小时和5.8小时内达到了92%和93%的峰值准确率。相比之下,BP-SNN和BP-CSNN分别花费了29.1小时和13.3小时的训练时间才达到89%和86%的最高准确率。当考虑涉及三到四次超参数调整的更现实情况时,BP-SNN和BP-CSNN的总学习持续时间分别增加到154.6小时和53.1小时(图4(b)和表I)。此外,f-BDNN和e-BDNN分别仅需要1.9小时和0.7小时就能达到90%的准确率。这些结果表明,在理想条件下,BDNN的学习速度比基于BP的方法快十倍以上。在需要超参数调整的实际应用中,BDNN的学习速度可以比BP学习快两个甚至三个数量级。我们进一步将BDNN的性能与三种旨在提高SNN学习效率的基于BP的变体进行了比较。SNN-Feedforward模型使用的神经元模型比LIF模型[55]更简单。SNN-IMLoss模型引入了一个信息最大化损失函数和一个自适应替代算法来改进BP学习过程中的权重更新[20]。SNN-ASF模型通过累积一段时间窗口内的尖峰神经元的输入和输出来减少BP的复杂性,而不是依赖于尖峰列[19]。如表I所示,BDNN在数据集X(O20)上的峰值准确率和学习持续时间方面均优于所有三种基于BP的学习变体。此外,我们还评估了两种现有的非BP学习方法,即前向前向算法[55]、[57]和STDP[58]。这两种方法都无法有效学习数据集X(O20)。使用SDP的无监督学习仅能达到44%的准确率。最后,我们将BDNN与现有的专门用于增量学习的模型进行了比较,包括级联相关架构(CL)[43]、监督神经气体算法(SGNG)[44]、自适应聚合网络(ANNCL)[45]、Kolmogorov–Arnold分类器(KAC)[46]、基于相似性的尖峰神经网络上下文感知持续学习(SCA)[47]和双重整合算法(DUCT)[48]。如表II所示,当重放率为0和1时,我们的BDNN在准确率和速度方面均优于其他模型。4) 应用性:为了评估BDNN在各个领域的适用性,我们在几个公开可用的数据集上进行了学习实验,包括实值数据(如单模态触觉数据集和多模态触觉数据集[56])、静态MNIST图像数据以及来自Kaggle的心电图(ECG)数据集(表III)。对于使用一个压力传感器获得的单模态触觉数据集,网络中只需要一个输入神经元。BDNN成功学习了这个数据集,达到了99%的测试准确率。相比之下,使用标准LIF神经元模型的基于BP的学习方法未能有效学习数据。然而,使用简化神经元模型的SNN-Feedforward模型能够达到91%的较低准确率。在使用九自由度磁力、角速率和重力(MARG)系统记录的多模态触觉数据集上,BDNN在0.01小时(36秒)内就达到了99%的准确率。相比之下,基于BP的SNN需要超过十倍的时间才能达到相同的准确率。对于静态MNIST数据集,应用了泊松编码将像素强度转换为尖峰列。BDNN通过逐步增加隐藏神经元数量,分别在0.36小时内达到90%的准确率,在1.44小时内达到95%的准确率。虽然通过增加隐藏神经元数量可以提高准确率,但这超出了我们研究中使用的笔记本电脑的计算能力。相比之下,使用固定架构的基于BP的学习方法达到最大准确率所需的时间稍长。在ECG数据集上,BDNN也展示了竞争性的准确率和更快的学习速度,仅在0.03小时内就达到了90%的准确率。值得注意的是,基于BP的方法的学习持续时间仅反映了在固定架构下100个周期的训练阶段。如果需要超参数调整,持续时间将会显著增加。从表I和表II可以看出,无论输入数据是尖峰形式还是实值形式,BDNN在处理触觉信息方面都表现出色。这表明BDNN非常适合处理具有空间和时间维度的数据,无论是触觉数据还是视频数据,以及仅具有时间维度的数据。此外,BDNN在学习ECG信号方面也表现出色。然而,目前BDNN的实现仍然较浅,仅包含一个隐藏层。这种架构简单性可能会限制它们在处理高度复杂或高维数据集(如CIFAR系列)时的有效性。另一方面,由于当前的BDNN使用了从Hodgekin–Huxley(HH)神经元模型简化而来的LIF神经元模型,可能会丢失一些细微信息[20],从而导致性能受限。例如,在我们对Kaggle上的某些脑电图(EEG)数据集进行的实验中,BDNN在癫痫发作检测等任务中的分类准确率不超过60%。同样,BDNN在Heidelberg Spiking Speech Commands(SSC)数据集上的表现也很差。这些发现强调了进一步开发以增强BDNN处理更细微或复杂的时间-空间数据能力的必要性。第四节 结论 总之,受到产后神经回路发育过程的启发,我们提出了BDNN,这是一种新的学习方法,它消除了对梯度下降和BP进行SNN训练的依赖。BDNN有效地解决了灾难性遗忘的问题,并且无需手动调整超参数。其发展是由输入数据内在驱动的,使网络能够自动适应不同的数据复杂性。通过对通过我们的电子皮肤抓取生成的神经形态触觉数据集以及公开可用的数据集进行广泛评估,我们在同一硬件平台上进行的比较研究表明,BDNN的学习速度比传统的基于BP的方法快一个数量级以上,而且在不需要超参数调整的理想情况下也优于现有的增量学习模型。在实际应用中,由于超参数调整通常是必不可少的,BDNN的学习速度可以快两个甚至三个数量级,这突显了其显著的效率和实用价值。