基于神经配置和位置的液态状态机的神经进化
卡洛斯-阿尔贝托·洛佩斯-埃雷拉(Carlos-Alberto López-Herrera)、
赫克托-加布里埃尔·阿科斯塔-梅萨(Héctor-Gabriel Acosta-Mesa)、
埃夫伦·梅祖拉-蒙特斯(Efrén Mezura-Montes)
以及赫苏斯-阿努尔福·巴拉达斯-帕尔梅罗斯(Jesús-Arnulfo Barradas-Palmeros)
《Mathematical and Computational Applications》:Neuroevolution of Liquid State Machine Based on Neural Configurations and Positions
Carlos-Alberto López-Herrera,
Héctor-Gabriel Acosta-Mesa,
Efrén Mezura-Montes and
Jesús-Arnulfo Barradas-Palmeros
【字体:
大
中
小
】
时间:2026年04月22日
来源:Mathematical and Computational Applications 2.1
编辑推荐:
摘要:液态机器(LSMs)是一种基于循环脉冲神经网络的储库计算模型,通过利用丰富的时间动态和事件驱动的处理,为解决时空分类任务提供了一个强大的框架。尽管传统的LSM公式假设储库是固定且随机生成的,但 recent 的研究已经探索了优化策略来改善液态动态。然而,大多数现有方法主要集
摘要:液态机器(LSMs)是一种基于循环脉冲神经网络的储库计算模型,通过利用丰富的时间动态和事件驱动的处理,为解决时空分类任务提供了一个强大的框架。尽管传统的LSM公式假设储库是固定且随机生成的,但 recent 的研究已经探索了优化策略来改善液态动态。然而,大多数现有方法主要集中在优化突触连接性或储库结构上,而神经元级参数的作用仍然很大程度上未被探索。本研究提出了一种基于遗传算法(GA)的神经进化策略,该策略编码了神经元配置及其空间位置,明确将神经元级参数作为优化目标。通过进化特定于神经元的参数和空间位置,该方法诱导出多样的储库动态。与直接优化突触权重的方法不同,所提出的表示方法的维度与神经元数量成线性比例。该方法在四个合成基准任务上进行了评估,包括一个频率识别任务和三个模式识别任务,这些任务使用了仅由20个泄漏积分-放电(Leaky Integrate-and-Fire)神经元组成的紧凑储库。尽管储库规模较小,该方法仍实现了最先进或极具竞争力的性能,平均准确率高达99.71%。在最具挑战性的情况下(PR12),当储库规模增加到64个神经元时,性能得到了提升。该方法还在两个真实世界数据集N-MNIST和Free Spoken Digit Dataset (FSDD)上进行了评估,使用300个神经元作为储库,分别实现了90.65%和81.47%的准确率,同时使用的神经元数量远少于许多基于LSM的方法。这些结果突显了通过进化神经元配置和空间组织来产生紧凑且有效的液态储库的潜力。
1. 引言
储库计算(RC)是一种新兴的机器学习范式,起源于21世纪初[1],它利用高维动态系统(储库)进行非线性转换[2],以学习复杂时间序列中的时空特征和模式[3]。它由三个层次组成:输入层、储库层和读出层。输入层通过稀疏的、随机加权的连接将输入数据映射到储库中[4],负责数据预处理并确保传入信号正确激活储库[5]。储库层是该模型的计算核心,因为它负责将输入转换成高维表示,也称为状态,在这种状态下复杂模式和关系更容易被识别[6]。它由许多具有固定权重突触(或连接)的互连神经元(计算单元)组成。根据这种定义,储库可以被视为一种人工神经网络(ANN),特别是循环神经网络(RNN),这使得储库能够保留历史信息[2]。最后,读出层作为模型的输出部分,将储库层产生的状态映射成较少数量的期望输出[6]。通常,简单的线性模型(如感知器[7])就足以作为读出函数,这是模型中唯一需要训练过程的部分,使得RC相比深度学习(DL)算法成为一种计算效率极高的方法[8]。图1展示了DL方法和RC模型之间的架构比较。直线和波浪线分别表示固定和可训练的突触连接。在DL中,所有连接都需要训练过程,这增加了复杂性。而在RC中,只有读出层的突触连接需要训练过程。改编自[3]。
历史上,有两种主要的RC代表被独立开发出来:回声状态网络(ESN)[4]和液态机器(LSM)[2]。它们之间的主要区别在于ESN使用传统的RNN作为储库,其中神经元是具有传统激活函数(如修正线性单元(ReLU)的连续值单元。相比之下,LSM使用的是循环脉冲神经网络(R-SNN)的储库,在此背景下通常被称为“液体”,这些神经元具有生物学启发的脉冲特性。虽然ESN能够有效地模拟连续值时间信号,但LSM能够实现精确的脉冲时序和毫秒级的时间分辨率。此外,实验比较表明,储库计算模型的性能在很大程度上取决于储库动态和连接性[9]。
尽管像长短期记忆(LSTM)、门控循环单元(GRU)和基于Transformer的模型在时间任务上取得了显著的性能,但它们需要完整的时间反向传播、大型标记数据集和大量的计算资源。相比之下,LSM将非线性时间表示(储库)与学习过程(读出)解耦,从而在保持丰富的动态表示的同时实现高效训练并降低计算成本[10]。此外,在处理基于事件或脉冲驱动的数据时,脉冲储库自然保持了时间精度,无需连续值近似,使得LSM适用于资源受限的环境,如嵌入式系统、边缘设备和神经形态硬件平台,这些环境中的存储容量、能耗和处理能力都受到限制[11,12]。因此,本研究不是直接与完全训练过的深度架构竞争,而是专注于增强LSM储库的内部动态以提高性能,同时保持计算效率。
脉冲神经元模型旨在通过离散脉冲来捕捉生物神经元的时间动态。在文献中提出的模型中,Hodgkin-Huxley模型[13]提供了对神经元活动的详细描述,但需要大量的计算资源。因此,简化模型(如泄漏积分-放电(LIF)[14]神经元通常用于大规模模拟,因为它们在保持计算效率的同时保留了必要的时间动态。在这项工作中,我们采用了在NEST模拟器[15]中实现的LIF模型。尽管LIF模型简单,使其不太复杂,但其神经元参数可以封装不同的时间动态。这反过来有助于LSM在多个领域的应用,如语音识别[16,17,18]、图像和视觉识别[19,20,21]、生物医学应用[22]、机器人技术和控制[23,24]等。当使用LSM时,避免显式训练的可能性特别有利,因为R-SNN的突触可塑性机制需要复杂且计算要求高的训练算法[25,26,27]。
自从LSM正式引入以来,人们将其与两个核心属性联系起来:分离属性(SP)和近似属性(AP)。在分类任务的背景下,SP衡量液体区分属于不同类的输入的能力,而AP涉及液体对同一类中两个输入的表示的相似性[28];换句话说,SP确保不同的输入产生不同的液体状态,AP确保相似的输入产生相似的液体状态。这两个指标在不同程度上取决于液体的内部复杂性和动态性;因此,LSM的整体性能受到其储库配置的强烈影响。在最初的公式中,Maass等人[23]提出,一个随机生成的液体就足以完成给定任务的适当性能。也就是说,传统的LSM假设储库是固定且未经训练的。然而,这种方法对于复杂任务并没有提供任何坚实的支持或保证。后来,Norton和Ventura[29,30,31]引入了一种无监督的适应机制,称为分离驱动的突触修改(SDSM)。他们的方法通过使用赫布学习(Hebbian Learning)修改突触权重来迭代改进SP,同时保持神经元模型和参数不变。这种近似引入了一种无监督且自组织的储庫训练形式。他们使用作为频率和模式识别任务的合成数据集测试了他们的实现。
相比之下,最近的方法不将液体视为固定储库,而是将其视为可训练的R-SNN,从而放宽了LSM的典型定义。这种放宽使得通过训练-适应过程或优化技术来增强液体成为可能。值得注意的是,R-SNN已成功应用于时间模式识别和决策任务,使用了如脉冲时间依赖性可塑性(STDP)和替代梯度方法等学习规则[26,27,32,33]。然而,这些方法通常涉及计算成本高昂的训练过程,并需要仔细的参数调整,这限制了它们的可扩展性和实际应用性。在优化策略中,进化计算(EC)等元启发式方法展示了有希望的结果。EC包括各种子领域,其中进化算法(EAs)和群体智能(SI)算法是最突出的两种。通常,这些方法针对给定问题的一组潜在解决方案(或个体),通过适应度函数衡量每个个体的适应性。这样,个体根据某种标准进行排名。因此,在每次算法执行(生成或时代)中,个体被组合、淘汰并替换为新个体。图2展示了大多数EA技术遵循的一般元素。这些算法非常适合LSM和R-SNN的优化,因为它们能够在不依赖梯度信息的情况下探索高维空间[32]。
尽管深度循环架构(如LSTM、GRU和基于Transformer的模型)在时间任务上取得了显著的性能,但它们需要完整的时间反向传播、大型标记数据集和大量的计算资源。相比之下,LSM将非线性时间表示(储库)与学习过程(读出)分离,从而在保持丰富动态表示的同时实现高效训练并降低计算成本[10]。此外,在处理基于事件或脉冲驱动的数据时,脉冲储库自然保持了时间精度,无需连续值近似,这使得LSM适用于资源受限的环境,如嵌入式系统、边缘设备和神经形态硬件平台,这些环境中的存储容量、能耗和处理能力都受到限制[11,12]。因此,本研究不直接与完全训练过的深度架构竞争,而是专注于增强LSM储库的内部动态以提高性能,同时保持计算效率。
脉冲神经元模型旨在通过离散脉冲来捕捉生物神经元的时间动态。在文献中提出的模型中,Hodgkin-Huxley模型[13]提供了对神经元活动的详细生物物理描述,但需要大量的计算资源。因此,在大规模模拟中通常使用简化模型,如泄漏积分-放电(LIF)[14]神经元,因为它们在保持计算效率的同时保留了必要的时间动态。在这项工作中,我们采用了在NEST模拟器[15]中实现的LIF模型。尽管LIF模型简单,使其不太复杂,但其神经元参数可以封装不同的时间动态。这反过来有助于LSM在多个领域的应用,如语音识别[16,17,18]、图像和视觉识别[19,20,21]、生物医学应用[22]、机器人技术和控制[23,24]等。在使用LSM时,避免显式训练的可能性尤其有利,因为R-SNN的突触可塑性机制需要复杂且计算要求高的训练算法[25,26,27]。
自从LSM正式引入以来,它与两个关键属性相关联:分离属性(SP)和近似属性(AP)。在分类任务的背景下,SP衡量液体区分属于不同类的输入的能力,而AP与液体对同一类中两个输入的表示相似性有关[28];换句话说,SP确保不同的输入产生不同的液体状态,AP确保相似的输入产生相似的液体状态。这两个指标在程度上都取决于液体的内部复杂性和动态性;因此,LSM的整体性能受到其储库配置的强烈影响。在其原始公式中,Maass等人[23]提出,一个随机生成的液体就足以完成给定任务的适当性能。也就是说,经典的LSM假设储库是固定且未经训练的。然而,这种方法对于复杂任务并不提供任何坚实的支持或保证。后来,Norton和Ventura[29,30,31]引入了一种无监督的适应机制,称为分离驱动的突触修改(SDSM)。他们的方法通过使用赫布学习修改突触权重来迭代改进SP,同时保持神经元模型和参数不变。这种近似引入了一种无监督且自组织的储库训练形式。他们使用合成的频率和模式识别任务数据集测试了他们的实现。
相比之下,最近的方法将液体视为一个可训练的R-SNN,从而放宽了LSM的典型定义。这种放宽使得通过训练-适应过程或优化技术来增强液体成为可能。值得注意的是,R-SNN已成功应用于时间模式识别和决策任务,使用了如脉冲时间依赖性可塑性(STDP)和替代梯度方法等学习规则[26,27,32,33]。然而,这些方法通常涉及计算成本高昂的训练过程,并需要仔细的参数调整,这限制了它们的可扩展性和实际应用性。在优化策略中,进化计算(EC)等元启发式方法展示了有希望的结果。EC包括各种子领域,其中进化算法(EAs)和群体智能(SI)算法是最突出的两种。通常,这些方法针对给定问题的一组潜在解决方案(或个体),适应度函数衡量每个个体的适应性。通过这种方式,个体根据某种标准进行排名。因此,在每次算法执行(生成或时代)中,个体被组合、淘汰并被新个体替换。图2展示了大多数EA技术遵循的一般元素。这些算法非常适合LSM和R-SNN的优化,因为它们能够在不依赖梯度信息的情况下探索高维空间[32]。
最近的研究探索了储库计算的层次扩展,其中多个储库堆叠在一起以增加表示能力[37]。Tian等人[38]提出了一个用于设计多液态机器(MLSM)的NE框架;不同的液体以层状结构排列。作者提出了一种三阶段搜索策略:首先,通过将液体从一层移动到另一层来优化随机架构。其次,在保持总神经元数量不变的情况下,优化上一阶段LSM中每个液体的神经元数量。第三,该框架优化最后一个LSM的液体内部参数,如连接百分比和兴奋性神经元比例。每个优化步骤都使用模拟退火(SA)算法。该框架在两个真实世界基准数据集上进行了评估:图像数据集N-MNIST和Free Spoken Digit Dataset (FSDD)。结果表明,所提出的框架可以有效地搜索高性能的LSM架构,同时相对于手动搜索降低了计算成本。然而,它们依赖于由1000个脉冲神经元组成的复杂结构,并且仅以有限的方式考虑连接性(例如,作为连接百分比),而没有探索神经元配置。
Zhou等人[39]提出了一种名为生成液态机器(GLSM)的框架。该论文提出了一种合作共同进化(CCE)算法,用于使用随机森林替代(RFS)模型设计LSM的储库架构。该算法将储库视为由子网络组成的模块化结构,利用RFS模型来最小化评估候选架构的计算成本。使用遗传算法(GA)来进化结构、神经元数量、神经元阈值和神经元延迟等参数。Yaqoob和Wróbel[36]使用遗传算法(GA)来优化R-SNN的权重和连接。任务是在连续输入流中检测连续符号的形式的时间模式。为了实现这一点,每个符号由输入神经元产生一个时间激活信号,然后在整个网络中传播。他们发现非常小的SNN(只有少数神经元)也能准确识别模式。作为神经模型,他们使用了AdEx神经元,这是LIF模型的一个改编版本,具有固定参数。尽管该表示允许无限连接和节点,但它将中间神经元的数量限制为两个。
最近的研究探索了储库计算的层次扩展,其中多个储库堆叠在一起以增加表示能力[37]。Tian等人[38]提出了一个NE框架,用于设计多液态机器(MLSM);不同的液体以层状结构排列。作者提出了一种三阶段搜索策略:首先,通过将液体从一层移动到另一层来优化随机架构。其次,在保持总神经元数量不变的情况下,优化上一阶段LSM中每个液体的神经元数量。第三,该框架优化最后一个LSM的液体内部参数,如连接百分比和兴奋性神经元比例。每个优化步骤都使用模拟退火(SA)算法。该框架在两个真实世界基准数据集上进行了评估:图像数据集N-MNIST和Free Spoken Digit Dataset (FSDD)。结果表明,所提出的框架可以有效地搜索高性能的LSM架构,同时降低了计算成本。然而,它们依赖于由1000个脉冲神经元组成的复杂结构,并且仅以有限的方式考虑连接性(例如,作为连接百分比),而没有探索神经元配置。
Zhou等人[39]提出了一个名为生成液态机器(GLSM)的框架。该论文提出了一种合作共同进化(CCE)算法,用于使用随机森林替代(RFS)模型设计LSM的储库架构。该算法将储库视为由子网络组成的模块化结构,利用RFS模型来最小化评估候选架构的计算成本。使用遗传算法来进化结构、神经元数量、神经元阈值和神经元延迟等参数。Yaqoob和Wróbel[36]使用遗传算法(GA)来优化R-SNN的权重和连接。任务是在连续输入流中检测连续符号的形式的时间模式。为了实现这一点,每个符号由输入神经元产生一个时间激活信号,然后在网络中传播。他们发现,非常小的SNN(只有少数神经元)也能准确识别模式。作为神经模型,他们使用了AdEx神经元,这是LIF模型的一个改编版本,具有固定参数。尽管该表示允许无限连接和节点,但它将中间神经元的数量限制为两个。他们使用与Norton和Ventura [31]相同的任务进行测试,达到了与先前报道的准确率水平相当的成果。总之,与传统的机器学习模型相比,LSM在时空学习任务中具有几个优势。它们的事件驱动计算允许神经元仅在 spikes 发生时处理信息 [2,3],从而减少了不必要的操作,使它们特别适合在神经形态硬件上实现,在这种硬件中,能耗可以显著低于传统的深度学习架构 [11,12]。此外,水库计算范式通过将水库执行的动态转换与读出阶段的学习分离来简化训练过程 [3,10]。然而,大多数工作主要集中在优化突触权重 [31,41] 或预定义的 architectural 结构 [38,39] 上,而对液体中神经元配置和神经元位置的关注较少。特别是:基于权重的优化方法(PSO、优化突触的GA)假设神经元模型和拓扑是固定的。多液体方法优化了宏观架构,但没有探索液体内的神经元多样性。模块化方法将搜索空间限制在预定义的子结构上。因此,神经元配置和空间位置的联合优化尚未被探索。在这项工作中,提出了一种基于GA的方法来优化液体的性能。选择GA是基于其简单性、经验证的有效性和模块化结构。它的基于种群的特性使得能够广泛探索搜索空间,而其直接的运算符使得能够灵活适应神经进化环境。这个优化过程针对液体的两个关键方面:神经元配置和其内部的神经元位置。通过允许每个神经元在不同的参数配置下运行,最终的液体可以表现出神经元异质性,这意味着各个神经元遵循不同的动态机制。这种异质性被认为可以丰富脉冲神经网络和水库系统的计算动态 [42]。神经元位置则有助于建立空间多样性,从而塑造水库的拓扑结构和连通性。通过确定神经元的空间排列,神经元位置影响了连接概率和突触相互作用的强度,从而影响整个液体的动态。与一些主要优化突触权重的方法不同,这项工作侧重于进化特定于神经元的配置和液体内的空间组织。这种设计保持了编码维度与神经元数量成比例,有助于控制搜索空间的大小,并使即使对于较大的水库也能进行优化。
在之前的工作中 [43],通过消融分析评估了神经元配置和位置的影响。结果显示,仅进化神经元配置就能达到与同时使用配置和空间位置相当的性能,这两种变体之间没有统计学上的显著差异。相比之下,仅进化神经元位置则导致了较低的性能。这些发现表明,神经元配置起着主要作用,而空间位置提供了补充的结构多样性。
为了验证所提出的方法,我们在四个合成的分类任务上对其进行了评估,这些任务类似于Norton和Ventura [31]以及Alvarez-Canchila等人的[41]的工作,并在两个经典的真实世界数据集N-MNIST和FSDD上进行了测试。这项工作的贡献包括:我们引入了一个基于GA的神经进化框架,该框架优化了LSM水库中的神经元配置和空间布局,这与之前主要优化突触权重或连接结构的方法不同。我们证明了进化神经元配置和空间位置可以提高分类性能,强调了神经元参数配置和空间组织是LSM设计中有效的优化目标,而无需直接优化突触权重。我们提出了一种紧凑的编码方案,能够间接优化连接性和突触相互作用,使得编码大小的线性扩展与基于权重的直接表示的二次增长相比成为可能。我们展示了使用少量神经元组成的紧凑水库也可以实现具有竞争力的性能,为依赖于较大水库的现有技术提供了一个更稳定和高效的替代方案。
本文的其余部分组织如下:第2节介绍了本研究中使用的材料和方法,首先描述了使用的数据集(第2.1节),然后概述了LSM模型(第2.2节)以及用于优化的GA(第2.3节)。该节以对整个方法的详细解释结束(第2.4节)。第3节报告了实验结果,包括性能指标和比较评估。在第4节中,我们分析和解释了结果,并强调了所提出方法的意义。最后,我们概述了未来工作的方向。
2. 材料和方法
2.1. 数据库
为了评估该提案的性能,测试了两个合成的多类分类问题。这些问题在Norton和Ventura [31]中有描述,称为频率识别(FR)和模式识别(PR)。FR问题包括四个输入和五个类别(分别称为FR5),每个输入的 firing rate 可以根据类别不同而变化为慢速或高速。表1显示了所有类别的通道频率状态分布。高频设置为100 Hz,低频设置为10 Hz。对于每个类别,使用模板创建了1000个100 ms的样本,然后对频率进行了抖动(在此上下文中,抖动指的是小的变化)。图3展示了每个类别的一个示例。这项任务的挑战之一是在忽略一个从不显示高频率的通道(通道4)的同时检测各种频率。
表1. FR5任务中五个类别的通道频率状态。“H”和“L”分别代表高频率(100 Hz)和低频率(10 Hz)。
图3. FR5任务中每个类别的一个实例示例。它显示了每个通道上的spikes。
PR问题有八个输入通道和不同数量的类别。为了命名它们,分别将PR4、PR8和PR12称为第四、第八和第十二类问题。为每个输入通道生成一个随机的尖峰模式,并通过对这些模式进行扰动来创建实例。与FR5类似,每个类别创建了1000个实例。图4显示了PR4任务的三个实例示例。与FR5相比,这些问题更为复杂,因为每个尖峰都是单独抖动的。
图4. PR4任务的类别示例。每个类别基于每个输入通道的独特尖峰模式(用黑色条表示)。三个实例分别用红色、绿色和蓝色点表示。这些分类任务从不同的方面挑战模型:FR数据集通过多种频率组合以及忽略一个通道(通道4总是显示低频率)来挑战模型;PR数据集通过增加输入通道和类别的数量来增加复杂性,特别是在PR8和PR12中。
此外,还包括了对两个真实世界数据集的测试。MNIST数据集是机器学习中常用的图像分类和模式识别任务的基准数据集。它包含70,000张手写数字(0–9)的灰度图像。数据集图像的尺寸为28 × 28像素。Orchard等人 [44] 提出的Neuromorphic MNIST(N-MNIST)数据集使用神经形态视觉传感器异步时间基图像传感器(ATIS)记录了标准MNIST数据集。
FSDD [45] 是一个为测试语音识别系统而设计的开放音频数据集。它包含由多名英语演讲者发音的(0–9)数字。每个样本是一个8 kHz单通道的波形。该数据集包含2000个音频记录。
FSDD的准备工作包括两个主要步骤。首先,从样本中提取了梅尔频率倒谱系数(MFCCs)以捕获相关的频谱特征。然后,使用泊松率编码方案将提取的特征转换为尖峰列车,其中 firing rate 与信号强度成正比。这个程序采用了Tian等人的方法 [38]。相比之下,N-MNIST数据集所需的预处理最少:原始的28 × 28事件基帧被下采样到17 × 17,将输入通道的数量减少到289。
2.2. LSM
LSM是一种专门用于解决时空任务的框架,基于RC。因此,LSM有两个不同的部分:水库和读出。水库,也称为液体,作为脉冲神经元的核心,将输入数据投影到液体状态中,这些状态是液体内部状态的高维表示。另一方面,读出作为一个无记忆的功能,用于解释液体状态,特别是针对特定任务的训练。LSM的流程如图5所示:
图5. 本工作中使用的LSM模型的工作流程。该图提供了主要处理阶段的概念性说明:输入尖峰通道、液体水库和读出分类器。流程从从数据集获得的多通道尖峰列车输入开始,每个通道连接到水库中随机选择的50%的神经元,输入权重从中采样。液体由兴奋性和抑制性神经元组成,它们通过基于距离的突触权重相互连接,神经元的极性决定了突触后连接的符号。为了提取状态,记录兴奋性神经元的尖峰响应,并在整个模拟窗口中使用这些响应来构建液体状态表示。然后,这些状态使用尖峰率编码转换为静态向量,并传递给读出层,该层实现为一个一对一的分类器。图中显示的元素是示意性的,并不代表实验中使用的确切神经元数量。
输入:数据集提供多通道时间输入,每个输入对应一个不同的信号。如果数据集包含连续信号,则必须将数据编码为尖峰列车。然后,通道将这些流数据投影到液体中随机选择的神经元中。
在这项工作中,使用了50%的输入到液体连接性(),这意味着每个通道连接到液体中随机选择的神经元数量的一半。相应的输入突触权重是从均匀分布中采样的。
水库:液体是LSM的核心机制。它由R-SNN组成,包括兴奋性和抑制性神经元。遵循Maass等人 [2] 提出的经典LSM公式,神经元被组织成兴奋性和抑制性群体,其中兴奋性神经元产生正向(兴奋性)突触后连接,而抑制性神经元产生负向(抑制性)突触后连接。在这项工作中,LIF神经元单元随机放置在二维空间中,它们的连接和突触值由神经元之间的距离决定。当尖峰通过这个连接网络传播时,液体将输入转换为动态的高维内部状态,称为液体状态。为了提取状态,记录兴奋性神经元的尖峰响应,并在整个模拟窗口中使用这些响应来构建液体状态表示。这些状态向量随后被传递给读出阶段进行分类。
所有液体模拟都是使用NEST模拟器包 [15] 进行的,采用了LIF神经元模型的标准配置“iaf_psc_alpha”。
读出:在液体响应之后,状态被采样并转换为称为状态向量的静态表示。每当读出模块是无记忆的时候,这个过程都是必要的。最常见的转换技术包括尖峰计数(尖峰的总数)和尖峰率(尖峰总数除以信号长度)。然后将每个状态表示传递给分类器,该分类器被训练来执行特定任务。我们的方法采用了尖峰率转换,这有利于相对活动强度 [46]。此外,读出功能实现为一个一对一的线性分类器,由n个独立的Perceptron组成,每个Perceptron都使用随机梯度下降(SGD)训练来识别一个类别与其他所有类别的差异。分类是针对所有其他类别进行的,将具有最大置信度的Perceptron的类别进行分配。作为参数,SGD使用最大迭代次数()为1000,容忍度()为,以及L2正则化过程。此读取功能因其简单性而被选中,这为液体过程增添了价值。表2展示了该管道中使用的参数概要。表2. LSM模型中使用的参数。2.3. GA 本节概述了本研究中采用的遗传算法(GA)。GA作为配置液体结构的优化策略,指导搜索方向,以寻找能够提高LSM分类性能的架构。遵循的一般框架如图2所示。编码方案、遗传操作符、选择机制和适应度评估过程在下面详细描述。2.3.1. 编码、初始化与种群 对于神经架构的有效进化优化来说,合适的表示至关重要。编码的目标是包含定义适当搜索空间所需的模型组件和信息,通常称为基因型。在这方面,所提出的编码考虑了两个部分:神经元配置和位置。关于前者,考虑了四个参数:电压阈值:较低的阈值使神经元对传入脉冲更加敏感,允许其在较低的输入频率下触发。膜时间常数:该参数定义了膜电位在受到干扰后恢复到静息状态的速度。较高的值延长了总和窗口,允许远处的脉冲产生更显著的影响。不应期:神经元在放电后无法再次放电的时间。较低的值允许更快的恢复。极性:定义神经元是兴奋性的还是抑制性的。兴奋性神经元会增加突触后神经元的膜电位,而抑制性神经元则会降低它。这一属性可以通过神经元传出连接的符号来表示。另一方面,二维空间(液体)中的X和Y坐标构成了神经元单元的位置信息,这也建立了液体的连通性。为了建立正确的编码,需要三个限制:参数X和Y不能相等或低于0。违反这些限制的情况会被映射到一个小的默认值。电压阈值必须超过复位电位。如果未满足此条件,该值会降低mV。神经元必须具有唯一的位置。如果出现任何重叠,一个冲突的神经元会被重新分配到一个随机有效的位置。种群中的每个个体,也称为染色体,由n个基因组成,其中n是液体中神经元的数量。每个基因编码单个神经元的属性,结合了其配置参数和在液体中的空间位置。因此,基因型的维度随着神经元数量的增加而线性增长。图6展示了一个编码和解码的例子。具体来说,图6a展示了一个由6个神经元组成的液体的有效基因型示例。图6. 在进化过程中产生的有效编码示例。(a)展示了基因型表示,(b)描绘了表型转换。此外,神经元的位置通过成对测试来确定液体中的连通性,连接每对可能的源()和目标()神经元,概率为p。p是根据和之间的距离(D)的高斯分布的概率密度函数(PDF)计算得出的。方程(1)说明了神经元与神经元连接的概率估计;按照这个程序,神经元之间的距离越近,它们相连的机会就越大。这遵循了生物学上的准确性[47,48],称为彼得规则。这种基于距离的规则在方程(2)中得到了体现;较短的连接会对突触后神经元产生更显著的影响,这模仿了生物学原理,即较短的连接由于延迟和能量成本的降低而具有更大的突触权重[48]。图6 (1) (2) 其中代表神经元和之间的距离,是与该距离相关的高斯概率,表示突触强度缩放因子。由于高斯概率密度函数是有界的,因此得到的突触权重也有界。给定突触强度参数(),当两个神经元之间的距离接近零时,权重值最大,接近于。种群由50个个体组成,并且这个数量在整个进化过程中保持不变。在初始化时,每个个体的参数都是随机定义的。为了管理计算成本,合成数据集的液体大小设置为20个LIF神经元,而对于N-MNIST和FSDD数据集则增加到300个LIF神经元。极性初始化被调整为80%的兴奋性神经元,与在皮层区域观察到的生物学比例一致[49];每个神经元有80%的概率是兴奋性的。参数X和Y是从特定范围中均匀随机选择的,如表3所示。这些范围的选择是为了使平均值更接近正常值。另一方面,X和Y的范围是根据初步实验确定的,在这些实验中测试了不同的上限。观察到较大的值会降低尖峰活动,而较小的值则会饱和液体活动。因此,X和Y都被限制在6的上限,对应于一个空间网格,这为合成数据集提供了平衡的空间规模和保持计算可行性。对于更大规模的实验,空间域被扩展到一个网格,以保持适当的神经元分布和连通结构。然而,通过进一步的实验来验证这些范围是至关重要的。表3. 参数范围。它显示了文献中发现的正常值以及每个参数的随机选择范围。“-”表示该值不适用。2.3.2. 评估 评估个体的过程从将基因型解码为相应的表型开始(图6b)。这项任务涉及设置单个神经元的参数,如它们的配置和位置,以及定义哪些神经元将接收输入连接。一旦网络实例化,就模拟该个体:将输入模式呈现给液体,并将产生的尖峰响应记录为液体状态。然后将这些状态转换为静态状态向量,该向量被输入到读取模块中进行分类。使用分类准确度作为目标函数来测量个体的性能。2.3.3. 父亲选择 选择锦标赛选择机制是因为它的简单性和鲁棒性。锦标赛选择是在进化算法(EAs)中常用的一种父母选择策略。在这种方法中,从种群中随机抽取预定数量的个体,称为锦标赛规模。这些个体根据它们的适应度值进行竞争,适应度最高的个体被选为父母。根据需要重复此过程以生成所需数量的父母。2.3.4. 交叉 交叉变体操作促进了父母特征的利用。本工作中选择了带有混合的交叉(BLX-)。这种操作器专为实值编码设计,通过从由父母基因和混合参数定义的均匀分布中采样每个基因来创建后代。图7说明了交叉过程。(a) 从种群中选择两个父母个体,每个个体代表一个候选液体配置,其中每个基因编码一个神经元的参数:阈值电位()、膜时间常数()、不应期()、空间位置(x, y)和极性。(b) 对每个神经元和每个参数独立应用混合交叉(BLX-),产生具有混合配置的两个后代。此操作通过允许后代中的基因稍微超出其父母的界限来控制搜索空间的探索。(c) 生成的后代。极性从父母那里继承而来。首先,对父母的基因型进行对齐(图7a)。具体来说,对于每个基因,后代值是从区间中抽取的,其中和是两个父母相应基因的值,定义了两个值之间的差异。这种方法促进了超出父母范围的探索,同时保持遗传连续性。图7b展示了计算的一个示例。最后,这个过程对每个基因中的每个参数重复进行,从而产生两个后代(图7c)。极性是一个二进制参数(兴奋性或抑制性),不经过这种交叉过程,而是直接从父母那里继承。2.3.5. 突变 与旨在促进利用的交叉不同,突变操作符负责提供探索。在这项工作中,随机选择n个神经元的一个子集,其中n代表液体中神经元总数的一半,并从原始范围重新初始化。此外,只有配置或位置受50%的概率影响。图8展示了这个过程的例子,其中基因3和4的配置以及基因1的位置被重新初始化。尽管这些突变相对较强,但它们被有意选择以促进探索,因为小的扰动并不总是会在网络中产生有意义的行为差异。图8. 应用于种群中单个个体的突变过程示例。突变操作随机选择一组神经元(用红色突出显示),并重新初始化它们的配置参数或空间位置。当选择配置时,所有相关参数(, , 和)从它们的原始范围重新采样;同样,当选择位置时,空间坐标(X, Y)也会被重新初始化。2.3.6. 更换与停止标准 采用了代际更换,包括了一个精英主义过程,以保留每一代中最适合的个体百分比。此外,如果达到最大代数或任何个体达到100%的准确度,进化过程就会终止。2.4. 方法论与校准 图9展示了所提出方法的完整流程,整合了上述的数据划分和进化优化过程。第一阶段(图9a)将数据集分为两部分:用于GA过程的进化分区(70%),以及用于GA过程后获得的最佳个体的验证分区(30%)。第二阶段包括GA提出的过程(图9b)。对于每个个体,进化分区被内部分割成训练和测试子集,以训练和评估读取模型,确保对分类性能的公平估计。图9. 提出的流程。(a) 数据划分将数据集分为进化分区(70%)和验证分区(30%)。(b) 提出的GA从初始化开始。这些最初的个体在上进行评估,形成初始种群。经过锦标赛选择后,使用交叉和突变操作创建后代。然后,在上对后代进行评估,并用精英主义替换之前的种群。当达到停止标准时,在上测试最佳个体。使用校准过程来确定交叉率(Cr)、突变率(Mr)、锦标赛规模和精英主义的值。为此,进行了十次GA执行,每次使用的FR5实例数量不同。虽然对所有参数组合进行完整的网格搜索可以产生更优化的配置,但由于模拟每个组合的计算成本很高,所以没有采用这种方法。图10显示了实验中获得的平均准确度。对于Cr,观察到70%在测试和验证上都表现良好,其次是50%。有趣的是,90%的性能显著下降(图10a)。随着百分比的增加,Mr参数的性能有所提高。在50%和80%处出现了两个有趣的峰值(图10b)。基于这些观察,针对Cr的50%、60%、70%以及Mr的50%、70%和80%进行了五次额外的实验(图10c)。有趣的是,最佳结果出现在Cr或Mr百分比较高的情况下。然而,两个参数都处于较高百分比时,评估的个体数量增加,从而增加了计算成本。因此,选择了70%的Cr和50%。值得注意的是,较高的突变率产生了有竞争力的结果,表明了替代方法(如进化策略(ES)的潜在适用性。关于 tournament 规模和 elitism(精英主义),分析显示在 25% 的情况下效果更好,这对应于一个包含 12 个个体的 tournament;而在 5% 的情况下,设置了三个精英个体。表 4 总结了参数校准结果。图 10 展示了 10 次执行后的校准平均结果:(a) 不同测试值下的 Cr 结果,最佳结果出现在 50% 和 70% 的情况下;(b) 不同测试值下的 Mr 结果,随着变异率的增加,性能通常会有所提升,最佳验证结果出现在 80% 的情况下;(c) Cr 和 Mr 的组合测试值,最佳结果出现在两者都较高的情况下;(d) tournament 规模变化较小,但最佳验证结果出现在 25% 的情况下;(e) 5% 的 elitism 百分比优于其他测试值。表 4 中的加粗数字是通过多次实验校准得到的,其余数字则是基于先前的经验选择的。为了测试该方法的实施效果,在 FR5、PR4、PR8 和 PR12 任务上进行了 30 次执行。相比之下,由于计算限制,N-MNIST 数据集和 FSDD 只进行了 5 次执行。DEAP [51] 库用于 GA(遗传算法)的实现,编程语言为 Python 3.10。实验是在配备了两块 Intel? Xeon? Gold CPU(型号 6226R)的高性能机器上进行的,这些 CPU 拥有 72 个逻辑处理器,可以并行评估个体。在设置了一个包含 50 个个体的种群和 100 代的情况下,每次进化运行大约需要 5000 次适应性评估。在实际操作中,合成基准数据集上的每次运行大约需要 6 小时。对于涉及更大液体和更高输入维度的真实世界数据集,每次运行的时间增加了大约 24-30 小时。这些运行时间与相关研究中报告的时间相仿或更短,例如 Tian 等人 [38] 报告的 N-MNIST 为大约 16.3 天,Zhou 等人 [39] 报告的 FSDD 为大约 3.3 天。
3. 结果
3.1. 在合成数据集上的实验
为了建立基线对比,图 11 展示了最佳初始适应度、最佳最终适应度和验证过程之间的比较。这显示出良好的泛化能力,表现为过拟合减少和验证准确性的提升。图 11 显示了 FR5、PR4、PR8 和 PR12 任务的初始适应度、最终适应度和验证适应度的对比。蓝色条形代表初始种群中的最佳准确度值,绿色条形代表进化后找到的最佳适应度值,紫色条形显示了对最佳个体的验证结果。误差条表示 30 次执行的标准偏差。表 5 对比了这种方法和 Norton & Ventura [31](称为 SDSM)以及 Alvarez-Canchila 等人 [41](称为 PSO)的方法的结果。SDSM [29] 方法的结果取自原始出版物。对于 PSO 方法 [41],作者提供了他们的全部实验结果,使我们能够对这两种方法进行统计比较。表 5 显示了 Norton & Ventura [31](SDSM)、Alvarez-Canchila 等人 [41](PSO)以及本方法的性能对比。加粗数字表示最佳值、平均值、中位数、最差值和标准偏差。“-”符号表示数据不可用。所有加粗数字都表示最佳值。所提出的方法在所有任务中均优于其他指标,除了 FR12 的平均值和中位数。为了评估统计显著性,首先应用了 Shapiro–Wilk 检验来评估准确度分布的正态性。由于不满足正态性假设,因此使用非参数的 Kruskal–Wallis 检验来比较 GA 方法和 PSO 的性能。结果总结在图 12 中;所有任务都观察到了显著差异。在 FR5、PR4 和 PR8 中,这些差异有利于我们的方法。然而,PR12 的情况需要进一步分析,因为统计指标可能表明我们的方法和 PSO 的能力相当,但仍然观察到了显著差异。图 12 显示了四种任务中 GA 和 PSO 的分类准确度对比。条形表示平均准确度,误差条表示标准偏差。红色的星号(*)表示方法之间存在统计学上的显著差异。尽管 PSO 获得了更好的平均值和中位数,但我们的 GA 方法与他们的最佳结果持平,并且超过了他们的最差结果以及标准偏差。这表明 PSO 在高端性能上更高,一些极端值对标准偏差有所贡献。
为了进一步验证这一点,进行了 30 次额外的实验,将神经元数量增加到 64 个,与 Alvarez-Canchila 等人 [41] 的模型相匹配。表 6 展示了统计指标的对比,显示了我们方法的改进。由于 Shapiro–Wilk 检验检测到非正态分布,因此对 PSO、具有 20 个神经元的 GA 和具有 64 个神经元的 GA 应用了 Kruskal–Wallis 检验,随后进行了 Dunn 的事后检验(p < 0.05)。如图 13 所示,所提出的方法与 PSO 之间没有观察到统计学上的显著差异。尽管如此,PSO 的结果分布更广,包括更多的极端低性能异常值,而我们所提出的方法保持了更一致的性能。表 6 显示了 Alvarez-Canchila 等人 [41](PSO)与我们的方法在具有 20 个和 64 个神经元时的性能对比。所有加粗数字都表示最佳值。图 13 使用具有 20 个神经元的 GA、具有 64 个神经元的 GA 和 PSO 的 PR12 任务分类准确度的箱形图比较。每个箱子显示了多次运行中的准确度分布。橙色线条表示中位数,虚线表示根据 Dunn 的事后检验(p < 0.05)具有统计学意义的差异。评估最终的神经元配置,即、、和,以及我们 GA 方法在四个任务中找到的最佳个体的位置分布(不包括仅在 PR12 上测试的具有 64 个神经元的 GA),图 14 和图 15 显示大多数值仍然在原始初始化范围内。神经元配置倾向于在较窄的区间内收敛,尽管不同任务的分布结果有所不同。因此,这些统计结果应针对每个基准分别解释,而不能作为所有任务的全球趋势。相比之下,神经元位置分布没有清晰的模式。图 14 显示了合成任务中表现最佳的 LSMs 的神经元配置参数分布。每个子图显示了一个不同参数的箱形图:(a) 不应期(),(b) 膜时间常数(),以及 (c) 尖峰阈值()。绿色三角形表示平均值,橙色线条表示中位数,虚线绿色线条表示初始化期间使用的默认范围。图 15 显示了合成任务中表现最佳的 LSMs 的神经元位置分布。每个子图显示了液体中的神经元位置:(a) FR5,(b) PR4,(c) PR8,以及 (d) PR12。虚线绿色线条表示初始化期间使用的默认范围。
3.2. 在真实世界基准测试上的实验
除了合成数据集外,还在两个标准基准测试 N-MNIST 和 FSDD 上评估了所提出的方法。这些数据集呈现了更复杂的时空模式,对模型能力提出了更严格的测试。为了应对增加的复杂性,液体规模增加到了 300 个神经元,初始位置网格设置为 15 × 15,每个任务只进行了五次执行。Tian 等人 [38] 和 Zhou 等人 [39] 报告的结果取自他们的相应出版物,并在此作为参考。表 7 显示,虽然我们的方法没有达到最高的准确度,但它使用了显著较少的神经元取得了有竞争力的结果。例如,Tian 等人 [38] 使用了 1000 个神经元的 reservoir,而我们的方法仅使用 300 个神经元就取得了相当的性能。Zhou 等人 [39] 提出了一种调整 reservoir 结构方面的架构搜索方法,包括在优化过程中调整神经元数量;然而,他们最终架构中的确切神经元数量没有明确报告。尽管如此,我们的结果表明,可以使用更紧凑的架构获得有竞争力的性能。由于模拟 SNN 的计算成本随神经元数量和突触交互的增加而增加,减小网络规模可以降低计算复杂性并提高效率,使模型适用于资源受限的环境,如神经形态硬件平台、嵌入式系统和边缘计算设备。表 7 显示了在 N-MNIST 和 FSDD 数据集上的性能对比。“-”符号表示数据不可用。与之前类似,图 16 和图 17 分别显示了这些任务的最终神经元配置和最佳个体的位置分布。从合成实验中获得的观察结果保持一致:神经元配置根据任务的不同而收敛到更窄的范围内,而神经元位置则分散且没有明显的空间模式。图 16 显示了 N-MNIST 和 FSSD 基准测试中表现最佳的 LSMs 的神经元配置参数分布。每个子图显示了一个不同参数的箱形图:(a) 不应期(),(b) 膜时间常数(),以及 (c) 尖峰阈值()。绿色三角形表示平均值,橙色线条表示中位数,虚线绿色线条表示初始化期间使用的默认范围。图 17 显示了 N-MNIST 和 FSSD 基准测试中表现最佳的 LSMs 的神经元位置分布。每个子图显示了液体中的神经元位置:(a) N-MNIST,(b) FSDD。虚线绿色线条表示初始化期间使用的默认范围。
4. 讨论与结论
LSM 模型是一种结合了 R-SNN 和简单线性分类方法的 RC(基于规则的控制器)方法,在多个时空应用中表现出色。LSMs 利用了神经元模型的复杂性,如 LIF 模型,来学习复杂时间序列中的时空特征和模式。尽管传统的 LSM 公式假设了一个固定的、未经训练的液体(reservoir),但最近的研究通过引入 R-SNN 的训练或优化策略放宽了这一限制,从而增强了液体的能力。此外,大多数最先进(SOTA)方法并没有利用可用的神经元参数,如不应期()、膜时间常数()和峰值阈值(),而是完全依赖于突触连接来优化液体的性能。在这项工作中,提出了一种基于 GA 编码神经元配置和位置的新的 NE(神经进化)方法。为了验证该方法,使用了两种不同的方法。首先,进行了四个合成分类任务,即五个类别的频率识别任务(FR5)和三个类别的模式识别任务,分别有 4 类(PR4)、8 类(PR8)和 12 类(PR12)。结果与两种类似方法进行了比较:Norton & Ventura [31] 提出的 SDSM 学习技术和 Alvarez-Canchila 等人 [41] 提出的 PSO 元启发式方法。其次,使用了两个经典数据集 N-MNIST 和 FSDD,并将结果与 Tian 等人 [38] 和 Zhou 等人 [39] 提出的 SOTA 方法进行了比较。为了管理计算成本,合成数据集的液体规模限制为 20 个 LIF 神经元,N-MNIST 和 FSDD 的液体规模限制为 300 个 LIF 神经元。该方法在合成任务中取得了 SOTA(状态-of-the-art)结果,FR5 的平均准确度为,PR4 的平均准确度为,PR8 的平均准确度为,PR12 的平均准确度为。此外,我们的方法在所有调查的统计指标上都取得了更好的结果,Kruskal–Wallis 检验证明了这一点,除了 PR12 之外。进一步检查 PR12 的情况发现,PSO 方法在高端性能上更高,但表现出了几次次优的运行(例如,我们的 GA 方法的最差值为,而 PSO 方法的最差值为)。将神经元数量增加到与 PSO 提议的 64 个神经元相等后,PR12 的平均准确度为,没有显著差异。我们的结果表明,尽管 PSO 能够取得有竞争力的结果,但我们基于 NE GA 的方法在运行中的性能更加稳定,显示出更稳健和泛化能力更强。将神经元配置纳入优化过程被证明是一种有效的策略,因为它使液体内部能够探索多样和动态的机制,从而在不增加网络规模的情况下提高了任务特定的性能。该方法在合成任务中取得了 SOTA 结果,FR5 的平均准确度为,PR4 的平均准确度为,PR8 的平均准确度为,PR12 的平均准确度为。此外,我们的方法在所有调查的统计指标上都产生了更好的结果,这些差异通过Kruskal–Wallis检验得到了确认,除了PR12指标。进一步分析这个案例发现,尽管PSO方法在不同运行中的变异性更大,包括一些次优结果(例如,最差值与我们GA方法相比),但将神经元数量增加到64个(与PSO配置相匹配)后,平均准确率得到了提高,且统计上没有显著差异。两种方法实现了可比较的性能;然而,PSO的方法表现出更广泛的分布,低性能的异常值更频繁出现,而所提出的基于GA的方法在不同运行中表现出更稳定和一致的行为。这些结果表明,虽然PSO能够达到有竞争力的性能,但将神经元配置纳入优化过程可以使得搜索更加稳健和通用,从而在不增加网络规模的情况下促进稳定的解决方案。
在N-MNIST和FSDD上的评估展示了所提方法的应用范围超出了合成任务。尽管我们的方法在这些数据集上的准确率没有超过最佳水平,但N-MNIST上90.65%和FSDD上81.47%的准确率仍然与报道的结果接近。此外,这些结果是在使用显著较少的神经元数量(300个对比Tian等人[38]中的1000个)下获得的。由于脉冲神经网络模拟的计算成本随着神经元数量和突触交互的增加而增加,这种减少表明了计算效率的提高。这一特性在资源受限的场景中尤其重要,因为在这些场景中,内存、能源消耗和计算能力都是有限的。在这种背景下,使用更少的资源实现有竞争力的性能变得非常有利,因为它可以在保持 strong 分类能力的同时降低模拟成本。
在多个任务中观察到的性能提升可能与进化后储液器的异质性有关。通过允许神经元在不同的参数配置下运行,所提出的编码方式能够使储液器内部产生多样化的时间响应。这种多样性丰富了储液器的内部动态,并有助于在液态状态空间中更好地分离输入模式。之前的一些研究也报告了神经元异质性对脉冲神经网络学习效率的益处[42]。
关于在优化过程中发现的参数,观察到神经元配置的原始范围有所减小,这表明进化过程倾向于收敛到搜索空间中更有效的区域。这一见解有助于在未来应用中引导搜索找到更合适的参数值。在这个背景下,另一个值得考虑的方面是不同神经元配置对神经形态硬件实现的潜在影响。现代的神经形态平台,如Intel Loihi和SpiNNaker,支持可配置的神经元参数,允许为单个神经元指定不同的阈值、时间常数和不应期[11,12]。因此,进化过程产生的神经元配置有助于生成更丰富的储液器动态,同时保持与此类硬件的兼容性。然而,神经形态系统通常依赖于离散值或架构约束,这限制了可以部署的神经元类型范围。因此,探索进化后的神经元配置与硬件约束之间的相互作用是未来工作的一个有趣方向。
我们提案的另一个关键创新之处在于能够通过储液器中神经元的空间排列间接影响R-SNN的连通性,而无需显式编码所有的突触连接。在这种形式中,神经元的位置决定了神经元之间的距离,进而通过基于高斯距离的规则影响连接概率和突触权重。因此,编码方式塑造了储液器的连通性结构,并调节了脉冲传播动态。
表8展示了所提出的编码方式与直接权重编码方式之间的比较。在我们的方法中,每个神经元由一小组参数(四个配置值和两个空间坐标)表示,编码大小与神经元数量成线性关系。相比之下,基于权重的方法必须考虑所有可能的突触连接,导致维度呈二次增长。此外,虽然这些方法完全依赖于连续参数,但我们的编码结合了连续(五个参数)和二进制(极性)变量,进一步减少了有效的搜索空间。尽管在进化后的神经元位置中没有观察到明显的空间模式,但空间编码仍然是一个关键的结构组成部分,使得与生物学原理(如Peter的规则[48])一致的有意义的连通性模式得以出现。
虽然所提出的方法在合成和真实世界任务中表现出强大的性能,但仍有一些限制影响了其更广泛的适用性。首先,随着神经元数量的增加或在评估更大数据集时,进化储液器的计算成本变得非微不足道,这限制了在N-MNIST和FSDD上的试验次数。其次,尽管该方法实现了有竞争力的性能,但它没有超过真实世界基准测试的最佳结果,这表明需要进一步的方法改进。最后,尽管神经元配置带来了可观察到的改进,但空间神经元布局的贡献仍然不确定,需要进一步分析。
未来的工作将集中在扩展本研究中提出的实验评估和优化框架。这包括在更多任务和更多样化的数据集上测试该方法,以进一步验证其泛化能力,探索替代的进化操作符,将额外的神经元或突触参数(如外部电流)纳入编码中,探索使用替代模型来近似适应度函数以减少评估时间,以及将储液器扩展到更大的规模。