时延脉冲水库计算技术实现了高效的时间序列预测

《Advanced Intelligent Systems》：Time-Delayed Spiking Reservoir Computing Enables Efficient Time Series Prediction

　　摘要

脉冲式水库计算（SRC）是水库计算的一种变体，其中水库以脉冲神经网络的形式实现，在时间序列预测任务中表现出竞争力强的性能。然而，计算成本随着水库规模的增加而显著上升，限制了其可扩展性。在这项工作中，我们提出了时间延迟脉冲式水库计算（TDSRC）来解决这一限制。该方法通过连接时间延迟的水库状态来构建扩展的读出特征向量，使得使用更小规模的水库也能实现相当的预测准确性。TDSRC在三个基准任务上进行了评估：脉冲驱动函数生成、洛伦兹系统预测和Mackey-Glass系统预测。在所有任务中，TDSRC的预测误差与标准SRC相当或更低，且使用的神经元数量更少，表明在时间延迟和水库规模之间存在权衡。此外，还分析了延迟选择以及TDSRC中脉冲神经元的兴奋-抑制比例的影响，为其实现提供了实用指南。

1 引言

脉冲神经网络（SNN）被广泛认为是第三代生物启发式神经网络[1, 2]，在人工智能和理论神经科学中提供了一个有前景的神经形态学设计概念。与人工神经网络中连续实值特征表示不同，SNN通过在时间上编码稀疏的、事件驱动的二进制脉冲来传递信息，这在能源效率和时序信息处理方面具有潜在优势[3-5]。尽管有这些优势，但由于复杂的神经元动态[8]和脉冲产生的不可微性[9-11]，SNN中的有效学习仍然具有挑战性。水库计算（RC）[12-14]作为一种轻量级的循环神经网络，重新引起了人们对复杂动态系统重建和预测的兴趣[15-17]。其核心原则是将时间特征生成与学习解耦：一个固定的循环水库将输入流映射到一个高维动态状态[12]，而只训练线性读出部分，通常通过正则化回归实现[18, 18]。这种设计避免了时间上的反向传播，即使对于长期时间依赖性也能实现稳定且低成本的训练。这种训练范式自然适合于SNN[19]，因为SNN的非平滑脉冲产生和循环动态使得基于梯度的训练变得困难。因此，在脉冲式水库计算（SRC）中，水库被实现为SNN，而只训练读出层[20-22]，从而结合了事件驱动的计算和仅读出的简单性。然而，当任务变得更加复杂时，SRC往往需要更大的水库才能实现有竞争力的性能。这是因为水库状态可以被视为这些输入动态的广义嵌入，而脉冲神经元的数量限制了特征空间的丰富性[23]。因此，规模过小的水库可能表现出不足的表现能力和不充分的衰减记忆来捕捉与任务相关的时间结构[24]。增加水库规模可以缓解这个问题，但不可避免地会提高计算成本并限制可扩展性。此外，在神经形态学和其他物理RC实现中，硬件占用和成本通常随水库规模增加而增加[25-28]。因此，在严格的水库规模限制下实现强大的性能是必不可少的。为了解决上述限制，我们提出了时间延迟脉冲式水库计算（TDSRC）。受到延迟嵌入理论[29, 30]的启发，该理论表明延迟观察通常可以形成底层动态的嵌入，TDSRC通过连接时间延迟的水库状态来增强读出功能。这种策略通过将输入历史映射到更高维的嵌入特征空间来丰富读出特征，而无需增加水库神经元的数量或修改固定的脉冲动态。虽然时间延迟已在单节点模拟RC[31, 32]和集成方法[33, 34]中成功应用，但我们的方法直接将其整合到了脉冲读出框架中。由此产生的表示扩展了特征空间的有效维度，使得使用显著减少的水库规模也能实现准确的预测。我们在三个基准任务上评估了TDSRC：脉冲驱动函数生成[35]、洛伦兹系统预测[36]和Mackey-Glass（MG）系统预测[37]。在所有任务中，TDSRC的预测误差与SRC相当或更低，且使用的神经元数量更少，揭示了水库规模和时间延迟之间的权衡。此外，我们系统地检查了延迟选择和脉冲神经元比例对性能的影响，并为实施TDSRC提供了实用指南。我们的主要贡献如下：

- 我们提出了TDSRC，这是一种通过时间延迟的水库状态增强读出表示的延迟增强型SRC框架。在不增加水库规模或修改固定水库动态的情况下，TDSRC使用显著更少的神经元实现了具有竞争力的预测准确性，从而实现了轻量化和资源高效的SNN实现。
- 我们系统地研究了关键设计因素，包括延迟配置和脉冲神经元的兴奋-抑制（E-I）比例[38]，并为实际部署TDSRC提供了基于实证的指导。

2 结果

2.1 使用TDSRC预测时间序列

为了减少SRC进行时间序列预测所需的神经元数量，我们提出了一个TDSRC框架，如图1所示。具体来说，考虑一个简单的案例，其中使用输入时间序列来预测输出时间序列。水库产生脉冲驱动的动态，这些动态通过因果时间平滑被编码为一个连续的发射率状态，其中是脉冲水库神经元的数量。图1展示了带有时间延迟读出的SRC的整体架构。多变量输入时间序列通过一个固定的（通常是稀疏的）输入矩阵映射到一个循环脉冲水库中。水库是一个由脉冲神经元组成的固定随机网络，具有循环连接性，生成的脉冲列被总结为一个连续的水库状态。这里，通过应用因果时间平滑来获得发射率特征。标准SRC使用即时读出。TDSRC仅修改读出输入，通过形成一个带有延迟的特征堆栈来连接延迟的水库状态，从而增加有效读出维度，而不改变水库动态或神经元数量。在两种设置中，学习都限制在读出权重上，而和中保持不变。虽然标准SRC使用当前的水库状态，但TDSRC通过间隔堆叠延迟的水库状态来增强读出能力：

有效输出维度定义为：

其中是时间延迟的数量。在标准SRC中，特征维度严格受到水库规模的限制（即）。相比之下，TDSRC通过延迟因子扩展了读出；因此，可以使用显著更少的水库神经元构建一个相当的高维特征空间。在整个过程中，核心效率问题是延迟扩展是否可以在减少水库神经元数量的同时保持预测性能。预测计算为，其中只有读出矩阵使用训练数据进行优化。相比之下，和在训练前初始化，并在整个过程中保持不变。关于TDSRC的更多细节在第4节中提供。为了验证我们TDSRC方法的有效性和适用性，我们在三个数值实验中对其进行了评估。第一个是旨在强调短期记忆的功能生成任务。第二和第三个实验预测洛伦兹和MG时间序列，在闭环预测设置中评估性能。

2.2 使用脉冲驱动记忆的功能生成

我们首先使用功能生成任务比较SRC和TDSRC。这个任务被有意设计为“脉冲驱动”的，如图2A所示：外部驱动仅在短时间内激活，而所需的输出是一个在更长时间间隔内的连续函数。这个实验的目的是研究脉冲水库是否能够将短暂的脉冲转换为持续的、结构化的输出，并且关键是确定当水库保持不变时，时间延迟的读出是否可以提高性能。因此，准确的生成需要（i）在输入消失后仍能保留信息的水库动态；以及（ii）能够解码演变瞬态为目标函数的读出。图2展示了作为记忆和解码基准的脉冲驱动功能生成。（A）脉冲驱动任务的示意图。一个短暂的输入脉冲驱动一个固定的脉冲水库；训练和测试使用在不同时间应用的脉冲。（B）SRC（, ; 红色）和TDSRC（, , ; 蓝色）的比较。顶部，输入脉冲；中间，SRC输出；底部，TDSRC输出。（C）在变化和下的测试MSE热图。（D）在固定和ms的情况下，20个随机种子下的测试MSE分布。黄线表示标准（非脉冲）RC基线，与之匹配。粗条形：四分位距；白色圆圈：中位数。我们使用步长进行模拟。标量输入由两个矩形脉冲组成（一个用于训练，一个用于测试），每个持续：

目标函数是一个具有两个频率的乘法调制正弦波，定义为

为了强调脉冲驱动的生成而不是连续跟踪，训练目标仅在训练脉冲结束后出现：

而测试目标占据测试脉冲之后的固定持续时间窗口：

所有实验都使用实验部分详细介绍的一致的水库实现。读出在间隔内进行训练，随后在期间进行评估。性能通过方程（16）中定义的平均平方误差（MSE）来量化，在测试窗口内进行评估。首先，如图2B所示，我们比较了SRC和TDSRC在这个功能生成任务上的性能。首先，我们验证了标准SRC模型的有效性。在相同的水库参数和训练协议下，它使用200个神经元的水库大小实现了。相比之下，我们评估了TDSRC的性能。将参数设置为和时，TDSRC模型使用40个神经元的较小水库大小实现了。值得注意的是，性能提升主要出现在由训练窗口外的脉冲触发的测试间隔中。这一结果表明，时间延迟可以有效地减少神经元数量，同时提高预测性能。其次，我们通过二维扫描探索了改变延迟步长和延迟数量的影响，如图2C所示。对于此分析，我们使用了一个较小的水库（）以确保确定性评估。结果表明，标准情况（）表现不佳，这强化了标准读出对于这项任务来说是不充分的。从低参数值到高参数值，随着或的增加，性能得到改善，最佳配置出现在和。这些发现表明，当水库规模固定时，引入时间延迟有效地扩展了动态维度以提高生成精度，而较大的增强了记忆容量（MC），从而提高了整体性能。最后，我们在固定有效读出尺寸的情况下研究了分解对模型性能的影响，如图2D所示。当配置从纯空间设置调整为混合时空设置时，测试误差达到最小。具体来说，从到的调整显著降低了测试MSE，表明将容量从“更多的神经元”重新分配到“更多的时间延迟”是有益的。然而，进一步推进一步长（例如，到）会导致误差相对于情况上升。这表明，虽然时间延迟提供了增强精度的延迟嵌入，但当神经元数量过度减少（例如，低于40）时，误差会上升，因为水库失去了支持读出所需的动态多样性。因此，确定适当的是平衡维持稳健预测性能和显著减少水库大小的关键。为了区分脉冲动态的贡献和通用延迟嵌入的贡献，我们还包括了一个标准的（非脉冲）RC基线，如图2D中的黄线所示。这个基线采用了一个具有激活、谱半径、连接比和泄漏率的经典回声状态网络，而所有其他训练和评估设置保持不变。在我们的框架中，配置代表没有时间延迟的标准脉冲版本，而后续配置包含了不同程度的时间延迟增强。比较显示，无论是否应用时间延迟或使用特定的延迟参数，我们提出的方法在所有配置中都一致优于非脉冲RC基线。这个结果表明，TDSRC的性能提升并不仅仅是由于扩大了线性读出的特征空间；实际上，脉冲储备动态与时间延迟增强之间的相互作用产生了比单独任何一个组件更丰富的时空表示能力。

2.3 Lorenz系统预测

接下来，我们比较了SRC和TDSRC在Lorenz系统上的预测性能，Lorenz系统是一个由以下方程定义的经典三维混沌流：

(7)其中，，和是标准设置。连续时间轨迹通过Runge–Kutta方法生成，并以0.1的固定间隔进行采样。输入和目标值根据对应原始序列计算出的统计信息在各个维度上进行标准化。对于SRC和TDSRC，我们生成了5000个数据点，其中4000个用于训练，1000个用于测试。在测试阶段，SRC和TDSRC都进行了闭环预测。首先，我们评估SRC的性能。如图3A所示，当储备神经元数量为400时，它获得了NRMSE（均方根误差）值。所有报告的统计结果都是在20个独立随机种子上计算得出的。随后，我们验证了TDSRC的有效性。如图3B所示，通过使用少五倍的储备神经元数量，并将读出时间延迟扩大，这种方法获得了更低的NRMSE。从定性上讲，延迟特征的加入显著增强了振荡幅度和相位的保持能力，使得预测能够在发散之前更长时间地跟踪混沌吸引子流形。这些结果表明，在预测混沌系统方面，TDSRC框架在准确性和计算效率方面都取得了更好的性能。

使用SRC和TDSRC在匹配的有效维度下预测Lorenz系统。(A) 使用SRC进行闭环预测，NRMSE为0.89 ± 0.19。(B) 使用TDSRC进行闭环预测，NRMSE为0.74 ± 0.15。分别使用了，和步长，得到了等效的有效维度。(C–E) 对Lorenz系统进行数值实验，改变了延迟间隔（步长）、滞后数量和兴奋性比率。所有结果都是在20个独立随机种子上平均得出的。我们进一步研究了模型对三个关键超参数的敏感性，分别是延迟间隔、滞后数量和兴奋性-抑制性比率（详见第4节）。如图3C所示，预测性能随延迟间隔的变化而变化，在调查范围内，步长时的NRMSE最低。这个相对较大的延迟间隔与AMI（平均互信息）最小值启发式（见第2.6节）一致，表明对于Lorenz系统来说，当连续的滞后快照之间的延迟与信号的去相关时间尺度相当时，读出的好处最大，从而最大化了增强特征向量的时间多样性。从图3D可以看出，滞后数量也有一个明显的最佳值。使用少于五个滞后会低估时间背景，而使用超过五个滞后则可能会引入高度相关的特征，并导致回归条件不良。图3E展示了兴奋性神经元比率的结果，最佳性能出现在接近某个比率附近。这一发现突显了生物学上合理的E-I（兴奋性-抑制性）平衡的计算优势。E-I平衡对于TDSRC尤为重要，因为它直接影响时间延迟增强的效果：当网络在未优化的E-I比率下运行时，引入时间延迟的好处大大降低，这一点通过我们的实验结果得到了证实（见图3E）。这样的平衡确保了储备动态足够丰富，以捕捉输入波动，同时保持了进行稳健长期预测所需的稳定性。

2.4 MG系统预测

为了进一步模拟其他混沌系统，我们考虑了MG系统，这是一个定义为

(8)的延迟微分方程

与Lorenz系统不同，延迟项引入了长距离的时间依赖性。由方程(8)描述的连续时间动态可以离散化为以下差分方程，步长为：

(9)其中表示整数延迟步长。为指定了一个常量历史，以为提供更新所需的值。为了评估SRC和TDSRC之间的性能差异，我们进行了闭环预测任务。对于SRC和TDSRC，我们生成了5000个数据点，其中4000个用于训练，1000个用于测试。我们首先考虑标准的SRC，其中储备神经元数量为800个时，获得了NRMSE（均方根误差）值（在20个随机种子上）。相比之下，我们检验了TDSRC方法的有效性。如图4B所示，尽管使用的神经元数量减少了五倍，并在读出中引入了时间延迟，但这种方法获得了显著降低的NRMSE。图4A和B的比较表明，添加延迟特征极大地提高了保持振荡幅度和相位的能力，使得系统能够更好地近似依赖于延迟状态的动态。这些结果表明，读出从明确访问储备状态的短历史中受益，使得TDSRC在反馈下更有效地保持了正确的长期依赖性。因此，TDSRC在精度和模型复杂性方面都实现了更高的性能。

2.4 MG系统预测

为了进一步模拟其他混沌系统，我们考虑了MG系统，该系统定义为

(8)的延迟微分方程。与Lorenz系统不同，延迟项引入了长距离的时间依赖性。由方程(8)描述的连续时间动态可以离散化为以下差分方程，步长为：

(9)其中表示整数延迟步长。为指定了一个常量历史，以为提供更新所需的值。为了评估SRC和TDSRC之间的性能差异，我们进行了闭环预测任务。对于SRC和TDSRC，我们生成了5000个数据点，其中4000个用于训练，1000个用于测试。我们首先考虑标准的SRC，其中储备神经元数量为800个时，获得了NRMSE值（在20个随机种子上）。相比之下，我们检验了TDSRC方法的有效性。如图4B所示，尽管使用的神经元数量减少了五倍，并在读出中引入了时间延迟，但这种方法获得了显著降低的NRMSE。图4A和B的比较表明，添加延迟特征极大地提高了保持振荡幅度和相位的能力，使得系统能够更好地近似依赖于延迟状态的动态。因此，TDSRC在精度上实现了更高的性能，同时显著降低了模型复杂性。

2.5 MC分析

为了进一步量化储备及其读出保留的时间记忆，我们评估了MC[39]，这是一个标准基准，用于衡量储备系统重构随机输入信号延迟版本的能力。一个标量输入序列从独立且均匀地抽取。对于每个延迟，从储备状态重构延迟输入。MC定义为

(10)其中表示针对-步延迟输入的读出预测。然后通过对所有延迟求和得到总MC：。较高的表示系统在延迟时保留了更多关于输入的信息，较大的反映了更丰富的整体时间记忆。我们使用MC分析评估了SRC和TDSRC。对于SRC和TDSRC，我们生成了4000个数据点，其中2000个用于训练，2000个用于测试。最大延迟设置为。对于SRC，储备由组成。对于TDSRC，延迟参数分别为和。所有结果都是在10个独立随机种子上平均得出的。如图5A所示，MC揭示了两种方法之间的差异。SRC在所有延迟上的都较低，在附近达到峰值，大约为0.13，然后迅速下降到接近零，表明瞬时储备状态关于过去输入的信息保留最少。相比之下，TDSRC在通过的延迟下保持了显著更高的，值保持在0.6以上，随后在之后急剧下降。这个转折点与滞后数量（）一致，表明延迟增强的读出有效增强了系统的MC。

为了提供选择延迟间隔的原则性参考，我们对储备状态进行了AMI（平均互信息）分析[40]。AMI量化了信号与其时间延迟副本之间的统计依赖性。对于一个标量序列，在延迟时的AMI定义为

(11)其中联合概率和边际概率通过32bin直方图估计。的第一个局部最小值确定了连续观测值最大信息量但最小冗余的延迟，为takens风格重构中的延迟选择提供了一个经典的启发式方法。我们在每个基准时间序列的训练部分计算AMI。对于Lorenz系统，分量分别在对延迟范围步长内进行了分析。如图6A所示，所有三个分量的AMI都显示出递减的趋势，在附近达到第一个局部最小值，之后趋于平稳。对于MG系统，标量序列在步长内进行了分析。如图6B所示，AMI曲线呈现出特征性的U形，第一个局部最小值出现在。图6显示了平均互信息（AMI）作为延迟间隔的函数。(A) 三个Lorenz分量的AMI曲线（，，）。第一个局部最小值出现在附近。(B) MG标量序列的AMI曲线，显示第一个局部最小值出现在。值得注意的是，AMI建议的延迟与TDSRC参数扫描中观察到的经验最优值大致一致（对于Lorenz为，对于MG为）。在这两种情况下，经验最优值都接近AMI的第一个局部最小值（和），表明经典的嵌入启发式方法为设置TDSRC的延迟间隔提供了有用的参考。这种一致性可以从滞后特征大约相隔一个去相关时间尺度提供最多独立信息的观点中理解。然而，经验最优值并不完全与AMI估计值重合，反映了TDSRC操作在一个多神经元储备状态向量上，其空间多样性部分补充了延迟引入的时间多样性。因此，我们建议使用AMI的第一个局部最小值作为的有用初始估计，同时进行有针对性的参数扫描以细化任务特定的最优值。

3 结论与讨论

我们的结果表明，所提出的TDSRC框架通过增加时间延迟，有效减小了储备大小，同时匹配或超过了标准SRC的预测性能。在脉冲驱动的函数生成任务和两个混沌时间序列预测基准测试中，引入时间延迟的读出状态显著增强了系统的表示能力。这一性能提升是在不改变内部存储器动态也不增加物理神经元数量的情况下实现的。这些发现与嵌入理论相符，该理论表明通过用延迟观测值增强存储器状态，可以使线性读取重建一个更完整的相空间，从而解决较小脉冲网络中固有的维度限制问题。

3.1 延迟读取的贡献
标准的RC（Recurrent Reservoir）仅依赖于瞬时 firing rates（发射率），有效地将整个输入流的历史压缩成一个单一的空间向量。相比之下，TDSRC（Time-DelayedSRC）通过堆叠历史状态来构建一个增强的特征向量，创建存储器轨迹的时空嵌入。关键在于，这种扩展将计算负担从由于神经元动态和突触操作而难以扩展的循环存储器转移到了读取层。应当注意的是，这种权衡并非没有成本：读取输入的维度增加了，相应地也增加了读取层的规模。然而，在实践中这种权衡是积极的，因为读取仍然是一个可以封闭形式解决的线性回归问题，其成本随特征维度的增加而呈多项式增长，而扩展存储器则需要模拟额外的非线性脉冲动态以及相应的突触操作和更大规模的物理硬件。从经验上看，这在存储器大小和预测性能之间实现了有利的平衡。在Lorenz预测任务中，TDSRC相比基线SRC减少了神经元数量（从400减少到80），从而实现了更优的闭环预测性能。同样地，在MG（Membrane Granger）系统中，该模型仅使用160个神经元就表现优于基线模型（使用800个神经元），验证了延迟扩展有效补偿了存储器物理维度的减少。

3.2 选择延迟间隔和滞后数量
对超参数的系统分析表明，预测性能非单调地依赖于延迟间隔和滞后数量。我们的结果表明，最佳配置取决于具体任务。Lorenz系统更倾向于相对较大的延迟间隔，而MG系统则受益于中等大小的延迟和较长的历史记录。因此，延迟间隔和滞后数量应被视为需要共同调整的耦合超参数，以平衡时间特征的多样性与回归问题过度条件化的风险。第2.6节中介绍的AMI（Automatic Memory Implication）分析支持了这一观点：经典的极小值启发式方法得出的延迟估计与经验上最佳的TDSRC延迟大致一致。这种一致性表明，AMI极小值方法能够识别出连续观测值信息量最大且冗余最小的时间尺度，为选择TDSRC中的延迟间隔提供了一个原理性的起点。因此，我们建议使用AMI作为延迟范围的信息性初始估计，同时对延迟间隔和滞后数量进行有针对性的网格搜索，以精炼特定任务的最优配置。

3.3 与脉冲动态和E-I平衡的相互作用
我们对E-I平衡（兴奋性和抑制性之间的平衡）的研究强调了网络异质性在塑造存储器动态景观中的关键作用。通过严格执行Dale原则，我们观察到当兴奋性神经元比例保持在0.7到0.8之间时，预测性能达到最大。值得注意的是，这一比例与在生物皮层微回路中观察到的解剖数据非常吻合[41]，使得所提出的模型比使用无约束权重矩阵的系统更具生物学合理性。这种结构一致性表明，TDSRC的计算优势不仅仅是参数调整的产物，可能反映了神经计算的基本原理。因此，我们的发现为理论神经科学提供了潜在的见解，提供了一个计算框架，用于探索生物系统如何利用平衡的E-I来支持稳健的时间处理和记忆。

3.4 研究的局限性
尽管结果很有前景，但我们的研究也有一些局限性。首先，我们目前的实现采用了统一的延迟间隔；然而，采用更适应性强的策略，如多尺度延迟或与存储器神经元的内在时间常数同步的间隔，可能会进一步提高性能。此外，这项工作依赖于软件模拟。虽然减少神经元数量表明在硬件实现方面有显著优势，但未来的工作需要在物理神经形态平台上验证这些好处。实际部署还需要解决现实世界的约束问题，如延迟状态的存储缓冲、信号量化以及硬件噪声对时延反馈回路稳定性的影响[25]。

4 实验部分
4.1 经典RC（Recurrent Circuit）
RC是一个用于时间处理的框架，它将固定的循环动态与训练好的读取器分离。一个由输入流驱动的循环非线性系统可以生成一组丰富的高维内部响应，这些响应隐式地编码了最近的输入历史。然后，学习被限制在一个简单的线性输出层中，这降低了训练复杂性，同时保留了对动态信号的强大建模能力。设输入数据为动态系统的状态向量，输出向量为。存储器是一个离散时间的非线性动态系统，其状态由输入驱动。存储器状态的演化由以下方程给出：
(12)
其中 是循环权重矩阵， 将输入投影到存储器中， 是一个非线性函数（例如）。在RC框架中， 和 保持未训练状态；相反，它们被随机初始化并受到稳定性约束的限制。这种配置使得 能够作为时间输入历史的非线性嵌入。我们的时间序列预测任务在闭环环境中进行评估。给定表示为训练数据的时间序列，目标是通过训练输出权重矩阵 来近似一步动态预测，即。具体来说，时间 的预测输出被反馈作为下一个时间步的输入。的估计（即）是这样生成的：
(13)
其中 在存储器参数固定的情况下进行训练。我们通过将存储器状态按列连接起来形成设计矩阵 ，并将相应的期望输出按相同顺序连接起来形成目标矩阵 。优化问题被表述为
(14)
其中 表示范数。使用Tikhonov正则化，由 给出
(15)
其中 是单位矩阵， 控制正则化程度。除非另有说明，否则所有实验中的正则化参数 都设置为 。后续章节将说明如何在基于速率的经典RC和本工作中使用的脉冲存储器中从存储器动态构建 。
模型性能使用两个误差指标进行评估：MSE（Mean Square Error）和归一化均方根误差（NRMSE）。MSE定义为
(16)
其中 和 分别表示时间 的真实值和预测值， 是评估间隔中的时间步数。NRMSE计算为
(17)
其中 表示目标向量的时间平均值。对于图2D中报告的非脉冲基线比较，我们使用了一个标准的RC，具有激活函数、光谱半径、连接比、泄露率和输入缩放。存储器大小设置为 以匹配脉冲实验中使用的有效维度，并应用了相同的岭回归读取器。

4.2 Izhikevich脉冲神经元
脉冲神经元提供了具有内在时间结构的事件驱动的非线性动态，在固定的随机连接性下产生丰富的历史依赖响应。我们模型中的存储器由Izhikevich规则脉冲（RS）神经元组成，这些神经元具有基于导纳的突触[8]，由稀疏的随机循环连接和稀疏的输入投影驱动。每个神经元具有膜电位、恢复变量和突触状态。设（毫秒）表示用于显式欧拉离散化的模拟时间步。固定的神经元和突触超参数总结在表1中。
表1. Izhikevich RS神经元模型及其在存储器中使用的基于导纳的突触的超参数。符号 描述 单位
膜电容 100.0 pF
二次增益 0.7 nS/mV
恢复耦合 -2.0 nS
恢复时间常数 33.33 ms
重置/静息电位 -60.0 mV
内在阈值参数 -40.0 mV
脉冲截止阈值 30.0 mV
重置增量 1.0
突触时间常数 6.0 ms
导纳增益 1.0 nS
反转电位 0.0 mV

连续时间的Izhikevich RS动态由以下方程描述：
(18)
其中参数 和总输入电流 在下文定义。使用截止阈值检测脉冲：如果在离散步骤中满足条件，则记录一个二元脉冲并应用重置规则：
(19)
其中 是指示函数。突触输入被建模为基于导纳的电流，使用单个突触激活状态：
(20)

4.3 SRC（Recurrent Source Code）
循环权重矩阵为 ，具有稀疏的随机连接性。从突触后细胞的角度来看，每个神经元从突触前细胞（连接比为）接收输入，没有自连接（）。外部输入投影为 ，并且是稀疏的：只有随机选定的子集 接受直接输入。 和 被随机初始化并固定。外部输入电流通过输入权重注入：

4.4 Izhikevich脉冲神经元
脉冲神经元提供了具有内在时间结构的事件驱动的非线性动态，在固定的随机连接性下产生丰富的历史依赖响应。我们模型中的存储器由Izhikevich规则脉冲（RS）神经元组成，这些神经元具有基于导纳的突触[8]，由稀疏的随机循环连接和稀疏的输入投影驱动。每个神经元具有膜电位、恢复变量和突触状态。设（毫秒）表示用于显式欧拉离散化的模拟时间步长。固定的神经元和突触超参数总结在表1中。表1. Izhikevich RS神经元模型及其在存储器中使用的基于导纳的突触的超参数。

4.5 TDSRC（Time-Delayed Source Code）
TDSRC通过增加相同存储器状态的延迟副本来增强读取特征，而不改变前一小节中描述的底层脉冲存储器动态。如图1中的延迟状态增强块所示，读取器访问一组结构化的过去存储器状态，以在固定神经元数量的情况下增加有效的特征维度。设表示每个神经元的延迟通道数量，表示整数模拟步骤中的延迟间隔。相应的物理延迟为。因为延迟特征需要访问过去的状态，所以所有延迟组件定义的最早时间索引是

鉴于这些结果，我们的研究有几个局限性。首先，我们当前的实现使用了一个统一的延迟间隔；然而，采用更自适应的策略，如多尺度延迟或与存储器神经元的内在时间常数同步的间隔，可能会进一步提升性能。此外，这项工作依赖于软件模拟。虽然减少神经元数量暗示了对硬件实现有显著优势，但未来的工作需要在物理神经形态平台上验证这些好处。实际部署需要解决现实世界的约束问题，如延迟状态的存储缓冲、信号量化以及硬件噪声对时延反馈回路稳定性的影响[25]。