用于鲁棒控制的分数阶脉冲神经网络

《Neurocomputing》：Fractional-order spiking neural networks for robust control

　　摘要
我们展示了经过训练的非循环分数阶脉冲泄漏积分-放电（fLIF）神经网络在控制最难的杆臂平衡问题时，其性能优于传统的脉冲神经网络。与传统神经网络相比，分数阶脉冲神经网络（fSNN）能够更快地达到目标适应度，训练后的效率提高30%，对噪声的容忍度提高一倍，体积更小，并具有 Emergent criticality（动力学临界性）特性，同时对于神经形态学实现来说更加节能。fLIF模型中的电压分数阶微分是一个具有内在记忆的非局部运算符，其特性由导数的分数阶数值决定，其中0为传统LIF（Leaky Integral-And-Fire）模型。最难的杆臂平衡问题是指控制器只能获得手推车位置和杆的角度信息。研究表明，当分数阶参数值处于特定范围时，这些网络在学习速率和抗噪声能力等方面表现最佳。fSNN还表现出更丰富的控制策略，并且随着分数阶参数值的减小，其动态特性变得更加复杂。在具有记忆功能的电子元件（memelements）的背景下，我们发现fLIF模型中的电压分数阶微分对应于一个分数阶电容器，该电容器具有记忆电容特性。这些记忆电容特性也体现在神经元的放电率上，使得fLIF成为一种memelement（具有记忆功能的电子元件）。总体而言，我们的工作表明，时间分数阶微分可以为时间依赖性控制任务提供内在的动力学记忆，利用分数阶系统的固有记忆优势。

引言
大多数神经网络和神经形态系统假设记忆仅存储在突触权重中，而所有神经元的传递函数在整个网络中保持固定且相同[39][49]。相比之下，在神经系统中，历史依赖性是一种普遍现象，从突触到整个网络都存在，反应速率会随着先前活动的变化而变化[43][48][62][68][76]。对于脉冲神经元而言，历史依赖性可能源于其内在的兴奋性[28]，从而在响应传入的感觉或网络活动时修改其传递函数。我们和其他人已经证明，无标度历史依赖性的脉冲活动可以表示为感觉或突触输入的分数阶微分[3][31][43][44][67]。真实神经元和人工神经元中的分数阶微分提供了最佳编码特性和抗噪声能力[26][70]。分数阶历史依赖性会影响神经元在执行任务时的传递函数，从而产生多样的神经元兴奋性特征[68][69]。将这些受生物学启发的计算能力转化为机器学习和硬件技术，对于开发高效的神经形态学应用具有重要意义[20][39][41][49]。
分数阶导数是一个非局部运算符，其函数值取决于通过记忆核积分的所有先前活动，该记忆核的衰减遵循幂律分布[56]。记忆核的衰减程度由分数阶导数的阶数决定。由于分数阶导数依赖于所有先前活动，因此它们被认为具有内在的记忆痕迹。我们通过实现神经元膜电压的分数阶微分，将广泛使用的泄漏积分-放电（LIF）脉冲模型扩展为分数阶LIF（fLIF）模型[67][68]。为了模拟具有长期适应性的脉冲神经元，我们和其他人使用了相关方法[44][67]，其中0表示传统的LIF模型。对于鲁棒控制器而言，分数阶微分能够以幂律频率谱最优地编码信号[31]，从而实现对复杂系统的鲁棒和高效控制[13][15]。幂律信号在自然和人造环境中非常常见[14][21][42][44]。在人工神经网络中，分数阶微分被用于改进传统人工神经网络的参数训练和梯度下降算法[34][71][77][78]。我们提出了一种不同的方法，即使用分数阶微分作为改变神经元传递函数的动态系统[16]。我们假设这种内在的记忆痕迹可以作为外部适应机制的替代方案，例如在循环神经网络中[60][65]。最近，我们使用分数阶电容器构建了fLIF和其他脉冲模型的模拟电路[70]。分数阶电容器属于具有记忆功能的电子元件（memelements）家族[17]。Memelements，包括分数阶电容器，可以使用分数阶动力学进行建模[18][52]。因此，分数阶微分不仅是一种模拟缓慢适应生物神经元的方法，也可以用来实现高效且鲁棒的人工脉冲神经网络（SNN）。
杆臂平衡问题是一个著名的控制问题，由于它的动态性质和对连续实时决策的需求，对于神经形态系统尤为重要[6][40][54]。在这个项目中，我们实现了一个使用进化算法训练的最小前馈SNN。我们专注于“最困难”的情况，即神经网络仅接收来自状态变量（手推车位置和杆的角度）的输入，但不知道它们的一阶导数[54]。我们证明了使用分数阶SNN（fSNN）可以解决这个问题，其体积仅为使用传统动态模型的网络的一半。分析表明，当分数阶参数值处于适当范围时，fSNN的学习速率最高，并且对执行器中的噪声扰动具有至少两倍的鲁棒性。隐藏层的内部动态显示，在执行任务时，脉冲活动遵循幂律分布，这与动力学临界性一致[7][27]。我们的结果表明，分数阶动力学可以实现小型且鲁棒的神经网络，这在边缘计算应用中可能具有吸引力[38][63]。

部分代码片段
我们使用OpenAI Gym环境[10]实现了杆臂平衡任务，该环境为神经形态计算系统的基准测试提供了标准化接口[54]。杆臂系统由一个可移动手推车上平衡的杆组成。在每个模拟步骤中，控制器必须决定是否向左或向右施加力以移动手推车。每个动作都会对手推车施加一个固定的力。目标是不让杆倾斜超过某个角度，并保持手推车在指定范围内。
分数阶电容器是一种memelement
在fLIF模型中，电压的分数阶微分对应于电路中表示中的分数阶电容器。我们首先研究了分数阶电容器在memelements背景下的动态响应。可以使用分数阶微积分来扩展理想电容器的定义，以描述具有记忆功能的电压动态[2][35]：
其中C表示电容。对于周期性输入电流，可以得出电压动态的解析解：
公式(8)表明...

结论
我们展示了由fLIF神经元组成的紧凑型非循环SNN能够在最具挑战性的配置下控制杆臂系统[54]。fLIF网络对环境噪声表现出更高的鲁棒性，提供了一种对抗外部扰动的内在过滤机制，这是分数阶控制器的优势[57][74]。在类似的网络配置中，非分数阶神经元需要更大的网络规模和更长的训练时间，但仍然能够实现相同的功能。

CRediT作者贡献声明
Erick Olivares：写作——审稿与编辑，撰写原始草稿，可视化，软件开发，方法论研究，数据分析，概念构建。
Fidel Santamaria：写作——审稿与编辑，监督工作，资源管理，项目协调，数据分析，概念构建。

关于写作过程中使用生成式AI和AI辅助技术的声明
在准备本工作时，作者们使用了Copilot、Claude和Gemini来生成用于数据分析（如曲线拟合和直方图计算）的Python代码。作者们根据需要审阅和编辑了输出结果，并对发表文章的内容承担全部责任。

关于潜在利益冲突的声明
作者声明以下可能被视为潜在利益冲突的财务利益或个人关系：
Fidel Santamaria表示获得了美国国家科学基金会的财务支持。Fidel Santamaria拥有一项专利#19/561,437。如果还有其他作者，则他们声明没有已知可能影响本文所述工作的财务利益或个人关系。
Erick Olivares于2005年在智利澳大利亚大学获得生物学学士学位，2014年在智利瓦尔帕莱索大学获得神经科学博士学位。目前他是德克萨斯大学圣安东尼奥分校的博士后研究员。他的研究兴趣包括计算神经科学、运动控制以及用于神经形态计算的生物启发模型。
Erick Olivares | Fidel Santamaria
德克萨斯大学圣安东尼奥分校神经科学、发育与再生生物学系
美国德克萨斯州圣安东尼奥市78249