《Frontiers in Neurorobotics》:Trainable movement control using spikes and muscle-twitch dynamics
编辑推荐:
这项研究针对神经形态控制系统输出端执行器控制研究不足的问题,开展了一项受神经肌肉系统启发的、可训练的弹道控制模型研究。研究人员开发了一种名为抽搐神经网络(TwNN)的模型,利用脉冲神经网络(SNN)的输出脉冲产生类似肌肉抽搐的信号,以生成连续波动输出信号来控制执行器。通过改进的、适用于脉冲整合发放神经元的直接反馈对齐(DFA)学习规则,成功训练该系统在改良版“Pong”游戏中控制球拍,最佳模型的击中率达到99%。这项研究证明了神经肌肉启发的系统能够通过学习完成复杂的控制任务,并为神经形态计算的输出端控制提供了新的、在硬件实现上更具可行性的解决方案。
想象一下,一只箭鱼精准地喷射水柱击落昆虫,或是一只跳蛛瞬间跃起捕食猎物。这些令人惊叹的快速、精准动作,背后是一种名为“弹道控制”的生物运动策略。生物体在感知到目标信息后,会一次性规划并发出“全力以赴、几乎不可调整”的指令,以完成一次目标导向的运动。这种策略之所以必要,是因为闭环反馈控制可能受到神经和神经机械延迟的阻碍。受此启发,研究人员开始思考:能否借鉴这套精密的生物控制回路,为人工系统(如机器人)打造快速、高效的运动控制单元?
然而,现实挑战重重。在神经形态计算领域,大部分研究聚焦于如何高效处理来自传感器的信息(输入侧),而对于如何将这些离散的、脉冲式的神经信号,平滑、连续地转化为物理执行器(如电机、关节)的运动指令(输出侧),研究则相对匮乏。直接将脉冲信号用于控制会导致动作抖动;简单的低通滤波又需要精确调参并存储历史数据。与此同时,主流的深度学习反向传播算法虽然强大,但其更新需要层层锁定,且难以在追求本地化、低功耗的神经形态硬件上直接实现。
为了解决这些难题,一个国际研究团队在《Frontiers in Neurorobotics》上发表了一项创新研究。他们从生物神经肌肉接口中汲取灵感,开发了一套名为“抽搐神经网络”(Twitch Neural Network, TwNN)的模型。这套模型的核心思想是:不让脉冲神经网络的输出脉冲直接去“推”执行器,而是让每个脉冲去“激活”一个模拟的肌肉运动单元,产生一个短暂的、平滑的“抽搐”力。这就像我们每动一下手指,并非由单个神经信号直接命令,而是由多个运动单元按特定时序收缩舒张,合力产生的平滑动作。通过一个脉冲激活一个“抽搐”信号,再将众多“抽搐”信号叠加,TwNN能够生成复杂、平滑的模拟控制信号。为了应对需要双向运动(如上下、左右)的控制任务,研究人员还引入了生物体中常见的“促肌-抗肌”对概念,用两组神经元分别控制相反方向的运动,巧妙避开了在电子实现中产生负信号的难题。
为了训练这个复杂的系统,研究人员必须设计新的学习规则。他们基于“直接反馈对齐”(Direct Feedback Alignment, DFA)算法,为脉冲整合发放(Integrate-and-Fire, IF)神经元量身定制了“脉冲整合发放直接反馈对齐”(Spiking Integrate and Fire DFA, SIF-DFA)规则。这个规则的巧妙之处在于,它通过一个固定的、随机的反馈矩阵,将任务执行后的全局误差信号(如“球拍与球的偏差距离”)直接反馈给网络中的每一层权重,从而绕过了反向传播所需的复杂梯度计算和更新锁定,允许所有权重并行更新,这大大增强了其在未来神经形态硬件(如忆阻器网络)上实现的可行性。
研究人员选择了一个经典的动态控制任务——改良版“Pong”游戏——来验证TwNN模型的有效性。在这个任务中,一个球以随机的角度射向屏幕一侧,由TwNN控制的球拍需要在球的路径上拦截它。为了模拟生物感知,研究人员设置了三条虚拟的激光测距传感器线,当球依次穿过这些传感器时,其位置信息被编码成重叠的高斯感受野,并转化为输入神经元的脉冲发射概率。随后,一个三层的前馈脉冲神经网络处理这些信息,输出脉冲驱动促肌和抗肌运动单元产生“抽搐”信号,最终合成球拍的垂直运动速度。每次拦截尝试后,系统会根据球与球拍中心的距离计算误差,并使用SIF-DFA规则更新网络权重。
关键技术方法:
本研究构建了从感知、处理到执行的完整神经形态控制模拟管线。感知阶段采用基于高斯感受野的分布式编码,将传感器读数映射为输入神经元的脉冲发放率。信息处理核心是一个三层前馈脉冲神经网络,其神经元采用整合发放模型,膜电位积累加权输入脉冲,超过阈值时发放并重置。执行阶段,每个输出神经元脉冲触发一个独立的二阶过阻尼脉冲响应滤波器(模拟运动单元抽搐),其时间常数和幅度随机固定。系统采用促肌-抗肌输出架构实现双向控制。学习采用新提出的SIF-DFA规则,利用任务完成的全局标量误差和每个输出神经元的累积活动,通过随机固定反馈矩阵计算权重更新,避免了反向传播的更新锁定问题。模型在一个定制的、支持弹道控制的“Pong”游戏环境中进行训练和评估。
研究结果:
3.1 环境适应性
研究首先通过初步实验确定了可行的超参数范围,包括传感器编码、网络规模(输入层100/200神经元,隐藏层50神经元,输出层100神经元)和神经元阈值等,为后续系统的训练和评估奠定了基础。
3.2 基线SIF-DFA性能
研究人员对基线SIF-DFA算法进行了大规模超参数扫描(共160组参数组合)。结果发现,学习率是影响模型性能的关键因素。当学习率设置在0.001和0.0001时,模型能够有效学习。在击中率85%的合格线标准下,有31个(19.4%)模型达到了良好性能,其中性能最佳的基线模型击中率达到了96%。
3.3 变体:稳定学习过程(SIF-LFA)
受生物感知中刺激强度与感知强度呈对数关系的启发,研究人员对每个输出神经元的累积活动进行了对数变换,再将变换后的值与全局误差结合用于权重更新,此变体称为SIF-LFA。这一改进显著提升了学习稳定性,将达到良好性能的模型比例提高至30.6%(49/160),并且最佳模型的击中率提升至98%。
3.4 变体:避免求和电路(SIF-EFA)
为了进一步贴近硬件实现的可行性,研究人员用泄漏积分器(具有衰减因子τ)替代了原本对神经活动的精确求和,以跟踪活动的近似历史,此变体称为SIF-EFA。在包含衰减因子τ的五档取值(0.9, 0.95, 0.99, 0.995, 0.999)的超参数扫描中,当τ值较高(0.995和0.999)时,系统性能与无衰减(τ=1)的SIF-LFA相当甚至略有提升。最佳性能出现在τ=0.995的参数组合下,其击中率达到了99%。这表明,使用泄漏积分器不仅能在电子实现上免除复杂的求和与存储电路,还能在一定程度上优化学习参数的范围,提升部分条件下的性能上限。
此外,针对神经元阈值变化和膜电位噪声的鲁棒性分析表明,该系统在学习过程中对多种神经元阈值具有适应性,在推理阶段也能承受每个时间步长约等于神经元阈值0.1-1%量级的均匀膜电位噪声。
结论与意义:
这项研究成功地证明,一个受神经肌肉系统启发的、使用脉冲和肌肉抽搐动力学的模型,可以通过一种神经形态可行的学习规则(SIF-DFA及其变体)进行训练,以完成“Pong”游戏拦截球这种复杂的弹道控制任务。最佳模型的性能(99%击中率)展示了该方法的有效性。
本研究的贡献是多方面的:首先,它扩展了先前提出的TwNN模型,使其能够处理更具挑战性的时空感知和预测任务。其次,针对三层网络结构,对学习规则和学习过程进行了大量适应性改进。最重要的是,提出了SIF-DFA、SIF-LFA和SIF-EFA等一系列学习规则,这些规则避免了反向传播的更新锁定问题,仅使用全局误差信号,且易于在未来基于忆阻器的神经形态硬件上实现。通过用泄漏积分器替代精确求和,进一步提高了系统的电子实现可行性。
这项工作为神经形态控制系统,特别是输出端的平滑、模拟控制,提供了一个新颖且强大的框架。它将生物灵感的执行器接口与硬件友好的学习算法相结合,为开发新一代低功耗、自适应、能处理复杂时空任务的智能机器人控制器和边缘计算设备开辟了新的道路。研究代码已在GitHub上开源,以供社区进一步研究和应用。