重新思考突触后电位动态:用于多功能时间整合的自适应突触滤波器
《Pattern Recognition》:Rethinking post-synaptic potential dynamics: Adaptive Synaptic Filter for versatile temporal integration
【字体:
大
中
小
】
时间:2026年04月15日
来源:Pattern Recognition 7.6
编辑推荐:
自适应突触滤波器通过可学习的时域滤波器建模突触后电位动态,解决脉冲神经网络中跨时间尺度信息处理难题,显著提升图像分类、语音识别和强化学习任务性能。
刘志坤|王俊学|于强
天津大学人工智能学院,中国天津
摘要
由于脉冲神经网络(SNNs)具有稀疏、事件驱动的特性以及生物学上的合理性,它们在时间信息处理方面受到了越来越多的关注。在大脑中观察到的各种时间过程中,突触后电位(PSP)动态在决定神经元如何随时间整合信息方面起着关键作用。然而,这一关键机制在SNNs中受到的关注却有限,主要是因为在突触层面明确建模异构时间响应的难度较大。为了解决这个问题,我们提出了自适应突触滤波器(ASF),这是一种受生物学启发的即插即用模块,它通过可学习的突触时间常数来近似不同的PSP动态。我们的ASF通过使网络能够选择性地保留和整合多个时间尺度上的输入信号,从而提高了时间建模的灵活性,增强了捕捉时间依赖性的能力。我们还提供了ASF的频域分析,为其在不同时间尺度上增强时间整合的能力提供了理论见解。此外,ASF可以无缝扩展到非脉冲架构中,使其在不同网络范式中具有广泛的适用性。在包括图像分类、语音识别和强化学习在内的多个领域进行的广泛实验表明,与最先进的方法相比,ASF的性能更优,验证了其作为利用异构突触动态进行时间建模的生物学启发组件的有效性。
引言
脉冲神经网络(SNNs)提供了一种受生物学启发的计算范式,它通过离散的脉冲来编码和传输信息,与传统的人工神经网络(ANNs)相比,更接近生物神经元的动态行为。与依赖于连续值激活和密集同步计算的ANNs不同,SNNs利用稀疏、事件驱动的活动来实现时间精确和能效高的处理[1]。这种固有的时间编码机制使它们特别适合处理涉及复杂时间动态的任务,如语音识别[2]和手势识别[3]。此外,它们的异步通信和低功耗操作使SNNs与神经形态硬件平台高度兼容。
为了提高SNNs的时间处理能力,大多数现有研究都集中在增强神经元动态或开发更复杂的网络架构上。在神经元层面,先进的神经元模型,如PLIF[4]、ALIF[5]和GLIF[6],引入了包括膜时间常数、发射阈值和多室动态在内的可学习参数,以在单个神经元层面捕捉更丰富的时间特征。同时,在架构层面,采用了循环连接[7]、[8]和注意力机制[9]等技术来更好地捕捉时间依赖性。尽管这些方法显著提高了SNNs的时间能力,但它们通常面临捕捉多样时间尺度或计算复杂性增加的挑战。
生物大脑在突触层面利用了另一种基本的时间处理机制:突触后电位(PSP),其动态通常由突触时间常数控制[10]。神经科学研究表明,突触表现出由其各自时间常数塑造的多样时间行为[11]。这些时间常数调节了突触前输入对突触后神经元的影响持续时间,使得在多个时间尺度上进行灵活的时间过滤成为可能。通过这种机制,生物系统直接在突触层面实现时间整合,使神经元能够对发生在不同时间尺度的输入信号做出不同的响应。然而,尽管PSP动态至关重要,但在大多数现有计算模型中仍然没有得到充分利用。一个关键挑战在于计算可扩展性:为每一突触建模一个单独的时间常数和记忆痕迹将导致的开销,对于具有个神经元的一层来说,这使得在大规模网络中不切实际[12]。
为了解决计算模型中PSP动态的未充分利用问题,我们引入了自适应突触滤波器(ASF)——这是一种受生物学启发、轻量级且与架构无关的模块,它通过可学习的时间过滤来明确建模突触后电位动态。ASF不为每个突触分配单独的记忆痕迹,而是为每个突触前神经元应用一个共享的时间痕迹,从而将复杂度从降低到,同时保留了突触整合的时间表现力。这种设计使得时间依赖性的建模既可扩展又灵活,并且可以无缝集成到脉冲和非脉冲网络中,无需进行架构修改。我们还从频域角度提供了理论见解,表明ASF作为一个可学习的低通滤波器,能够自适应地强调不同频带中的相关特征。在包括图像分类、语音识别和强化学习在内的多个领域的实验结果验证了我们方法的有效性。此外,在噪声输入下的鲁棒性分析以及对学习到的突触时间常数动态的检查进一步突显了ASF在抑制无关波动的同时保持核心时间模式的能力。我们的主要贡献总结如下:
- •
我们提出了自适应突触滤波器(ASF),这是一种受生物学启发的即插即用模块,它通过由突触时间常数控制的时间过滤来建模PSP动态。ASF与架构无关,可以集成到脉冲和非脉冲模型中,以增强时间信息处理能力。
- •
我们提供了ASF的频域解释,揭示了它如何自适应地抑制高频波动,同时保留变化较慢的时间特征。这一分析提供了关于突触级过滤如何有助于改进时间表示和抗噪声能力的理论见解。
- •
在多个领域的广泛实验表明,配备我们ASF模块的SNN与其他最先进模型相比具有很高的有效性。例如,在SSC任务中,我们实现了82.58%的top-1准确率,在GSC任务中实现了96.82%的top-1准确率,超过了DH-LIF[13]和ALIF[5]等强基线模型,同时显著减少了参数数量。
本文的其余部分组织如下。第2节回顾了SNNs训练方法和时间建模的相关工作。第3节介绍了我们提出的方法,并对其时间过滤特性进行了理论分析。第4节展示了多个领域的实验结果和分析。最后,我们在第5节总结了我们的工作。
部分摘录
SNNs的训练方法
SNNs的训练通常遵循两种主要范式:ANN到SNN的转换(ANN2SNN)[14]和直接训练[15]、[16]。ANN2SNN方法首先训练一个传统的人工神经网络,然后通过用脉冲神经元替换人工神经元并相应地调整权重和阈值,将其映射为脉冲神经元对应物。这种方法利用了ANNs成熟的训练框架,并能在大规模数据集上实现具有竞争力的准确率。然而,它通常需要
方法论
在本节中,我们首先回顾了基本的脉冲神经元模型,其中突触输入被计算为突触前脉冲的瞬时加权和。这样的设计导致每个突触前脉冲只在单个时间步长贡献一个短暂的输入电流,限制了网络建模时间依赖性的能力。为了解决这个问题,我们提出了自适应突触滤波器,这是一种受生物学启发的突触机制,它对突触前脉冲应用指数衰减滤波
任务和数据集
为了全面评估所提出的ASF,我们在三个主要领域(见图2)进行了实验:图像分类、语音识别和强化学习。这种设计使我们能够评估所提模型在不同数据类型上的泛化和时间适应性。具体来说,图像和语音任务测试了ASF在具有不同时空特征的分类问题上的性能,而强化学习任务评估了时间信用
结论
在本文中,我们提出了ASF,这是一种受生物学启发且即插即用的模块,它增强了网络的时间建模能力。受突触后电位时间动态的启发,ASF引入了轻量级的、可学习的突触时间常数以实现自适应的时间整合。我们还提供了频域分析,表明ASF增强了时间处理能力。实验结果表明,ASF在多个领域显著提高了模型性能,
CRediT作者贡献声明
刘志坤:撰写 – 审阅与编辑、撰写 – 原始草稿、可视化、验证、方法论、调查、形式分析、数据管理、概念化。王俊学:撰写 – 审阅与编辑、方法论、调查、形式分析、数据管理。于强:撰写 – 审阅与编辑、撰写 – 原始草稿、可视化、验证、监督、资源管理、项目管理、方法论、调查、资金获取、形式分析、数据管理,
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。
致谢
本工作部分得到了国家科技重大专项(项目编号:2025ZD0215600)、国家自然科学基金(项目编号:92370103)以及小米基金会的支持。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号