受生物学启发的尖峰扩散模型,具有自适应的横向选择机制

《Neural Networks》:Biologically Inspired Spiking Diffusion Model with Adaptive Lateral Selection Mechanism

【字体: 大 中 小 】 时间:2026年05月03日 来源:Neural Networks 6.3

编辑推荐:

  冯凌昊|赵东成|沈思成|曾毅中国科学院自动化研究所,脑启发式认知智能实验室,北京摘要侧向连接是生物神经电路的基本特征,它促进了局部信息处理和适应性学习。在这项工作中,我们将侧向连接与一个子结构选择网络结合起来,开发了一种基于脉冲神经网络(SNNs)的新型扩散模型。与传统的人工神经

  
冯凌昊|赵东成|沈思成|曾毅
中国科学院自动化研究所,脑启发式认知智能实验室,北京

摘要

侧向连接是生物神经电路的基本特征,它促进了局部信息处理和适应性学习。在这项工作中,我们将侧向连接与一个子结构选择网络结合起来,开发了一种基于脉冲神经网络(SNNs)的新型扩散模型。与传统的人工神经网络不同,SNNs利用内在的脉冲内循环来处理序列化的二进制脉冲。我们利用这种脉冲内循环以及侧向连接机制来迭代优化子结构选择网络,从而提高模型的适应性和表达能力。具体来说,我们设计了一个侧向连接框架,包括一个可学习的侧向矩阵和一个侧向映射函数,这两者都使用脉冲神经元来实现,以动态更新侧向连接。通过数学建模,我们证明了所提出的侧向更新机制在明确的局部目标下,符合生物学上合理的突触可塑性原理。广泛的实验验证了我们方法的有效性,分析了训练过程中子结构选择和侧向连接的作用。此外,定量比较表明,我们的模型在多个基准数据集上始终优于最先进的基于SNN的生成模型。

章节片段

引言

脉冲神经网络(SNNs)(Maass,1997年)是一种先进的计算范式,与传统的神经网络(ANNs)相比,它更准确地模拟了人脑中的神经处理功能原理。为了超越传统ANNs的局限性,人们研究了许多新的计算架构。其中一个方向是物理神经网络(PNNs),在这种网络中,计算被嵌入到物理系统中进行处理

基于SNN的生成模型

SNNs的最新进展催生了多种生成模型的发展,展示了它们在各种机器学习任务中的潜力。完全脉冲变分自编码器(FSVAE)(Kamata等人,2022年)使用完全脉冲神经元,并将潜在变量分布从高斯分布调整为伯努利分布,优化了基于脉冲的信号处理。而Feng等人(2024a年)构建了一个模拟海马体时间细胞的编码本

概述

在本节中,我们提出了一个脉冲扩散框架,该框架将基于Transformer的去噪网络(Ho等人,2020年)与LIF神经元相结合。该模型包含一个侧向聚合矩阵Λagg和一个脉冲映射函数Ω,以在去噪过程中动态优化子结构选择。我们的架构使用外部扩散循环进行去噪,以及内部脉冲循环通过侧向连接来更新选择模块。通过数学建模,我们

设置

在我们的实验设置中,我们将输入数据分割成大小为2的块,然后由脉冲Transformer模块进行处理。Transformer架构包含12层、768的隐藏维度和12个注意力头。对于较小的数据集(如MNIST系列中的数据集),我们将隐藏维度和注意力头的数量减半。
每个模型训练最多800k步,然后选择表现最好的检查点进行评估。

结论

本研究提出了一种新的方法,将侧向连接与子结构选择网络结合起来,开发了一种基于SNN的扩散模型。通过阐述侧向神经群体内的相互作用,我们从理论上证明了,在适当的局部目标下,由脉冲内循环、侧向连接机制和替代梯度驱动的子结构选择网络的迭代优化符合生物学上合理的学习过程

CRediT作者贡献声明

冯凌昊:撰写——原始草稿、可视化、验证、软件、方法论、调查、形式分析、概念化。赵东成:撰写——审阅与编辑、监督、概念化。沈思成:撰写——原始草稿、可视化。曾毅:撰写——审阅与编辑、监督、资金获取。

利益冲突声明

曾毅报告称得到了中国科学院自动化研究所的财务支持。如果有其他作者,他们声明自己没有已知的利益冲突或个人关系可能影响本文所述的工作。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号