《Electronics》:Information-Preserving Spiking for Accurate Time-Series Forecasting in Spiking Neural Networks
Jiwoo Lee and
Eun-Kyu Lee
编辑推荐:
针对传统脉冲神经网络(SNN)在处理连续值时间序列时面临的信息丢失与信号稀疏问题,本研究提出一种结合Delta编码与率编码优势的混合脉冲编码机制——Delta-Rate编码。该方法通过差分阈值检测捕捉突变特征,利用累积更新保留渐变信息,有效提升SNN对复杂时序模式的表征能力,为高效时序数据处理提供新思路。
研究背景:当“断续”的脉冲遇上“连续”的时间
脉冲神经网络(SNN)被誉为第三代神经网络,其通过模拟生物神经元的脉冲发放机制,以离散的“0/1”脉冲传递信息,天生具备低功耗、高事件驱动效率的优势。然而,这种“离散基因”在面对气象监测、金融波动等连续变化的时间序列数据时却遭遇了根本性挑战——如何让“非黑即白”的脉冲精确描绘“绵延起伏”的曲线?
传统编码方案常陷入两难:直接编码虽直观但脉冲冗余;率编码擅长刻画强度却对突发波动反应迟钝;Delta编码对突变敏感却易忽略微小的渐变信息。这种矛盾导致SNN在预测任务中常因信息丢失而精度受限,如同用点描法画瀑布,要么颗粒粗大失真,要么漏掉细碎水花。
关键技术方法概述
研究团队设计了Delta-Rate混合编码框架:首先计算相邻时刻差值d(t)=c(t)?c(t?1),通过阈值θ二值化生成即时脉冲;未达阈值的残差输入累积状态c(t+1)←c(t)+X,待累积量超阈后触发延迟脉冲,并结合归一化避免连发。最终输出为ΔS={Δ(t)}t=1S脉冲序列,兼顾突变响应与渐变保留。
研究结果
Delta变换与阈值脉冲生成
定义特征i在t时刻输入为xi(t),其差分信号Δxi(t)=xi(t)?xi(t?1)。设置阈值θ>0,当∣Δxi(t)∣≥θ时生成±1脉冲(负向脉冲需开启off_spike选项),首特征无前驱则置零。该机制使上升/下降沿的陡峭变化被即时捕获,解决了率编码对突发事件的滞后问题。
率累积更新与子阈值融合
引入内部状态变量u(t),其更新规则分两种模式:若u(t)≥θ(触发脉冲),则u(t+1)=u(t)?θ实现归一化重置;否则u(t+1)=u(t)+x(0)持续累积初始输入。这种“积蓄-释放”机制将不足阈值的微小波动沉淀在状态中,待“积少成多”后爆发,防止微弱信号湮灭于离散化过程。
混合机制的协同效应
算法迭代执行“差分计算→阈值判断→累积补偿”三步循环:差分项d(t)快速响应突变,累积项c(t)消化渐变,最终输出的多维脉冲序列ΔS同时携带“剧变标记”与“趋势能量”。实验表明,这种互补策略显著降低了连续值预测中的重构误差,尤其在高动态时序场景下优于单一编码方案。
结论与意义
Delta-Rate编码通过微分与积分的结合,实现了对时间序列多尺度特征的适配:差分通道像敏锐的哨兵捕捉跳变,累积通道如耐心的记录者追踪缓变。这种仿生设计既保留了SNN的低能耗优势,又突破了其对连续信号的表征瓶颈,为SNN在边缘计算、物联网感知等实时预测场景的应用提供了高效的信号接口。未来可进一步探索阈值θ的自适应策略及与其他SNN学习算法的耦合效果。