脉冲神经网络中协变时空感受野的理论构建与事件视觉应用

本研究针对神经形态系统缺乏理论指导的现状，提出了一种基于仿射高斯核与泄漏积分-发放(LIF)模型的时空感受野计算框架。研究人员通过数学证明该模型对空间仿射变换和时间尺度变换具有协变性，并将其作为先验知识初始化脉冲神经网络，在事件视觉目标追踪任务中显著提升了训练效果（LIF模型性能提升20.3%）。这项工作为神经形态计算提供了理论基石，架起了尺度空间理论与生物启发计算之间的桥梁。

　　

在脑科学启发计算的浪潮中，神经形态系统因其低功耗和高效能被视为冯·诺依曼架构的潜在替代者。然而，当前缺乏像传统计算机那样精确的理论框架来指导硬件与算法的协同设计。尤其对于事件视觉这类稀疏时空信号处理任务，传统人工神经网络(ANN)与生物神经系统间的性能差距仍然显著。这种理论空白使得神经形态系统难以充分发挥其物理基板计算的先天优势，正如J. E. Pedersen团队在《Nature Communications》指出的：没有数学理论支撑的系统注定会被密集数字模型所超越。

研究团队从哺乳动物视觉系统的时空信息处理机制获得启发，将尺度空间理论(scale-space theory)与生物神经元模型相结合。他们构建的时空感受野模型包含两个核心组件：空间域的仿射高斯核(affine Gaussian kernels)和时间域的泄漏积分器(leaky integrator)或LIF神经元。通过严格的数学推导证明，该模型对空间仿射变换（如旋转、缩放）和时间尺度变换具有协变(covariant)特性——即系统响应能自动适应输入信号的几何形变。为验证理论价值，研究者设计了包含三角形、方形和圆形的事件视觉数据集，通过对比ReLU、泄漏积分(LI)和LIF三种网络架构的追踪性能，发现理论引导的初始化使LIF模型在空间尺度任务中误差降低42.4%。

关键技术方法包括：1) 构建四尺度(σ∈{1,2,4,8})×四时间常数(μ∈{1,2,4,8})的时空感受野阵列；2) 采用几何级数分布τ_k=c^2(k-K)τ_max采样时间尺度；3) 基于脉冲响应模型(SRM)将LIF神经元分解为膜滤波器(κ)、阈值函数(H)和复位滤波器(η)三个组件；4) 使用高分辨率(2400×2400像素)事件模拟器生成训练数据。

空间-时间联合协变特性

通过数学推导证明空间变换x'=A(x+ut)和时间缩放t'=S_tt下，系统响应满足L'(x',t';Σ',τ',v')=L(x,t;Σ,τ,v)。如图2所示，三个不同速度缩放的正方形经过75时间步长后尺寸差异显著，但多尺度感受野输出保持功能一致性。

泄漏积分器的时间协变性

将传统高斯导数模型中的时间核替换为单边指数核h_exp(t,μ)=μ^-1e^-t/μ，证明其积分表达式u(t;μ)=∫₀^∞μ^-1e^-ξ/μI(t-ξ)dξ满足尺度协变要求。

LIF模型的脉冲响应重构

通过SRM模型将非线性发放机制表述为线性组合：z(t)=-θ_thre^{-(t-t_f)/μ_r}+∫κ(s)I(t-s)ds，其中μ_r→0时对应理想瞬时复位。

初始化效应验证

在事件视觉追踪任务中，理论初始化使LI模型空间误差降至1.13像素（提升42.4%），且时间常数μ的分布方差保持稳定（图4c）。而ReLU多帧模型(MF)虽通过增加时序记忆补偿静态缺陷，仍显著劣于单帧LIF模型。

这项研究通过建立严格的数学框架，解决了神经形态计算中时空信号处理的根本性问题。其创新性体现在三个方面：首先，将尺度空间理论扩展到脉冲神经网络领域，为生物启发的时空计算提供首个可证伪的预测模型；其次，通过协变性证明揭示了生物视觉系统高效处理动态场景的数学本质；最后，理论引导的初始化策略显著缓解了脉冲网络训练难题。这些发现不仅适用于事件视觉，也为神经形态记忆、控制等时空计算任务开辟了新途径。正如作者强调的，这项工作标志着我们向"理解生物神经系统时空计算原理"迈出了关键一步。