用于事件驱动神经形态机器人制导的脉冲连续吸引子网络

《Frontiers in Neuroscience》：A spiking continuous attractor network for event-driven neuromorphic robot guidance

　　

事件相机提供快速、稀疏的视觉测量，但其输出本身并不能提供闭环跟踪所需的持续状态。本研究提出一种混合事件驱动感知-行动系统，其中Prophesee GenX320（Prophesee SA，法国巴黎）事件相机和轻量级Raspberry Pi 5（Raspberry Pi Ltd.，英国剑桥）前端为目标证据提供输入，并将其传递到运行于单个SpiNNaker 2（SpiNNcloud Systems GmbH，德国德累斯顿）芯片上的脉冲连续吸引子网络。递归差分高斯连接形成一个局部化活动凸包，其解码位置在硬件在环任务中引导模拟机器人。网络设计基于Amari神经场框架，利用局部兴奋和更宽范围的抑制来选择紧凑、自维持的运行状态。在硬件上，跨96组参数设置测得的坍缩、稳定和饱和状态之间的转变与预测的稳定走廊一致。在所部署的工作点上，凸包在输入移除后至少保持激活8秒，并在三种目标速度下跟踪移动的事件相机输入。相对于配准目标轨迹，递归估计的平均误差为5.65个晶格单元，且比驱动它的主机平滑估计抖动低15%。从一个事件累积窗口关闭到相应凸包更新的中位端到端延迟为8.4 ms。在周期性传感器缺失的闭环制导中，所有10次递归和10次匹配非递归试验均到达目标，而递归条件平均早1.50秒到达。互补的有限网格收敛分析表明，弱抑制、所部署抑制和较强抑制条件分别表现出扩张、有界紧致动力学和收缩。这些结果证明，一个连续场引导、有限网格验证的脉冲吸引子能够为事件驱动机器人制导提供芯片上持续状态。

论文解读：脉冲连续吸引子网络用于事件驱动神经形态机器人制导

一、研究背景与问题

事件相机以微秒级时间分辨率异步报告亮度对数变化，输出稀疏且对运动响应迅速，适合低延迟机器人感知。脉冲神经网络部署在神经形态硬件上后，由于感知与计算均通过稀疏事件通信，有望比基于帧的时钟驱动流水线更节能。然而，仅将两者结合并不能自动解决闭环跟踪所必需的连续状态估计问题：控制器必须从噪声、间歇性证据中维持稳定估计，并在目标移动时对其连贯更新。

连续吸引子网络提供了一种通过递归机制保持估计的途径。在Amari神经场框架中，局部兴奋与更宽抑制相结合，可在拓扑板上维持一个局部化活动包，即凸包（bump）。凸包位置代表连续变量，在输入较弱或暂时缺失时持续存在，并在输入移动时发生位移。已有事件驱动跟踪流水线通常计算传感器输出中的质心或热图，并通过主机侧滤波保留状态，此类滤波可以降低噪声，但不能证明神经形态设备本身具有可预测运行机制的递归状态。为检验片上递归的独立贡献，需要移除输入并测量坍缩、稳定局域化和饱和之间的边界。

研究人员开发了一个完整的闭环系统：Prophesee GenX320事件相机与Raspberry Pi 5前端向单个SpiNNaker 2芯片上的脉冲递归神经板提供目标证据，板上递归差分高斯连接维持局部化凸包，解码位置用于引导模拟机器人。该研究的创新之处在于物理GenX320传感器、低功耗边缘前端、单SpiNNaker 2芯片上连续场引导的递归吸引子，以及有限网格收敛分析、持续性和运行边界测量、硬件在环制导验证的整合。

二、关键技术方法

研究人员使用Prophesee GenX320事件相机在10 ms窗口内累积事件，并映射到32×24网格；Raspberry Pi 5执行自适应噪声抑制、空间相干性检查、不应期掩蔽和事件加权质心平滑，向芯片发送2×2目标簇。SpiNNaker 2芯片上部署768个漏积分发放（leaky integrate-and-fire, LIF）神经元，递归连接为截断并量化为整数的差分高斯（difference-of-Gaussians, DoG）核，形成连续吸引子网络。连续场设计依据Amari框架的中心支撑与边界约束条件；同时以精确整数权重的有限网格模型迭代全离散LIF动力学。系统采用数据报协议传输、单槽邮箱刷新、空间门控、活动加权质心解码、速度预测注入与四类运行状态分类，并在硬件在环配置中测试闭环制导。

三、主要研究结果

E1 凸包形成与持续性。研究人员向网络注入短促前馈输入后撤去输入，测量活动神经元数。在最长8.00 s无输入中断窗口中，凸包始终未坍缩；活动质量保持在12.5个神经元附近，空间扩展为1.34个晶格单元，解码质心最多移动0.50个晶格单元。有限网格模型显示，所部署参数下状态收敛为周期二轨道，活动质量在17和13个神经元之间交替，均值为15个神经元；仅在抑制幅度升高后才出现坍缩。这一结果表明，目标状态由片上递归维持，而非单纯的前馈映射或主机平滑。

E2 硬件符合解析稳定边界。研究人员在96组兴奋和抑制幅度组合上扫描网络状态，测得49个Bump_ok、19个Flood和28个Dead状态，未观察到Diffuse状态。连续场中心支撑与边界约束条件预测的Bump_ok走廊呈对角线带状，硬件测量结果在参数网格内部与预测一致。边界附近出现两类可解释偏差：弱抑制时瞬态扩张可导致硬件先进入Flood；弱兴奋且强抑制时连续场预测Dead，但量化核仍保留二至四个神经元的残差簇。所部署工作点A_e=18、A_i=4、阈值?=10位于走廊内部，实测活动数16个神经元、扩展1.58个晶格单元。有限网格瞬态分析显示，弱抑制条件下轨迹扩张至饱和，所部署条件下所有种子保持有界并趋于低周期紧致状态，较强抑制条件下多数种子坍缩；径向增长率在约2.5个晶格单元处出现零交叉。

E3 吸引子稳定化与目标跟踪。研究人员令星形目标以2.6、3.6和4.6 rad/s三种角速度做圆周运动，将解码凸包质心与仿真记录的目标轨迹配准比较。网络在99.6%的读出窗口中处于Bump_ok状态。递归网络相对目标轨迹的平均误差为5.65个晶格单元，高于主机平滑前端的2.02个晶格单元；误差主要沿运动方向，因为递归阶段额外引入约115 ms延迟，且该延迟随速度增大而减小。递归使帧间抖动从1.57个晶格单元降至1.34个晶格单元，降幅15%；配对窗口中的Wilcoxon符号秩检验p=2.5×10^?8。从事件累积窗口关闭到凸包更新的中位端到端延迟为8.4 ms，95%分位为19.4 ms。

E4 闭环机器人制导。研究人员在事件相机视野中让模拟机器人连续运动，并在每2.5 s中隐藏目标400 ms。20次试验包含10次递归条件和10次匹配非递归条件，所有20次试验均到达目标；配对后递归条件平均用时7.12 s，非递归条件为8.62 s，平均快1.50 s，Wilcoxon符号秩p=0.0078。目标隐藏期间，递归条件每试验发出18.9次转向命令并接近目标52.7像素，而非递归条件仅发出6.0次并接近18.4像素；递归条件在0.7%的读出窗口中无可用估计，而非递归条件为20%。递归凸包在目标隐藏期间从未坍缩，表明E1测得的持续性正是闭环在输入中断时继续工作的机制。

功率估算与消融实验。由于实验室板卡无板上功率遥测，研究人员根据公开测量值给出组件级估算：Raspberry Pi 5在活动状态约6.80 W，GenX320约23 mW，SpiNNaker 2片上活动功率约15 mW，总估算约6.84 W。消融实验显示，移除抑制后网络进入Flood状态并失去跟踪能力；移除空间门控使平均跟踪误差增加0.45个晶格单元；移除预测注入使误差增加0.34个晶格单元，且对高速阶段影响最明显。因此，抑制环绕对维持有界递归活动是必要的，而空间门控和预测注入主要改善跟踪精度。

四、讨论与结论

在讨论中，研究人员指出，连续神经场设计、有限量化动力学与硬件行为三者相互印证：实测Dead、Bump_ok和Flood运行区域沿预测稳定走廊分布，边界偏差可由整数量化、开放边界、瞬态募集和重置动力学解释。递归状态在输入移除后至少持续8 s，表明目标状态由片上递归而非持续感觉输入维持。跟踪中递归将帧间抖动降低15%，但引入约115 ms额外延迟，构成持续性与响应性之间的权衡；预测注入可降低速度相关延迟，空间门控可限制不一致输入的影响。闭环制导结果证明持续表示具有功能价值，其优势来自估计在传感器缺失期间持续可用，而非更高的命令频率。当前实现仍受20 ms读出间隔、主机侧解码和32×24神经板空间分辨率限制；Raspberry Pi前端主导估算功耗，SpiNNaker 2功耗基于公开芯片测量推导而非直接板级测量。未来工作应将更多感知与解码流水线迁移到神经形态硬件，提高地图分辨率，并使用外部仪表化电源进行直接板级功耗测量，同时与基于帧的相机和CPU流水线进行匹配比较。

研究结论可译为：在单个SpiNNaker 2芯片上实现了一个递归脉冲连续吸引子网络，并与事件相机前端集成，用于目标跟踪和硬件在环机器人制导。连续场分析确定了工作走廊，而有限网格模型和硬件扫描确认了在所部署工作点处的有界紧致动力学。递归凸包在输入移除后至少持续8秒，并将帧间抖动降低了15%。抑制对于防止饱和是必要的，而空间门控和预测注入提高了跟踪精度。完整系统在所有试验中成功引导了模拟机器人，并在传感器缺失期间维持了可用目标估计。