ST-FlowNet：基于脉冲神经网络的动态视觉光流高效估计算法

【编辑推荐】针对事件相机光流估计中传统人工神经网络(ANN)模型性能受限的问题，研究团队提出新型脉冲神经网络(SNN)架构ST-FlowNet。通过融合ConvGRU模块实现跨模态特征增强与光流时序对齐，并创新性提出BISNN参数无转换策略。实验表明该模型在MVSEC等基准数据集上超越现有方法，同时具备显著能效优势，为神经形态视觉应用提供新范式。

　　

在计算机视觉领域，光流估计一直是理解动态场景的核心技术，从自动驾驶到机器人导航都依赖其精确性。然而传统基于帧的相机在高动态场景中表现欠佳，而新兴事件相机虽能捕捉微秒级亮度变化，却面临数据处理难题。更棘手的是，现有方法多依赖能耗高的人工神经网络(ANN)，难以在边缘设备部署。这种矛盾催生了神经形态计算的新思路——模仿生物神经元的脉冲神经网络(SNN)，但其非可微特性导致训练困难，性能常落后于ANN。

针对这些挑战，电子科技大学的研究团队在《Neural Networks》发表突破性成果。他们开发了ST-FlowNet架构，巧妙结合ConvGRU模块实现时空特征融合，并创新提出两种SNN训练策略：标准ANN-to-SNN(A2S)转换和新型生物信息融合训练法(BISNN)。通过MVSEC、ECD和HQF等标准数据集验证，该模型不仅精度超越现有技术，更展现出SNN在能效上的先天优势。

关键技术包括：1) 构建含ConvGRU的编解码网络实现多尺度光流特征提取；2) 开发BISNN策略实现参数无转换；3) 采用公开事件相机数据集进行跨场景验证。研究团队特别设计了精简解码结构，直接解码全尺度特征空间信息，避免了传统金字塔架构的冗余计算。

【方法创新】
ST-FlowNet基于FlowNet改进，通过ConvGRU层实现时序特征增强。相比传统ANN，其SNN版本采用LIF(Leaky Integrate-and-Fire)神经元模型，通过膜电位动态模拟生物神经元特性。研究对比了时空反向传播(STBP)和A2S两种训练范式，发现后者能显著降低计算开销。

【性能突破】
在MVSEC数据集测试中，该模型端点误差(EPE)较传统方法降低23.6%。特别在高速运动场景下，因事件相机的高动态特性，其性能优势更为显著。能量效率测试显示SNN版本功耗仅为ANN模型的17%，验证了其在边缘计算的潜力。

【技术革新】
提出的BISNN策略突破性地解决了SNN参数调优难题。通过生物信息融合机制，该方案在保持精度的同时，省去了复杂的生物启发参数选择过程。消融实验证实，ConvGRU模块使时空特征对齐精度提升31.2%。

【结论启示】
这项工作首次系统论证了SNN在光流估计任务的可行性：1) 架构层面，时空融合模块有效提取事件数据的动态特征；2) 训练层面，BISNN策略为SNN训练提供新范式；3) 应用层面，能效优势推动神经形态视觉落地。研究不仅为事件相机开发了新算法，更通过ANN-SNN协同设计思路，为其他时空信号处理任务提供借鉴。未来可进一步探索脉冲编码策略优化，以及在无人机避障等实时系统中的应用。