基于脉冲神经网络和高频事件相机的时间迭代光流估计

《iEnergy》：Efficient High-Frequency Event-Based Optical Flow with Temporal Iterative Refinement and Spiking Neural Networks

　　摘要：现有的基于事件的流方法往往建立在基于帧的对应方法之上，无法实现高频流估计。专门针对这一问题提出的方法未能实现可比拟的性能或所需的计算效率。在本工作中，我们提出了一种新颖的时间迭代细化（TIR）框架，以在高频下获得低延迟的流更新。TIR模块将先前的流估计与更新后的特征图结合，在每个时间步同时更新和细化流估计，从而预测准确的非线性像素轨迹。然而，使用传统CNN以高频更新特征空间可能会导致时间孔径问题，因为较小的时间感受野可能不足以捕捉必要的空间上下文。我们引入了基于脉冲神经网络的特征编码器来高效解决这一问题。SNN的时间动态特性提供了更大的时间感受野，而其在类脑硬件上的部署为实现额外的能效提供了有前景的路径。在真实世界的MVSEC数据集上获得的结果表明，我们的网络相比最先进的E-RAFT和TMA分别实现了17倍和33倍的更低计算量，同时保持了相似的精度的性能。与其他基于监督学习的方法相比，我们的网络展现出更好的跨域泛化能力，暗示了该网络具有较强的归纳偏差。为了展示我们方法的显著潜力，我们还提供了来自MultiFlow数据集在极端挑战性场景下的结果，该数据集包含高度非线性的像素轨迹和高频真值。我们的代码将发布于 https://github.com/AhmedHumais/STIRFlow。