基于脉冲驱动Transformer的事件光流估计网络

《IEEE Transactions on Emerging Topics in Computational Intelligence》：Spatiotemporal Swin Spikeformer for Event-Based Optical Flow Estimation

　　

摘要：

事件相机以低延迟和高动态范围捕捉快速强度变化，在具有挑战性的视觉条件下具有优势。脉冲神经网络（SNN）模型表现出异步和稀疏的计算模式，紧密契合事件流的特性，使其成为处理事件数据的自然框架。然而，现有的基于 SNN 的光流方法仍主要采用卷积结构，限制了其有效捕捉长程时空依赖关系的能力。尽管最近的脉冲驱动 Transformer 架构在事件视觉任务中展现了令人前景的性能，但将其扩展到光流估计仍然具有挑战性，因为密集运动估计需要在保持脉冲驱动处理的计算效率的同时，有效建模长程时空关系。在本文中，我们提出了脉冲驱动 Transformer 光流网络（SDformerFlow），一种专为使用事件相机进行密集光流估计而设计的完全 SNN 架构。SDformerFlow 集成了基于层级 Swin 的 Transformer 与时空脉冲驱动注意力，能够在通过移位窗口注意力保持计算效率的同时，有效建模长程空间上下文和时间事件动态。据我们所知，这是首个用于事件光流估计的全脉冲 Swin 型 Transformer 架构。为了实现受控和公平的评价，我们还提出了时空 Transformer 光流网络（STTFlowNet），一种具有相同 Transformer 骨干的人工神经网络（ANN）对应版本，允许在基于脉冲的表示和连续表示之间进行直接比较。在 DSEC 和 MVSEC 基准上的大量实验表明，SDformerFlow 实现了具有竞争力的光流精度，同时在具有挑战性的事件退化条件下提高了鲁棒性，并在精度与效率之间取得了有利的权衡。