FFEvent：基于快速傅里叶变换的事件相机知识迁移新方法

本文推荐一种名为FFEvent的创新框架，该框架通过快速傅里叶变换（FFT）和双向反向状态空间模型（BiR-SSM）实现RGB到事件相机的知识迁移（Knowledge Transfer），有效解决了事件数据稀疏性（Sparsity）和噪声干扰问题，在八个基准数据集上实现了最先进的（SOTA）性能。

　　

Highlight

• •
  • 我们提出了FFEvent，这是首个即插即用的知识迁移模块，可减轻事件数据中的噪声，并有效适应预训练的RGB模型。
• •
  • 我们设计了BiR-SSM模块，它在共享状态空间模型中支持高效的事件表示学习，促进了资源高效的适应性和增强的可迁移性。
• •
  • FFEvent在八个基于事件的识别基准测试中实现了最先进的性能，包括在CIFAR-10-DVS数据集上提升了2.10%。

相关研究

下游事件相机任务

事件表示学习在各种下游任务中展现出巨大潜力，包括事件分类、目标检测、事件辅助图像去模糊、动作识别以及基于事件的视频任务。对于事件分类，FlexEvent等方法被提出。

概述

我们提出了FFEvent，一种基于快速傅里叶变换的事件相机知识迁移模块，可有效减轻事件数据中噪声的影响。如图2所示，FFEvent包含三个关键组成部分。首先，我们设计了一个受频域去噪启发的快速傅里叶稀疏卷积（FFSConv）块，用于高效处理事件数据。其次，我们引入了一个BiR-SSM块，通过共享的SSM权重来编码事件数据中固有的顺序结构。

数据集和指标

事件图像分类

我们在N-Caltech101和CIFAR-10-DVS上进行了评估。N-Caltech101在101个类别上拥有近8.7k个事件样本。CIFAR-10-DVS包含10k个分辨率为128×128的事件流，通过向DVS显示CIFAR-10图像记录。我们将我们提出的模型与ViT、ResNet、SimCLR、MoCo-v2等进行了比较。

结论

在本文中，我们提出了FFEvent模块，旨在通过实现从RGB到事件数据的高效知识迁移，来解决事件数据在下游任务中的局限性。FFEvent使事件数据能够以最少的微调有效利用预训练的RGB模型，从而在各种场景下实现鲁棒的性能。BiR-SSM块引入了共享状态空间机制来增强序列建模，而FFSConv块则执行高效的特征采样和...