MMVOD: Mamba与记忆库用于视频目标检测

《Computer Vision and Image Understanding》：MMVOD: Mamba and memory bank for video object detection

　　

• •
  一种基于Mamba和记忆库的在线视频目标检测器，用于平衡速度与精度。
• •
  一个因果时空Mamba模块，用于建模跨帧依赖关系。
• •
  一个类感知记忆库，通过相似度引导更新来维护多样化特征。
• •
  一种质量自适应聚合机制，用于减少类间特征混淆。

引言

视频目标检测（VOD）旨在准确分类和定位连续帧中的目标，在自动驾驶（Zhao等，2024；Chib和Singh，2024）、智能监控（Sreenu和Durai，2019；Danesh Pazho等，2023）以及机器人导航（Wang等，2022；Wei等，2022）等应用中发挥着至关重要的作用。尽管静态图像目标检测取得了进展（Ren等，2017；Tian等，2019；Zhang等，2020；Carion等，2020；P. Sun等，2021），但由于运动模糊、散焦、遮挡等引起的外观退化，直接应用于视频往往会导致错误检测甚至检测失败。幸运的是，视频中的时间连续性提供了有价值的线索来缓解这种退化并提高检测精度。

基于静态图像检测器，最先进的VOD方法（例如Wu等，2019；G. Sun等，2021；Gong等，2021；He等，2021；Qi等，2023；Qiu等，2024）通过将支持帧的上下文信息聚合到当前帧中来增强特征表示。这一过程被称为特征聚合，通常在帧级、提议级或两者中执行。帧级聚合（Lin等，2020；He等，2020；Cui等，2021）采用关系模块（例如注意力机制 Vaswani等，2017；Hu等，2018）利用支持帧来增强当前特征。一些方法（Zhu等，2017a；Zhu等，2017b；Xu等，2022）使用FlowNet（Dosovitskiy等，2015；Ilg等，2017）或可变形卷积（Dai等，2017）等模块对帧间特征进行预对齐。帧级特征包含用于全局细粒度增强的低层语义信息。然而，大多数现有方法（Lin等，2020；He等，2020；Cui等，2021）仅利用语义信息而不利用运动线索，这阻碍了潜在的精度提升。少数方法（Zhu等，2017a；Zhu等，2017b）依赖外部引导网络（例如光流网络）来提取运动信息，但它们在计算上非常密集且不能独立应用。提议级聚合（Deng等，2019；Gong等，2021；Han等，2022）应用关系模块来细化当前帧的提议特征。这些以对象为中心的高层特征使检测器能够利用跨帧对象依赖关系。然而，大多数现有方法（Wu等，2019；Deng等，2019；Gong等，2021）主要依靠基于外观的特征相似度来指导聚合。当语义不一致的支持特征表现出较高的外观相似度时，基于相似度驱动的聚合可能会强化这些模糊线索。结果，提议表示可能向特征空间中不正确的语义区域偏移，增加了误分类或误检的风险。我们将此现象称为特征污染，如图1所示。

为了提高检测精度，现有方法遵循两种主要策略。首先，通过扩大时间范围来丰富支持特征。大多数方法从较宽的窗口（Han等，2020；He等，2021）甚至整个视频（Wu等，2019；Gong等，2021；Qi等，2023；Lin等，2020；Han等，2022；Xiao等，2023）中选择帧。然而，这种离线范式在实际场景中不可行，特别是在未来帧不可用的流式场景中。一些方法（G. Sun等，2021；Chen等，2020）使用记忆库来存储历史特征，但这通常导致高内存使用和计算开销，以及过时或冗余的样本。其次，使用更强大的聚合模块（Qi等，2023；Han等，2022；Han等，2020；He等，2021；Xiao等，2023），例如分离的时空Transformer（Vaswani等，2017），来进一步细化当前特征。然而，它们的高计算复杂度不可避免地导致推理速度变慢和延迟增加。总之，对非因果信息的依赖以及无法平衡精度和速度限制了现有方法的实际应用。

为了克服这些限制，我们提出了一种在线检测器，通过双层次增强框架在精度和速度之间取得平衡。

在帧级，我们引入了选择性状态空间模型Mamba（Gu和Dao，2023），它通过具有线性复杂度的渐进状态传播捕获长距离依赖。其顺序时间更新自然地与视频帧的时间结构一致。基于这一特性，我们开发了一个因果时空Mamba模块（CSTMB），在因果时间优先策略下执行双向3D扫描。通过优先考虑时间传播，CSTMB促进了跨帧的时间有序特征演化。这种设计使得能够在不依赖外部引导的情况下同时建模语义信息和运动线索，从而保持鲁棒性和效率。

在提议级，我们提出了一个类感知记忆库（CAMB）来存储一组紧凑的高质量支持特征。这种内存效率源于高判别力的类代表性特征，以及由相似度引导更新（SGU）策略赋予它们的多样性和时效性。为确保检测精度，质量自适应聚合（QAA）根据输入动态门控增强过程，抑制特征污染。

通过结合这两个互补模块，我们的MMVOD有效缓解了外观退化，并在速度和精度上实现了高性能。我们的主要贡献有三个方面：

• •
  我们提出了MMVOD，一种结合Mamba和记忆库的新型在线视频目标检测器。在ImageNet VID（Russakovsky等，2015）上的实验表明，MMVOD在速度和精度之间实现了卓越的平衡（即在单个3090 GPU上，使用Swin-T时mAP为85.1%，耗时68.3毫秒）。
• •
  我们设计了一个因果时空Mamba模块（CSTMB）用于帧级增强，通过因果状态传播建模时间依赖关系。通过在没有外部引导的情况下联合集成语义信息和运动线索，CSTMB在保持计算效率的同时提高了检测精度。
• •
  我们提出了一种具有相似度引导更新（SGU）策略的类感知记忆库（CAMB），用于紧凑地存储多样且及时的类代表性特征。结合质量自适应聚合（QAA）自适应地减少类间特征混淆，我们的提议级增强在保持精度的同时提高了推理速度。

章节片段

视频目标检测

现有的视频目标检测方法通常可分为后处理方法和特征聚合方法。

后处理方法通过链接（Han等，2016；Tang等，2020）或跟踪（Kang等，2018）算法将多帧检测到的边界框关联成管状结构。Seq-NMS（Han等，2016）构建高分序列以使用平均或最大函数重新评分预测，而T-CNN（Kang等，2018）使用光流和跟踪来生成

概述

所提出的MMVOD的概述如图2所示，以Swin Transformer微型版本（Swin-T）（Liu等，2021）作为示例骨干网络。我们首先使用2D卷积将输入当前帧$I_t$和两个支持帧$I_{t?\delta }$、$I_{t?2\delta }$（其中$\delta$表示帧之间的采样步长）投影为时空块嵌入序列。然后对块嵌入应用Swin-T骨干网络以提取标记。接下来，将标记发送到因果时空Mamba

数据集与评估指标

我们在ImageNet VID数据集（Russakovsky等，2015）上评估我们方法的性能，该数据集是视频目标检测任务的基准。它包含3862个训练视频和555个验证视频，涵盖30个对象类别。按照先前的工作（Wu等，2019；G. Sun等，2021；Zhu等，2017a），我们使用ImageNet DET数据集（Deng等，2009）中额外的重叠30个类别来构建训练集。具体而言，我们从VID中每个视频采样15帧

结论

在本文中，我们提出了MMVOD，一种通过双层次特征增强来平衡精度和速度的在线视频目标检测器。在帧级，所提出的CSTMB通过时间因果建模实现高效的跨帧特征交互，从而细化帧表示，进而提高在外观退化下对象表示的鲁棒性。在提议级，具有相似度引导更新（SGU）的类感知记忆库（CAMB）紧凑地存储多样、

CRediT作者贡献声明

Xiangyu Chen：写作——审阅与编辑，写作——原稿，可视化，验证，软件，方法论，概念化。Fangzhou Meng：写作——审阅与编辑，验证，软件，正式分析，数据管理。Hongying Tang：写作——审阅与编辑，监督，项目管理。Guanjun Tong：监督，资源，项目管理。

利益冲突声明

作者声明，他们没有已知的竞争经济利益或个人关系，可能影响本文所报告的工作。

Xiangyu Chen|Fangzhou Meng|Hongying Tang|Guanjun Tong