Mamba-FETrack V2：重新审视基于帧事件的光学对象跟踪中的状态空间模型

《Neural Networks》：Mamba-FETrack V2: Revisiting State Space Model for Frame-Event based Visual Object Tracking

　　摘要：近年来，将传统的RGB相机与受生物启发的事件相机结合用于鲁棒的目标跟踪越来越受到关注。然而，大多数现有的多模态RGB-事件跟踪算法严重依赖高复杂度的视觉Transformer架构来进行特征提取和跨模态融合。这不仅导致显著的计算开销，还限制了跨模态交互的有效性。在本文中，我们提出了一种基于线性复杂度视觉Mamba网络的有效的RGB-事件目标跟踪框架，称为Mamba-FETrack V2。具体来说，我们首先设计了一个轻量级的Prompt Generator，它利用来自每种模态的嵌入特征以及一个共享的prompt池，动态生成特定于模态的可学习prompt向量。这些prompt与特定于模态的嵌入特征一起被输入到基于视觉Mamba的FEMamba主干网络中，从而以统一的方式促进prompt引导的特征提取、跨模态交互和融合。最后，融合的表示被传递到跟踪头部以进行准确的目标定位。在多个RGB-事件跟踪基准测试上进行的大量实验评估，包括短期COESOT数据集和长期数据集（如FE108和FELT），证明了所提出跟踪框架的优越性能。源代码和预训练模型将在https://github.com/Event-AHU/MambaFeatrack上发布。

引言：目标跟踪（VOT）是计算机视觉领域中的一个关键任务，其目标是在后续视频帧中定位给定目标，给定其在第一帧中的初始位置。这项任务具有显著的实际价值，涵盖了安全监控、自动驾驶感知、体育分析和人机交互等重要领域。目前，大多数目标跟踪算法（He, Zhang, Xie, Li, Wang, Qin, 2024, Tang, Ling, 2019, Wang, Lu, Yang, 2015）都是基于RGB相机设计和开发的。随着深度学习技术的不断进步，这些单模态跟踪方法在特定场景中表现出色。尽管取得了良好的性能，RGB相机仍存在某些局限性。在低光、过曝和快速运动等条件下，RGB相机捕获的数据通常表现不佳，影响跟踪准确性。为了克服传统RGB相机的固有限制，研究人员开始结合其他辅助模态来应对极端条件下的挑战，从而引入了受生物启发的事件相机（如DVS 346、Prophesee、CeleX-V）。与RGB相机不同，事件相机通过捕捉场景中的光强变化来感知信息。当光强变化超过给定阈值时，事件相机在相应像素位置生成一个事件信号。该事件信号由四元组{x, y, t, p}表示，其中(x, y)表示事件的空间位置，t表示事件的时间戳，p表示光强变化的极性。由于事件相机的独特数据采集原理，它们具有高动态范围、高时间分辨率和低功耗等优势。因此，在后者难以应对的挑战性环境中，事件相机通常表现出显著的优势。尽管事件相机具有上述优势，但它们也有一定的局限性，例如无法捕捉目标的精细纹理细节。幸运的是，这正是RGB相机的强项。因此，结合事件相机和RGB相机的优势进行协作目标跟踪的想法逐渐引起了研究人员的关注，如图1（a）和（b）所示。例如，Tang等人（2025）提出了一种用于统一跟踪的一阶段网络架构，同时实现了特征提取、融合、匹配和交互式学习。Zhang等人（2023）提出了一种用于高帧率跟踪-事件对齐和融合网络的框架，通过结合传统RGB相机和事件相机的优势显著提高了高帧率跟踪的性能。尽管现有的RGB-事件跟踪方法取得了一定的进展，但它们仍然存在两个主要限制：1）高计算复杂性仍然是一个关键问题。大多数现有的多模态跟踪方法依赖于CNN或ViT进行特征提取和融合。基于CNN的模型在全局依赖建模方面受到限制，而基于ViT的模型通常由于自注意力机制而引入高计算复杂性；2）模态异质性问题仍未得到充分解决。RGB和事件模态在学习到的特征空间中存在深刻的语义差异。RGB特征通常是密集的且以外观为主，编码了纹理、颜色和上下文语义，而事件特征是稀疏的且以变化为主，强调亮度变化、运动边界和高动态范围线索。然而，传统的融合策略（如特征串联、逐元素加法和中间级融合）通常将两种模态视为已经对齐的表示。直接融合这种异构特征可能会引入语义冲突，削弱关键的模态特定信息，最终降低模型性能。为了减轻现有模型的高计算复杂性，状态空间模型（SSMs）（Gu等人，2022），特别是视觉Mamba架构（Hatamizadeh, Kautz, 2025, Liu, Tian, Zhao, Yu, Xie, Wang, Ye, Jiao, Liu, 2024, Zhu, Liao, Zhang, Wang, Liu, Wang, 2024），为RGB-事件跟踪提供了有希望的解决方案。与基于Transformer的自注意力相比，Mamba在保持长距离依赖建模能力的同时实现了线性计算复杂性，非常适合高效处理长 token 序列。同时，prompt学习为处理模态异质性提供了一种有效机制。prompt机制不是直接将异构的RGB和事件特征强制纳入共享特征空间，而是将模态特定信息编码为可学习的指导向量，作为模态之间的适应性中介。这种具有模态意识的prompt可以促进选择性和上下文依赖的跨模态交互，从而有助于缓解语义冲突并提高RGB-事件融合的效果。在这项工作中，我们提出了Mamba-FETrack V2，一种基于视觉Mamba的RGB-事件目标跟踪方法。我们框架的主要目标是实现有效的RGB-事件互补表示学习，同时减少传统基于ViT的多模态跟踪器引入的计算复杂性。具体来说，如图1（c）所示，受prompt学习（Liu等人，2023）的启发，我们设计了一个新颖的Prompt Generator，用于编码来自RGB和事件模态的信息，生成两个特定于模态的可学习prompt，有效捕捉每种模态的独特特征。随后，我们引入了一个统一且更紧凑的基于视觉Mamba的主干网络，旨在同时执行跨模态特征提取、融合和交互。为了实现模态之间的有效交互，受MambaIRv2（Guo等人，2025）的启发，我们引入了一种创新的状态空间集成策略，其中每种模态的prompt与对应模态的状态矩阵在SSM模块内进行叠加融合。这种设计通过学习到的prompt表示促进了有效的跨模态信息传播。与现有的基于ViT的方法相比，它更好地利用了互补的RGB-事件信息，同时减少了计算复杂性并增强了跨模态交互。如图1（d）所示，我们提出的方法在模型复杂性和准确性之间实现了良好的平衡。总之，本文的主要贡献可以概括为以下三个方面：1）我们提出了Mamba-FETrack V2，一个基于视觉Mamba的统一RGB-事件跟踪框架，它在紧凑的状态空间主干中集成了特征提取、跨模态交互和模态融合；2）我们引入了一种新颖的输入自适应Prompt Generator，它从共享的prompt池动态生成特定于模态的RGB/事件prompt，并进一步提出了一种prompt引导的状态空间融合策略，将这些prompt注入到相应的SSM分支中以实现高效的跨模态交互；3）我们通过在FE108、FELT和COESOT等数据集上的大量实验证明了我们提出方法的有效性。本文是我们之前在Pattern Recognition and Computer Vision (PRCV) 2024上发表的Mamba-FETrack（Huang等人，2024）的扩展。尽管Mamba-FETrack证明了将Mamba引入RGB-事件跟踪的可行性，但其两阶段设计仍然将单模态特征提取与跨模态融合分开，导致架构冗余并影响了框架的紧凑性。此外，其融合策略主要依赖于严格的数据对齐和直接跨模态交互，这可能在弥合密集的RGB特征和稀疏的事件特征之间的语义差距方面遇到困难，从而限制了灵活的跨模态互补表示学习。受这些限制的启发，本文进行了以下主要扩展：（I）新的特征建模框架：我们用统一的FEMamba主干替换了两阶段特征建模流程，它在单一紧凑的架构中集成了特征提取、跨模态交互和融合；（II）更有效的特征融合和交互策略：我们使用Prompt Generator生成特定于模态的prompt，并引入了一种prompt引导的跨融合机制，取代了之前的FusionMamba模块，实现了更有效的跨模态特征交互；（III）更全面的实验：我们进行了更详细和全面的实验，以证明所提出方法的有效性。在原始框架的基础上，我们的Mamba-FETrack V2在效率和服务鲁棒性方面取得了显著改进。本文的其余部分组织如下：第2节提供了与RGB-事件跟踪、Mamba网络和基于Prompt的学习相关的工作。对于所提出的方法，我们在第3.1节中进行了概述，然后在后续小节中详细介绍了输入表示、Prompt Generator模块、FEMamba主干网络、跟踪头部和损失函数。第4节中，我们在多个基准数据集上进行了实验，定性和定量实验都证明了我们提出的Mamba-FETrack V2框架在RGB-事件目标跟踪中的有效性。最后，我们在第5节总结了本文并提出了基于Mamba的目标跟踪的可能研究方向。

相关工作：在本节中，我们主要介绍了关于基于RGB-事件跟踪、Mamba网络和基于Prompt的学习的相关工作。更多相关工作可以在调查（Lei, Li, Li, Cao, Shan, 2024, Wang, Wang, Ding, Li, Wu, Rong, Kong, Huang, Li, Yang等人，Zhang, Liu, Wen, Zhou, & Wang, Zhang, Zhu, Wang, Zhang, Chen, Wang, Ye, 2024b）和论文列表1中找到。

概述：在本节中，我们将概述所提出的Mamba-FETrack V2框架，该框架旨在通过有效地融合RGB帧和事件流中的信息来进行目标跟踪。如图2所示，该架构首先处理输入的RGB模板/搜索区域及其对应的事件流表示。这些输入被转换为token序列并添加位置编码。框架的一个关键组成部分是新颖的Prompt Generator，它...

数据集和评估指标：为了全面评估所提出方法的有效性，我们在三个基准数据集上进行了大量实验：FE108（Zhang等人，2021）、FELT（Wang等人，2024a）和COESOT（Tang等人，2025）。

结论和未来工作：在本文中，我们提出了Mamba-FETrack V2，这是一种新的基于RGB-事件的目标跟踪框架，它引入了多模态跟踪的新范式。具体来说，我们首先设计了一个Prompt Generator，通过利用特定于模态的特征和共享的prompt池动态生成两个可学习的prompt向量。随后，生成的特定于模态的prompt向量和图像嵌入特征由所提出的FEMamba模块共同处理，该模块建立在CRediT作者贡献声明：Wang Xiao：撰写 - 审稿和编辑、撰写 - 原始草稿、可视化、验证、方法论、概念化；Huang Ju：撰写 - 原始草稿、可视化、验证；Ma Qingchuan：撰写 - 原始草稿、可视化、验证；Gao Jinfeng：撰写 - 原始草稿、可视化；Xu Chunyi：撰写 - 原始草稿、可视化；Wang Xiao：撰写 - 审稿和编辑、撰写 - 原始草稿、可视化、监督、方法论；Chen Lan：撰写...