用于事件流对象检测的曼巴胶囊路由增强型热传导网络

《Neurocomputing》：Mamba capsule routing-enhanced heat conduction network for event stream object detection

　　

摘要

事件相机能够对像素亮度变化作出反应，并输出异步的事件流，具备高动态范围和微秒级的时间分辨率，因此非常适合处理传统基于帧的相机往往无法应对的高速运动和低照明场景。然而，事件流固有的异步性和稀疏性给物体检测带来了两个核心挑战：由于遮挡或对比度低导致空间特征不完整或薄弱，从而造成空间信息不足；以及由于事件在时间上的分布稀疏且不规律，导致时间信息不连续，难以形成稳定的长期依赖关系。为了解决这些问题，我们提出了以时空Mamba胶囊模块为核心的Mamba胶囊路由增强热传导网络（MCH-Net）。与简单组合各组件不同，STMC将Mamba、胶囊网络和热传导机制整合为一个相互协作的框架。Mamba能够实现高效的长距离时间建模，以此弥补时间不连续性问题，并为胶囊初始化提供稳定的序列特征；胶囊网络则通过部分-整体结构推理来弥补空间信息的不足，为热传导提供结构先验；热传导则在结构和置信度引导下进行，避免盲目扩散，进一步强化有效特征，优化时间建模和胶囊路由。通过充分利用各部分的优势，该模型能够在时间连续性、空间完整性以及特征增强方面实现共同优化。STMC由三个主要部分组成：用于在胶囊初始化时进行时间聚合的Mamba驱动时间特征建模（MTF）、用于基于结构进行胶囊路由和空间补全的模板引导EM路由（TGEM Routing），以及用于实现受约束的自适应热扩散的胶囊增强热传导预测（CEHC）。在EvDET200K、GEN1和DSEC数据集上的实验表明，MCH-Net在准确率和泛化能力方面均优于现有的最先进方法。

引言

事件流物体检测[1]、[2]、[3]是基于事件的计算机视觉领域中的一个基础问题，其目标是从异步的事件流中准确定位并识别目标物体。与传统基于帧的图像传感器不同，后者以固定的采样率工作，常常会出现运动模糊、动态范围有限以及能耗较高的问题，而基于事件的视觉传感器则仅在像素级亮度发生变化时才会输出事件。每个事件都包含空间坐标、时间戳和极性信息，这使得事件相机具备微秒级的时间分辨率、极高的动态范围以及较低的能耗。正是这些特性，使得事件相机特别适合处理高速运动、低照明以及资源受限等复杂场景。

尽管具有这些优势，事件相机的感知机制也带来了一些与基于帧的物体检测[4]、[5]、[6]不同的挑战。由于事件是稀疏且异步生成的，事件流本质上缺乏密集的空间结构和连续的时间覆盖，这就引发了两个紧密相关的问题。在空间方面，由于对比度低、缺乏纹理或部分被遮挡，导致事件响应不足，从而使物体的表示变得碎片化且不完整。从时间角度来看，事件在时间上的分布不均使得很难建立稳定的长期依赖关系，尤其是当目标物体较小、时隐时现或被严重遮挡时。这些因素共同阻碍了连贯的时空表示的形成，进而显著降低了检测性能。

除了上述问题，事件相机的感知机制还带来了与传统基于帧的物体检测完全不同的挑战。由于事件是稀疏且异步生成的，事件流本质上缺乏密集的空间结构和连续的时间覆盖，这就导致了三个紧密相关的关键问题。在空间方面，由于对比度低、缺乏纹理或部分被遮挡，导致事件响应不足，从而使空间信息匮乏，物体的表示也变得碎片化。从时间角度来看，事件在时间上的分布不均会导致时间不连续，使得很难建立稳定の长距离依赖关系，尤其是对于那些较小、时隐时现或被严重遮挡的目标物体。同时，事件流中存在的弱目标特征也难以被现有模型有效地捕捉和利用。这些因素共同阻碍了连贯的时空表示的形成，进而大幅降低了检测性能。

近年来，为视频检测设计的时空建模方法[7]、[8]、[9]也为这一领域提供了新的思路。不过，这些方法大多是为密集且连续的视频帧设计的，难以适配事件流的稀疏性和异步性，而且还存在特征扩散难以控制以及缺乏结构推理的问题。此外，主流的骨干网络本身也存在局限性。卷积神经网络（CNN）[10]、[11]受限于局部感受野，无法有效建模稀疏事件序列中的长距离时间相关性。基于Transformer的架构[12]、[13]、[14]虽然具备全局建模能力，但计算复杂度呈二次方增长，不适合处理长序列的事件数据。而且，这两种架构对弱或不完整的事件响应敏感度较低，难以在稀疏场景中恢复目标结构。这些情况表明，有效的事件流物体检测不仅需要长序列时间建模，还需要具备结构推理和受控特征传播的机制。

基于以上考虑，我们提出了MCH-Net，旨在解决事件流物体检测中存在的时间不连续、空间信息匮乏以及弱目标特征难以检测等问题。MCH-Net的核心是STMC模块，它将上下文时间建模、基于结构的特征推理以及自适应热传导机制整合在一个统一的框架中。与现有的时空建模方法不同，STMC利用Mamba实现高效的长序列时间建模，以适应事件的异步特性；采用胶囊路由进行部分-整体结构推理，为物体轮廓的补全提供结构先验；并在结构引导下利用热传导机制实现受约束的特征增强。STMC实现了时间连续性和空间完整性的互补优化，使得模型即使在面对事件稀疏和物体被遮挡的情况下，也能恢复出连贯的物体表示。

本文的主要贡献如下：

• •
  我们提出了一种新的时空Mamba胶囊（STMC）模块。该模块结合了Mamba的长序列时间建模能力和胶囊网络的结构表示优势，能够为稀疏事件流实现自适应的时空特征建模、基于结构的语义推理以及受约束的特征增强，有效解决了由事件流的稀疏性和异步性带来的时间不连续和空间信息匮乏问题。
• •
  我们设计了一种模板引导EM路由（TGEM Routing）机制，该机制利用结构先验和时间记忆补全功能，来解决因信号弱、纹理缺乏或物体被遮挡而导致的空间信息不足问题，使得模型更适用于稀疏事件流场景。
• •
  我们开发了一种胶囊增强热传导预测（CEHC）方法。该方法结合结构先验和时间信息，引导自适应的热扩散过程，解决了在没有有效约束的情况下热量会向背景盲目扩散的问题，实现了时空特征的协同优化。
• •
  我们在三个公开的事件检测数据集上进行了大量实验。实验结果表明，MCH-Net模型在检测准确率和泛化能力方面均优于现有的最先进方法，为事件流物体检测提供了一种高效且可行的解决方案。

章节节选

基于事件的物体检测

事件流具有高动态范围、数据量小以及对移动物体敏感等优点，因此在动态、高速、低照明以及资源受限的场景中，其性能优于传统的物体检测方法[15]。Torbunov等人[16]提出了一种图像到事件检测框架，该框架将事件流转换为堆叠的2D直方图表示，并训练RT-DETR基准模型，实现了事件检测与主流检测方法的融合

概述

MCH-Net的整体架构如图1所示。输入的事件流首先经过卷积层进行预处理，然后送入四个堆叠的STMC阶段。每个STMC阶段都会逐步进行下采样，同时执行时间建模、结构推理以及特征增强功能。具体而言，MTF利用Mamba对连续的事件进行聚合，消除时间不连续性，从而生成稳定的初始时空语义胶囊。随后TGEM Routing则

数据集与评估指标

为了验证MCH-Net的有效性，我们在三个主流的事件流物体检测数据集上进行了全面评估。具体信息如下。

EvDET200K[18]。这是2024年发布的一个大型的事件流物体检测数据集，包含10,054个事件流样本（每个样本的时长为2–5秒），以及总计202,260个高质量的边界框标注。该数据集涵盖了人类、车辆和无人机等10种目标类别，其中还包含超过15

结论

为了解决事件流物体检测中由于特征稀疏和碎片化导致的空间信息匮乏、时间信息不连续以及弱特征难以检测等问题，本文提出了以STMC模块为核心的MCH-Net。其中，MTF通过捕捉长距离的时间依赖关系来缓解时间不连续性问题，TGEM Routing则通过结构先验推理来弥补空间信息不足，而CEHC则避免了特征的盲目扩散

CRediT作者贡献说明

高文波：撰写——初稿、可视化、验证、软件实现、研究工作。王月欢：撰写——审稿与编辑、监督、方法设计、资金获取、形式分析、概念构思。王云涛：验证、资源协调、数据整理。魏若楠：可视化、资源协调、研究工作、形式分析。

利益冲突声明

作者声明，他们不存在任何可能影响本文研究成果的已知利益冲突或个人关系。

高文波于2020年在中国山东师范大学获得工程硕士学位，目前在中国华中科技大学攻读控制科学与工程专业的博士学位。他的研究方向包括图像处理，尤其是跨视角地理定位和物体检测领域。

高文波|王月欢|王云涛|魏若楠

中国湖北省武汉市洪山区珞喻路1037号，华中科技大学人工智能与自动化学院，多光谱信息智能处理技术国家重点实验室，邮编430074