MIMOT：基于Mamba的跨轨迹交互多目标跟踪

《Neural Networks》：MIMOT: Mamba-based Inter-Trajectory Interaction for Multi-Object Tracking

　　

# 基于线性时间Mamba运动模型的多目标追踪方法

- 基于线性时间Mamba运动模型的多目标追踪方法
- 双流时序编码器捕获细粒度运动动力学
- 几何引导的邻域轴Mamba条件机制实现选择性交互
- Mamba条件码本SSM解码器处理慢、中、快三种运动模式

## 引言

多目标追踪（MOT）旨在跨视频帧维持每个目标的身份一致性。在基于检测的追踪（TBD）系统中，运动预测用于估计已有轨迹可能重新出现的位置，因此直接影响检测存在噪声、缺失或相互遮挡时的关联决策（Bewley, Ge, Ott, Ramos, Upcroft, 2016; Ciaparrone, Sánchez, Tabik, Troiano, Tagliaferri, Herrera, 2020; Zhang, Sun, Jiang, Yu, Weng, Yuan, Luo, Liu, Wang, 2022）。这一作用在舞蹈和体育场景中尤为重要（Cui, Zeng, Zhao, Yang, Wu, Wang, 2023; Sun, Cao, Jiang, Yuan, Bai, Kitani, Luo, 2022），因为剧烈加速、群体协调运动和近距离竞争会产生强烈的非线性轨迹。如图1所示，邻近目标可能协同运动或相互约束彼此的移动，使得仅从目标自身的历史来预测轨迹变得困难。

经典TBD流水线通常使用带有匀速或匀加速先验的卡尔曼滤波器（Bewley, Ge, Ott, Ramos, Upcroft, 2016; Kalman, 1960）。该先验对于近线性运动效率较高，但其输入无关的转移模型无法表征突发的或交互引起的偏离。学习型预测器弥补了这一局限性。MotionTrack结合基于图的短程交互与独立的长程重找分支（Qin et al., 2023）。DiffMOT从每个目标的历史建模非线性不确定性（Lv et al., 2024），而ETTrack结合时序卷积和注意力来捕获短期和长期动力学（Han et al., 2025）。基于SSM的方法追求高效的时序建模。MambaTrack使用双向Mamba预测器（Xiao et al., 2024a），TrackSSM将Mamba编码与数据依赖的Flow-SSM解码相结合（Hu et al., 2026），MambaMOT研究Mamba预测与轨迹表示和轨迹片段合并（Huang et al., 2025）。SambaMOTR在端到端的查询传播模型中同步所有轨迹片段的记忆（Segu et al., 2025）。PlugTrack则根据估计的运动模式在卡尔曼滤波器和学习型预测器之间进行自适应切换（Kim et al., 2026）。

这些方法在模块化TBD追踪中留下了特定空白。现有的即插即用SSM运动预测器主要将运动表示从各轨迹的历史获取。SambaMOTR建模了跨轨迹依赖，但它将全局记忆同步与检测器查询传播耦合在一起，并使用所有活跃轨迹片段之间的自注意力。未解决的问题是：如何在外观无关的运动预测器中引入显式的轨迹间上下文，同时保持固定的检测器和关联流水线、有界的交互代价以及互补的时序证据。

MIMOT在否则固定的在线TBD流水线内解决了这一问题。双流时序Mamba编码器（DTME）编码连续的和时间步长的历史。尺度嵌入一致性融合（SEA）协调其短期和长程证据。几何预置邻域条件（GNC）将相对框几何信息注入以目标为中心的邻域。选择性邻域轴Mamba（SNAM）以与所选邻域规模成线性关系的代价聚合按距离排序的邻域标记。最后，Mamba条件码本SSM解码器（MCCD）通过对紧凑的日志转移参数码本形成输入依赖的混合来预测残差框更新。检测器、ByteTrack风格的关联和外观线索的缺失均保持不变，以便评估隔离运动预测器的效果。

技术上的区别在于运动解码之前时序和邻近证据的组织方式。MotionTrack使用图卷积和独立的重找路径（Qin et al., 2023），而MIMOT将有限邻域直接集成到SSM运动表示中。ETTrack、DiffMOT、MambaTrack、TrackSSM和MambaMOT主要将运动从单个轨迹历史中解码（Han, Oishi, Tian, Ucurum, Young, Chatwin, Birch, 2025; Hu, Luo, Liu, Wang, Liu, 2026; Huang, Yang, Chai, Jiang, Hwang, 2025; Lv, Huang, Zhang, Lin, Han, Zeng, 2024; Xiao, Cao, Luo, Lan, 2024a）。SambaMOTR在传播式追踪架构中使用同步的全局查询记忆（Segu et al., 2025）。MIMOT则在不使用外观或检测器查询特征的情况下，在即插即用运动模块内聚合局部按距离排序的几何标记。MCCD也与TrackSSM中的级联Flow-SSM解码器不同，通过在构建每个残差更新的稳定转移之前混合可复用的日志转移参数。由此产生的贡献是：在运动预测框架中统一集成多速率时序编码、几何条件局部交互和基于码本的状态转移。

## 主要贡献

本文的主要贡献总结如下：

- 我们将运动预测表述为时序和局部轨迹间状态的联合建模，并提出MIMOT，一种交互感知的SSM预测器，用于非线性和易遮挡的运动。
- 我们开发了带有SEA的DTME来协调连续和时间步长的历史。我们进一步引入了带有SNAM的GNC，用于几何条件的、以目标为中心的聚合，其代价与所选邻域规模成线性关系。
- 我们引入了MCCD，通过对紧凑的日志转移参数码本进行输入条件混合来建模异质性运动，并自回归地预测残差框更新。
- 在固定的ByteTrack风格关联流水线（不含ReID线索）下，MIMOT在DanceTrack、SportsMOT和MOT17官方测试集上分别达到58.1、74.2和62.1的HOTA分数。受控消融实验隔离了时序编码器、融合、交互和解码器的效果。

## 章节摘要

### 2D多目标追踪

现代2D MOT方法通常采用基于检测的追踪（TBD）或联合检测与追踪（JDT）两种方式（Altaf and Kim, 2025）。TBD方法将检测与关联分离，通常结合几何运动和外观嵌入（Aharon, Orfaig, & Bobrovsky, Cao, Pang, Weng, Khirodkar, Kitani, 2023; Du, Zhao, Song, Zhao, Su, Gong, Meng, 2023）。这种模块化结构使得在保持检测器和关联流程固定的同时评估运动预测器成为可能。

### 符号表示

MIMOT遵循图2所示的TBD范式。在帧$t$，2D检测器产生$N_t^{det}$个检测$B_t=\{b_i^t\}_{i=1}^{N_t^{det}}$。每个$b_i^t \in \mathbb{R}^5$由$(x_i^t, y_i^t, w_i^t, h_i^t, s_i^t)$参数化，其中$(x_i^t, y_i^t)$是左上角坐标，$(w_i^t, h_i^t)$是框尺寸，$s_i^t$是检测置信度。现有轨迹表示为$T=\{T_j\}_{j=1}^{N_t^{trk}}$。轨迹$T_j=\{b_j^s, b_j^{s+1}, \ldots, b_j^t\}$记录目标$j$从其初始帧$s$到当前帧$t$的信息。对于运动建模，每个框被映射到数据集。

## 数据集

我们在DanceTrack（Sun et al., 2022）、SportsMOT（Cui et al., 2023）和MOT17（Milan et al., 2016）上评估MIMOT。这些基准涵盖了舞蹈、体育和行人运动。对于DanceTrack和SportsMOT，在各自的官方训练划分上训练一个模型，并在相应的测试划分上评估。消融模型在训练划分上训练，并在同一数据集的验证划分上评估。对于行人追踪，我们在MOT17和MOT20的联合数据上训练一个模型。

## 结论

MIMOT将显式的轨迹间上下文引入到SSM运动预测器中。DTME和SEA结合连续和时间步长的历史。GNC和SNAM以相对几何条件化以目标为中心的邻域，并以与所选邻域规模成线性关系的代价进行聚合。MCCD然后通过日志转移参数的输入依赖混合预测残差框更新。受控消融实验表明，两个时序流、几何条件交互和……

## CRediT作者贡献声明

刘彪：写作–审阅与编辑，验证，调查，形式化分析。吴彦昕：写作–初稿撰写，可视化，方法论，资金获取。杨家琦：验证，形式化分析，数据整理。乔俊超：资源，方法论，调查。

## 利益冲突声明

作者声明没有已知的可能影响本文所报告工作的竞争性经济利益或个人关系。

## 致谢

本工作得到了中央高校基本科研业务费（Grant No. 2025YJS081）的支持。

刘彪 | 吴彦昕 | 杨家琦 | 乔俊超