EPIPTrack：基于显式与隐式提示重新思考多目标跟踪中的提示建模

《Information Fusion》：EPIPTrack: Rethinking Prompt Modeling with Explicit and Implicit Prompts for Multi-Object Tracking

　　

•一种统一的跨模态融合框架，用于高效的身份驱动多目标跟踪。
•显式提示与隐式提示协同建模，在统一空间中刻画运动与身份语义。
•内在语义反转消除对外部大语言模型的依赖，降低计算成本。
•在DanceTrack、MOT17和MOT20基准上取得SOTA性能，具备强鲁棒性。
•提供一种即插即用的语义关联引擎，兼容多种跟踪范式。

## 引言

多目标跟踪（MOT）是计算机视觉中的基础任务，旨在持续定位多个目标并维持其在视频帧之间的身份一致性。它在智能监控、自动驾驶和具身智能等广泛应用中发挥着关键作用。然而，真实世界中的挑战，如遮挡、目标拥挤、视角变化和光照不均，极大地增加了身份一致性的难度，并要求跟踪系统具备更强的鲁棒性。为应对这些挑战，主流方法遵循检测即跟踪（TBD）范式[1]–[9]。在该框架中，一些方法通过引入插值[5]、重建[2]、[10]、[11]和补偿策略[3]、[8]、[12]来建模目标运动，以缓解轨迹碎片化和漂移等问题。值得注意的是，传统的卡尔曼滤波在处理非线性运动模式时表现出明显的局限性。为此，当前研究提出了神经网络卡尔曼滤波[13]、噪声尺度自适应滤波[14]以及基于状态空间的架构如Mamba[15]等替代方案。

尽管运动建模改善了短期关联，但在涉及长期遮挡或频繁交互的场景中，它难以确保可靠的身份保持。为提高身份匹配精度，一些方法[1]、[3]、[7]、[9]、[14]、[16]、[17]集成了重识别（ReID）模块，以提取高维视觉特征来弥补运动模型的局限性。这些方法取得了令人瞩目的进展。然而，传统ReID模型学到的表征从根本上说是外观驱动的，而非身份驱动的。这种设计方法引入了两个显著的固有限制：(1) 当目标因姿态、光照和遮挡等因素发生剧烈外观变化时，其学到的嵌入缺乏语义适应性来维持身份[18]；(2) 当不同身份具有高度相似的外观时（如穿制服的人员），模型的判别能力会显著下降[19]。

这些局限性使得ReID模型在复杂遮挡或高密度场景中极易受到轨迹碎片化和ID切换的影响[1]。其根本原因在于它们依赖低层外观线索，而稳健的长期身份保持需要高层语义一致性。

为弥合这一根本性差距，该领域近年来已转向身份驱动范式，利用语言模态[20]来建模抽象的身份概念[21]、[22]。图1(a)展示了第一代多模态框架的基本建模范式，它们引入文本描述来补充视觉线索。此类方法在缓解关联歧义和语义不确定性方面展现了一定的潜力。例如，LGMOT[21]采用静态文本描述来表示目标。尽管此类描述提供了补充语义信息，但它们在时间上是固定的（如图2(a)所示），因此无法适应由姿态变化、遮挡、运动变化和可见性波动引起的动态目标状态变化。这种静态描述与动态目标之间的不匹配很容易导致语义偏差，削弱跟踪鲁棒性。为了增强适应性，一些方法[22]、[23]进一步引入动态语言模块，利用大语言模型（LLMs）逐帧更新文本描述。然而，如图2(b)所示，此类动态文本描述方法仍然存在以下关键问题：

(1) 生成的描述可能包含不准确或虚构的语义内容，导致描述与实际目标状态不一致。
(2) 频繁调用LLM引入了难以承受的计算成本。
(3) 这些方法依赖由LLM、文本编码器和ReID网络组成的碎片化异构架构，限制了端到端优化能力，阻碍了统一语义建模。

基于上述观察，我们提出了一种动态且统一的视觉语言跟踪框架，称为EPIPTrack，它联合建模显式提示和隐式提示用于跟踪，如图1(b)所示。我们不依赖计算昂贵的大语言模型，而是在对比语言-图像预训练（CLIP）[24]的语义空间内直接建模目标状态。为实现此目标，我们设计了显式提示和隐式提示作为互补的语义来源。

**显式提示**由人类可读的自然语言组成，其内容源自可直接观察和量化的运动状态。具体而言，我们将结构化数据（如速度、深度、检测置信度）实时转换为描述性文本。例如："身份为21、得分为0.85的人员。"该描述显式编码了目标的身份和运动相关属性，提供了时空语义引导。

仅描述运动的显式提示是不够的。MOT的核心是细粒度的身份判别，而CLIP的CLASS模板本质上是粗粒度的，例如"A photo of a [CLASS].（一张[类别]的照片。）"。为克服此局限性，我们提出了一种受文本反转（Textual Inversion）启发的隐式提示策略。与显式提示不同，这些提示不是由人类可读的单词组成，而是可端到端优化的可学习伪词元。在我们的框架中，视觉编码器根据当前目标外观生成该伪词元的语义嵌入，并将其作为身份感知的语义载体注入文本编码器。该机制使词元能够适应外观变化并隐式捕获独特身份，从而实现更稳健的实例级语义表征。

通过显式提示和隐式提示的协同融合使用，我们的框架在统一的CLIP语义空间内实现了运动和身份的动态建模。为进一步提升多模态建模能力，我们提出了一种判别特征增强器（Discriminative Feature Augmentor），动态选择Top-K最具特征的嵌入以增强目标表征的细粒度判别能力。

综上所述，我们的主要贡献如下：

•为响应目标状态变化，我们重新思考了提示建模，并提出了显式和隐式提示方法。在无需依赖LLM的情况下，我们的方法通过动态语义融合增强了跟踪的稳定性和可靠性。
•我们提出了一种判别特征增强器来挖掘Top-K特征性嵌入。它增强了视觉表征并指导文本表征在潜空间中的学习，从而提升了跨模态建模能力。
•我们引入了一种新颖的统一视觉语言MOT框架，无需LLM或ReID等辅助模块，提供了一种精简有效的跨模态跟踪解决方案。
•值得注意的是，所提出的方法提供了即插即用的设计，可无缝集成到现有TBD范式中。在主流基准MOT17、MOT20和DanceTrack上的大量实验证明了其卓越性能和最先进结果。

## 片段章节

### 传统跟踪方法

MOT的早期研究以及许多当前主流方法主要建立在两种技术范式之上：检测即跟踪（TBD）和联合检测-跟踪（JDT）。TBD遵循顺序流水线，先进行目标定位，再进行身份关联。相比之下，JDT将目标检测和身份关联集成到一个统一的步骤中。

### 方法

在本工作中，我们提出了一种提示学习策略，将CLIP适配用于下游MOT任务。如图3所示，所提出的方法EPIPTrack基于CLIP构建，其视觉编码器和文本编码器为视觉语言建模提供了统一基础。在该统一框架内，提示建模作为核心语义建模机制。具体而言，显式提示用于建模运动相关语义，而隐式提示则设计用于捕获身份相关语义。

### 训练目标

训练的核心目标是增强多模态嵌入Emx与视觉嵌入Edv之间的跨模态一致性和身份判别性。这确保同一身份在不同模态间保持语义对齐，而不同身份保持良好分离。所有损失函数都围绕此目标设计，它们从跨模态对齐、判别增强等角度联合约束所学表征。

### 数据集与评估指标

**数据集。** 我们在三个广泛使用的数据集上开展实验：MOT17、MOT20和DanceTrack。MOT17提出了一系列真实世界挑战，如相机运动、光线不良、遮挡和运动模糊，使其成为测试多样化条件下鲁棒性的理想选择。MOT20聚焦于极度拥挤的场景，每帧平均170名行人，作为高密度跟踪的基准。DanceTrack以舞蹈表演为特色，涉及外观相似性和复杂的非线性运动。

### 机制验证

本节旨在通过系统的对比实验，全面验证我们框架中每个组件的有效性和合理性，包括损失函数、内部机制和模块设计。MOT17训练集被划分为两个子集，一个用于训练，另一个用于评估。我们使用SGD优化器、余弦学习率衰减和恒定的预热阶段来稳定收敛。关键参数包括批量大小为32，初始学习率……

## 结论

在本工作中，我们提出了一种基于CLIP基础模型构建的统一多模态视觉语言跟踪框架EPIPTrack。通过联合建模显式提示的语义运动和隐式提示的抽象身份，我们的方法直接在CLIP嵌入空间内构建了统一且全面的目标表征。与依赖外部LLM的碎片化方法不同，我们的统一架构在不产生额外开销的情况下实现了自学习语义对齐。

## CRediT作者贡献声明

张钰銮：原稿撰写、可视化、验证、方法论、形式化分析、概念构思。赵佳瑞：原稿撰写、验证、形式化分析。聂尚清：原稿撰写、验证。金宽：原稿撰写、验证。王声生：审阅与编辑、监督、概念构思。

## 利益冲突声明

作者声明不存在可能影响本文所述工作的已知竞争性经济利益或个人关系。

## 作者简介

**张钰銮**，1997年出生。2024年获云南师范大学物理与电子信息学院硕士学位。目前是吉林大学计算机科学与技术学院博士研究生，导师为王声生教授。研究方向包括计算机视觉、多目标跟踪、多模态融合和提示学习。

**张钰銮 | 赵佳瑞 | 聂尚清 | 金宽 | 王声生**