DCGM：结合差分跨模态融合与图Mamba技术以实现多目标跟踪

《Knowledge-Based Systems》：DCGM: Synergizing Differential Cross-Modal Fusion and Graph-Mamba for Referring Multi-Object Tracking

　　•一种统一的DCGM框架，该框架通过结构化编码语言引导信息，以减轻线索退化并提升跨模态表示能力。•一种差分跨模态注意力融合（DCAF）机制，可用于消除共模噪声，从而实现稀疏且具有区分度的视觉-语言对齐。•一种动态图-曼巴编码器（DGME），它通过CSGC实现拓扑感知的局部对齐，同时通过G3M实现图引导的全局推理，从而为基于语言引导的精准跟踪提供互补的局部-全局编码能力。

引言
多目标跟踪（MOT）是视觉感知领域的核心任务，为诸多依赖时空理解的应用提供了支持[1]、[2]、[3]、[4]、[5]。其核心目标是在不同视频帧中持续定位并关联多个目标。在智能交通系统（ITS）[6]和自动驾驶车辆（AVs）[7]中，MOT merupakan基础构建模块，精确的跟踪对于做出可靠且及时的决策至关重要。传统的MOT方法会对所有场景对象进行统一处理。然而，在复杂的现实环境中，这种不加区分的“全跟踪”策略往往会导致冗余计算和信息过载，同时还无法提供必要的语义意识来识别对用户而言重要的目标。因此，现实场景需要能够依据用户自然语言表达意图的跟踪机制[8]。例如，在ITS中，交通管理人员主要关注特定类型的车辆，而自动驾驶车辆则需要根据语义定义的运动方向来分析行人的轨迹。在此背景下，基于参考的多目标跟踪（RMOT）作为一种有前景的解决方案应运而生[8]、[9]、[10]、[11]。RMOT通过语言条件下的整合扩展了传统MOT的功能，使得跟踪能够按照用户指定的目标来进行，并受语义引导。如图1所示，当给定如“左侧行驶的汽车”这样的查询时，系统会选择性地关注相关目标，并预测与语言描述相一致的运动轨迹。这种机制将视觉感知与语言意图相结合，提升了情境感知能力，也拓展了MOT系统在现实环境中的应用潜力。

目前的RMOT框架（图2(a)）都是基于基于Transformer的跟踪架构构建的，比如MOTR[4]。这些方法利用统一的查询驱动设计，通过跨注意力机制在早期阶段实现视觉特征与语言特征的融合[8]、[10]、[11]、[12]。虽然跨注意力融合机制能够实现跨模态表示的学习，但在复杂的现实场景中存在固有缺陷。视觉杂乱信息以及冗余的语言标记会在跨模态融合过程中引入大量噪声，从而导致注意力偏移以及跨模态对齐性能下降。例如，被描述为“白色汽车”的目标，其低级视觉特征可能与背景设施（如明亮的混凝土墙）或颜色相似的其他车辆存在相似之处。与此同时，语言指令中往往包含高频的结构化标记（如“the”或像[SEP]这样的特殊标记），这类标记缺乏具有区分度的身份信息。在这种情况下，标准的跨注意力机制很容易出现故障，因为它们依赖单一的softmax函数来衡量视觉特征与语言特征的相关性。这种处理方式很容易受到难以区分的模式的干扰，进而导致注意力偏移。这样一来，注意力分布就会变得分散，无法集中精力处理与任务相关的关键信息，反而会过度激活无关的背景区域或无意义的语言标记[13]。第3.1节中的实证分析进一步证明了这一问题。这种不平衡会加剧语义噪声，最终降低检测精度和跟踪的稳定性。此外，目前大多数研究都采用以检测为导向的编码器[8]、[10]、[12]、[14]、[15]，通过堆叠的可变形注意力机制来提升跨模态表示能力[16]。然而，这类设计更侧重于局部视觉信息的整合，而非保留语言引导信息。随着深度的增加，注意力会越来越偏向空间上相邻的区域，从而导致特征传播受到局部视觉环境的主导。这种局部性偏差会削弱视觉空间表示与语言语义之间的对应关系，进而降低模型利用语言线索进行空间推理和目标识别的能力。

为了解决上述问题，我们提出了一种端到端的框架，名为DCGM（图2(b)）。DCGM由两个相互补充的阶段构成，用于实现基于语言引导的跟踪：早期跨模态融合和深层语义编码。首先，为了减少早期视觉-语言交互过程中的语义干扰，我们设计了DCAF模块，用于过滤掉那些没有区分度的跨模态响应。尽管差分注意力机制最近在单模态表示学习领域已被研究过[13]，但我们将其重新构建为专门用于跨模态任务的机制。受降噪耳机的原理启发[17]，DCAF将视觉查询和语言关键词划分到不同的子空间中，从而分别计算出对应的注意力图。在标准的跨注意力机制中，那些没有区分度的元素，比如突出的视觉背景或语义上无意义的语言标记，可能会充当“共模噪声”，导致出现与任务相关语义关联度很低的异常高激活值。DCAF则通过计算这些平行注意力图之间的差异，有效消除了持续的跨模态偏差，同时显著增强了那些与任务相关的稀疏信号。这有助于跟踪器专注于与目标相关的视觉区域以及具有区分度的语言线索。

其次，为了解决在深度特征传播过程中语言引导信息逐渐减弱的问题，DGME引入了一种并行推理架构，该架构以共享的异构跨模态图作为支撑。该图根据语义相似性将视觉节点与语言节点连接起来，从而形成一种有利于结构化信息传播的拓扑结构。在基于此拓扑结构的框架下，CSGC分支通过稀疏的消息传递方式，将语言约束引入到局部视觉关系中，从而实现拓扑感知的局部对齐。然而，仅依靠局部消息传递是无法捕捉到被遮挡目标以及视觉上相似的干扰目标所涉及的长期依赖关系的，而密集型全局注意力机制[15]则可能因为不加区分的交互而削弱那些稀疏的语义约束。因此，DGME还加入了图引导全局曼巴（G3M）分支，用于对视觉节点进行选择性的长距离推理。由于原始的空间扫描顺序无法反映语言相关的优先级，G3M会根据图编码得到的语义相似性来确定一种与任务相关的排序规则。这种排序方式能够将视觉节点按照语言引导的顺序排列起来，使得Mamba能够在近乎线性的复杂度下，积累与目标相关的上下文信息，同时抑制那些相关性较低的背景响应。实验结果表明，DCGM在性能上有了显著提升，为RMOT任务提供了一种既强大又具备语义感知能力的架构。

综上所述，本研究主要有以下三个贡献：
1. 为了解决早期注意力噪声和语言线索退化这两大问题，我们提出了统一的DCGM框架。与那些忽视噪声干扰且存在语义对齐问题的现有方法不同，我们的端到端架构将差分噪声抑制与结构化语言编码相结合。这种整体设计确保了视觉特征在面对背景杂乱信息时依然保持稳定性，同时也使得语言引导信息在整个特征编码过程中都能得到保留。
2. 针对标准跨注意力机制在早期融合阶段容易将注意力分散到无关区域的问题，我们提出了差分跨模态注意力融合（DCAF）模块。通过将注意力定义为平行注意力图之间的差分响应，DCAF能够有效消除共模噪声，增强视觉特征与语言特征之间的区分度，即使在复杂的场景中也能实现稀疏且精确的对齐。
3. 为了解决在深度RMOT编码过程中语言引导信息逐渐减弱的难题，我们开发了动态图-曼巴编码器（DGME）。DGME构建了一个共享的跨模态图，将该图将视觉-语言语义相似性转化为结构化约束，从而实现并行式的拓扑感知局部优化以及图引导的全局推理。这种设计利用跨模态结构来约束信息传播，避免目标相关的关键信息被干扰信息所淹没。

本文的其余部分结构如下：第2节回顾相关研究工作；第3节详细介绍所提出的DCGM框架；第4节展示全面的实验结果及分析；最后，第5节对全文进行总结，并探讨未来的研究方向。

相关术语简介
多目标跟踪：多目标跟踪（MOT）[1]、[4]、[5]、[18]、[19]、[20]指的是在多个视频帧中检测目标并建立它们之间的关联。MOT仍然是计算机视觉领域中一个基础且极具挑战性的问题。现有的MOT方法主要分为两类：基于检测的跟踪（TBD），该方法依赖于目标检测器，然后再进行数据关联处理[21]、[22]、[23]；以及基于查询的跟踪（TQP）方法，该方法利用基于Transformer的查询机制来实现端到端的跟踪。

我们的方法
所提出的DCGM框架遵循MOTR[4]所提出的基于查询的跟踪理念，如图3(a)所示。给定第t个视频帧Ft以及一个语言查询，我们首先使用基于CNN的骨干网络提取视觉特征Vt∈RH×W×C，同时通过预训练的语言编码器提取语言特征S∈RL×D。这里，H和W分别表示视觉特征的空间维度，L表示语言序列的长度，而C和D则分别代表相应的通道维度。提取出的特征即为后续处理所需的数据。

数据集与评估指标
数据集：所提出的DCGM框架在三个不同的基准测试数据集上进行了验证，分别是Refer-KITTI [8]、Refer-KITTI v2 [12]以及Refer-BDD [14]。为了能够与最先进的方法进行公平比较，我们严格遵循所有基准测试数据集官方规定的训练集和验证集划分方式。Refer-KITTI [8]包含15个训练序列和3个验证序列，每个视频都配有13到76条针对汽车或行人的自然语言描述。Refer-KITTI v2 [12]则在原有基础上进行了扩展……

结论
在这项研究中，我们提出了DCGM，这是一种全新的框架，它通过从被动融合转向主动噪声抑制和结构化约束的方式，重新思考了视觉-语言对齐的问题。通过将DCAF与DGME相结合，DCGM能够有效减轻早期阶段的噪声干扰，同时在更深的层次上保持语言引导信息的作用。大量的实验表明，DCGM在复杂场景下能够展现出出色的性能，并且具有很强的稳定性。不过，通过对失败案例的分析，我们也发现DCGM在某些情况下也存在不足……

CRediT作者贡献说明
薛志标：撰写——审阅与编辑、撰写——初稿、可视化、验证、方法论、数据整理、概念构思。刘展文：撰写——审阅与编辑、撰写——初稿、验证、监督、方法论、资金获取、概念构思。王浩辰：可视化、数据整理。林春绵：验证、监督。赵文静：验证、监督、调研。孙丹健：监督、调研。

资金支持
本研究得到了中国国家自然科学基金会的支持，项目编号为U24B20127，同时也获得了中国国家重点研发计划的资助，项目编号为2024YFB4303102。

利益冲突声明
作者声明，他们与任何可能对我们的工作产生不当影响的其他个人或组织之间不存在任何财务或个人关系，而且他们在任何产品、服务或公司方面也不存在任何可能影响他们对本文观点或评审意见的专业或其他个人利益关系。

薛志标|刘展文|王浩辰|林春绵|赵文静|孙丹健