VLG-RMOT：用于端到端指称多目标跟踪的先校准后控制方法

《Neural Networks》：VLG-RMOT: Calibration-Before-Control for End-to-End Referring Multi-Object Tracking

　　

**摘要**

指称多目标跟踪（RMOT）旨在检测并跟踪视频中所有满足自然语言描述的物体。端到端RMOT依赖物体查询进行检测、关联和时序更新，因此语言必须同时充当对齐线索和用于控制演化查询的信号。现有方法在视觉-语言融合和查询交互方面取得了进展；然而，仅靠对齐并不能确保语言信号具有场景判别性，因为候选物体、其外观及其关系在帧间会发生变化。因此，我们提出了VLG-RMOT，一种"校准优先于控制"的框架，在使用语言进行查询控制之前，先将其适配到当前视觉场景。具体而言，跨模态语义校准通过可学习的逐通道残差缩放执行双向视觉-语言校准。由此生成的场景条件化语言指导两个互补阶段：上下文查询合成在视觉解码前建立共享的指称先验，而文本感知门控在视觉交叉注意力之后调节查询状态。在Refer-KITTI、Refer-KITTI-V2和Refer-BDD上，VLG-RMOT在所比较的端到端方法中取得了最佳HOTA。在匹配的消融实验协议下，可学习校准相比原始语言控制、无缩放残差和固定缩放，分别将HOTA提升了1.97、1.40和2.98个点；缩放向量统计和token级可视化提供了通道选择性及场景依赖性适配的表征级证据。

**引言**

指称多目标跟踪（RMOT）代表了现代计算机视觉中的一个基本挑战，旨在根据自然语言描述检测并跟踪视频序列中的多个物体（Wu等, 2023）。该任务对于开发能够通过自然语言与视觉世界交互的人工智能系统尤为重要，与传统多目标跟踪方法相比，它提供了更大的灵活性和控制力。尽管RMOT是一个新兴研究领域，但它已展现出在多种场景中广泛应用的潜力，包括自动驾驶（Lin等, 2024; Lu等, 2025）、多模态智能体（Noh等, 2025）以及人-物交互（Li等, 2025b）。

端到端RMOT将语言定位、物体检测和时序关联整合在统一的基于注意力的跟踪流水线中（Chen等, 2025; He等, 2024; Liang等, 2025; Ma等; Wu等, 2023; Xiao等, 2026; Zhang等）。如图1(a)所示，通用框架编码指称表达式和视频帧，在多模态编码器中融合它们的表征，并通过标准解码器优化通用物体查询以预测被指称的轨迹。这种通用公式提供了本文考虑的共同架构基础，但它并未显式地将场景校准后的语言暴露为查询初始化和视觉后细化的控制信号。图1(b)展示了VLG-RMOT的架构：CSC首先生成场景条件化的视觉和语言特征，CQS使用校准后的语言进行查询上下文控制，TAG在解码器内应用视觉后控制。这些组件共同建立了一条从场景条件化表征学习到查询初始化和视觉后解码器细化的校准优先于控制的路径。

然而，端到端RMOT中存在一个根本问题：跨模态对齐并不能自动使语言成为物体查询的可靠控制信号。现有方法已显著推进了视觉-语言融合、查询交互、语义推理和时序建模（He等, 2024; Liang等, 2025; Ma等; Wu等, 2023; Xiao等, 2026; Xu等, 2026; Zhang等）。这些进展改善了模态之间的对应关系，但RMOT对跟踪器使用的语言表征提出了额外要求。随着候选物体的数量、外观和运动在帧间变化，它必须保持判别性，因为语言引导的查询状态既支持被指称目标的发现，又支持身份一致轨迹的维护。因此，每个词的重要性本质上是场景依赖的（Ding等, 2023）。例如，当颜色能够区分可见候选物时，"黑色"是有用的；而"左边"必须相对于当前帧布局来解释。如果语言的语义强调不能适应当前的视觉竞争，视觉显著但与表达式不一致的证据可能会主导查询更新，导致误检、目标丢失或身份歧义。这引出了核心问题：如何使用语言在控制基于查询的跟踪之前对其进行校准？

为解决这一问题，我们提出了VLG-RMOT，一种"校准优先于控制"的框架，将视觉校准后的语言转化为端到端RMOT的显式控制信号。核心思想是在语言参与查询初始化和迭代解码器更新之前，建立一个可靠的语言表征。跨模态语义校准（CSC）执行双向视觉-语言校准，通过可学习的缩放因子调节残差信息交换，使语言能够吸收场景特定证据同时保留其原始语义。上下文查询合成（CQS）将校准后的表征转换为紧凑的全局语义先验，并在视觉解码前将其注入可学习的内容查询中。文本感知门控（TAG）随后在视觉交叉注意力之后复用校准后的语言，以抑制与指称表达式不一致的查询响应。CSC、CQS和TAG共同建立了一条连贯的校准优先于控制路径，将场景感知语言校准与查询初始化和视觉后细化联系起来。

我们的主要贡献总结如下：

- 我们为端到端RMOT提出了一种"校准优先于控制"的设计，其中语言表征首先被适配到当前视觉场景，然后才被用于引导基于查询的跟踪。
- 我们通过CSC、CQS和TAG实例化该设计，分别执行场景条件化语言校准、校准后语义查询初始化和视觉后语言感知查询调制。
- 我们通过基准比较、消融实验和可视化提供了实证证据，表明视觉校准后的语言比静态语言线索在端到端RMOT中更有效地引导物体查询。

**相关章节片段**

**指称多目标跟踪**

指称多目标跟踪（RMOT）旨在检测并跟踪视频中所有满足自然语言描述的物体（Wu等, 2023）。与传统多目标跟踪不同（Meinhardt等, 2022; Xie等, 2024a; Xie等, 2024b; Zhang等, 2022），RMOT使用语言而非预定义类别来指定目标对象（Li等, 2025d）。

**预备知识**

**问题定义。** 给定一个由T个图像帧组成的视频序列 $V=\{I_1, I_2, \ldots, I_T\}$ 和描述感兴趣物体的文本查询 $Q$，指称多目标跟踪旨在为所有匹配描述的对象生成一组轨迹 $\mathcal{T}=\{\tau_1, \tau_2, \ldots, \tau_K\}$。每条轨迹 $\tau_i$ 表示为：

$$\tau_i = \{(b_1^i, o_1^i, r_1^i), (b_2^i, o_2^i, r_2^i), \ldots, (b_m^i, o_m^i, r_m^i)\}$$

其中 $b_t^i = (x_t^i, y_t^i, w_t^i, h_t^i)$ 表示第 $i$ 个物体在第 $t$ 帧中的边界框坐标，$o_t^i$ 表示...

**数据集**

我们在三个公开可用的RMOT数据集上开展实验。Refer-KITTI（Wu等, 2023）是指称多目标跟踪任务的首个基准数据集，包含18个视频中的818个表达式，其中15个视频用于训练，3个用于测试。场景涵盖行人街道、公共道路、高速公路及其他多样化环境。Refer-KITTI-V2（Zhang等, 2025）通过引入更多样的语言描述来解决现有RMOT数据集的局限性...

**局限性与未来工作**

图9展示了VLG-RMOT的代表性失败案例。在密集人群中，模型可能仍将穿着相似或身体属性相似的目标混淆，导致实例遗漏或误激活。当指称表达式语义模糊时，尤其是对于站立、行走或移动方向等运动状态，查询引导可能会选择视觉上合理但与表达式不一致的物体。在严重遮挡下，VLG-RMOT可能在...时暂时丢失目标。

**结论**

VLG-RMOT为端到端指称多目标跟踪中的可靠语言引导引入了一种"校准优先于控制"的框架。CSC通过可学习的逐通道残差缩放适配视觉和语言特征。由此产生的校准后语言随后指导查询生命周期的两个互补阶段：CQS在视觉解码前初始化可学习查询，TAG调节交叉注意力后的查询状态。在Refer-KITTI、Refer-KITTI-V2和Refer-BDD上，VLG-RMOT...

**CRediT作者贡献声明**

Hongshen Zhao：撰写-初稿，方法论，调查，概念构思。Ming Dai：撰写-审阅与编辑，形式化分析。Fei Xie：撰写-审阅与编辑，形式化分析。Wenkang Zhang：验证，形式化分析。Yuncong Yao：验证，形式化分析。Wankou Yang：监督，资源，资金支持。

**利益冲突声明**

作者声明不存在可能影响本文报告工作的已知竞争财务利益或个人关系。

Hongshen Zhao | Ming Dai | Fei Xie | Wenkang Zhang | Yuncong Yao | Wankou Yang