Refer-ASV：在自主水面航行器导航场景中实现的多目标跟踪技术 薛斌（Bin Xue）、 于强（Qiang Yu）、 丁坤（Kun Ding）、 王颖（Ying Wang）、 向世明（Shiming Xiang） 以及潘春红（Chunhong Pan）

《Journal of Imaging》：Refer-ASV: Referring Multi-Object Tracking in Autonomous Surface Vehicle Navigation Scenes Bin Xue, Qiang Yu, Kun Ding, Ying Wang, Shiming Xiang and Chunhong Pan

　　摘要 水面感知对于自主水面车辆的导航至关重要，因为可靠地跟踪与任务相关的对象是确保安全稳定运行的关键。参考多对象跟踪（RMOT）通过允许用户使用自然语言指定感兴趣的对象，提供了一种灵活的跟踪范式。然而，现有的RMOT基准测试主要针对地面或卫星场景设计，无法捕捉水面环境的独特视觉和语义特征，包括强烈的反射、严重的光照变化、较弱的运动约束以及大量小型对象。为了解决这一差距，我们引入了Refer-ASV，这是首个专为复杂水面场景中的自主水面车辆（ASV）导航定制的RMOT数据集。Refer-ASV基于真实世界的ASV视频构建，涵盖了多样的导航场景和细粒度的船舶类别。为了便于对Refer-ASV进行系统评估，我们进一步提出了RAMOT，这是一个端到端的基准框架，通过改进视觉-语言对齐和在具有挑战性的海洋环境中的鲁棒性来增强整个跟踪流程。实验结果显示，RAMOT在Refer-ASV上的HOTA得分为39.97，优于现有方法。在Refer-KITTI上的额外实验证明了其在不同场景中的泛化能力。

1. 引言
水体覆盖了地球表面大约70%的面积，包括国际贸易、资源勘探和军事行动在内的多种现代活动都在水面上进行[1]。随着深度学习的快速发展，水面上的智能感知能力显著提升，使得自主水面车辆（ASV）能够在实际应用中得到部署，例如漂浮垃圾清理[2]、海上搜救[3]和娱乐操作[4]。关于基于无人机的垃圾检测[5]、无人机网络定位[6]以及实时车辆数据驱动的交通预测[7]的相关研究进一步突显了智能感知在无人系统和运输系统中的重要性。这些进展强调了在复杂动态场景中可靠感知周围对象的需求。在水面感知任务中，如对象检测[8]和多对象跟踪（MOT），跟踪起着关键作用，它能够持续监控周围对象并支持导航和路径规划等关键功能。然而，大多数现有的水面MOT研究[9]都关注于跟踪场景中的所有可观察对象。在真实的自主导航场景中，并非所有水面对象在每个时刻都同等重要。相反，用户通常需要关注具有特定运动模式、空间状态或语义属性的对象。例如，在自主导航过程中，可能阻塞计划路线的固定船舶需要密切监控，而在进港和停泊时，表现出特定航向或操纵行为的船舶成为主要关注对象。这些实际需求呼唤更加灵活和交互式的跟踪范式，在这种范式中，可以根据用户意图指定跟踪目标。受此需求的启发，引入了参考多对象跟踪（RMOT）用于ASV导航场景。RMOT任务旨在持续定位和跟踪所有与给定自然语言描述匹配的水面对象[10]。

作为一种新兴且有前景的任务，RMOT近年来发展迅速。然而，现有的RMOT基准测试主要针对道路或地面场景设计，在这些场景中，视觉布局相对结构化，对象运动受到交通规则和固定基础设施的强烈约束。相比之下，ASV遇到的水面场景面临的挑战与地面场景有很大不同。从成像角度来看，水面场景的特点是复杂的海岸线背景、频繁的水面反射、明显的光照变化以及水雾等不利条件[11]。此外，水面的广阔空间范围导致大量小型和远距离对象的存在。从对象属性和行为的角度来看，水面对象受到的运动约束较弱，动态变化较小。对象可能向多个方向漂移或保持固定，同时不断受到水流、反射和附近结构等环境因素的影响。因此，水面RMOT中的参考表达必须捕捉到特定于水面的行为、环境条件以及对象-环境交互。这些特征在现有的RMOT基准测试中几乎不存在，这种数据缺失已成为水面RMOT发展的主要障碍。

本研究的目的是从基准测试和方法论的角度调查真实水面导航场景中的RMOT。为了解决上述限制，我们构建了Refer-ASV，这是一个专为复杂水面场景中的ASV导航设计的RMOT数据集。与现有的RMOT数据集不同，Refer-ASV明确关注水面场景特有的视觉和语义特征。具体来说，Refer-ASV具有以下特点：（1）复杂的水面条件，包括反射、波浪引起的运动、水花、杂乱的背景以及大量小型对象；（2）多样的真实世界ASV导航场景，涵盖内陆水域和开阔海域环境，包含多种船舶类别和水面对象，所有数据均来自ASV平台；（3）与应用相关的参考表达，与实际水面任务对齐，具有细粒度的船舶类别、明确的环境描述以及特定于水面的对象行为，如漂移、固定和对象-环境交互。Refer-ASV包含29个视频序列，共10,747帧和2,358个参考表达，能够在真实水面条件下系统评估RMOT方法。

此外，为了便于对提出的基准测试进行系统评估，我们引入了RAMOT，这是一个专为水面RMOT设计的端到端基准方法。由于水面场景的特点，有效的RMOT需要在整个跟踪流程中保持稳定的视觉-语言关联。然而，这种关联经常受到训练期间稀疏监督、多尺度视觉表示之间的语义不一致性以及在退化成像条件下的不可靠跟踪器预测的影响。基于这些观察，RAMOT在三个阶段增强了视觉-语言对齐，即训练、特征表示和推理。具体来说，受到课程学习[12]的启发，我们引入了一种表达采样策略，通过逐步从简单表达过渡到更复杂的语义来稳定早期跨模态学习。为了处理水面对象的大规模变化，我们进一步提出了一种尺度感知融合机制，以在不同视觉分辨率下保持语义一致性。此外，还设计了一种自适应查询管理策略，以在语言线索退化或成像条件具有挑战性时恢复高置信度的跟踪片段并提高鲁棒性。

因此，本研究的目标有两个：为自主水面车辆导航场景建立一个专门的参考多对象跟踪基准，并为该基准测试开发一个强大的端到端基准。相应地，这项工作重点关注两个核心问题：如何构建一个能够捕捉水面场景视觉和语义特征的真实数据集，以及如何在稀疏监督、尺度变化和退化成像条件下改进视觉-语言对齐。在方法论方面，我们将基于真实世界船载视频的基准测试构建与基于Transformer的端到端跟踪框架相结合，并通过在水面和道路场景基准测试上的全面实验来验证所提出的解决方案。实验结果显示，所提出的框架在Refer-ASV上表现出色，并且能够有效泛化到不同场景。我们的贡献总结如下：我们是第一个将RMOT系统引入ASV导航中遇到的复杂水面场景的研究者。我们构建了Refer-ASV，这是第一个专为复杂水面场景中的RMOT设计的数据集。它具有细粒度的船舶类别、明确的环境描述和特定于水面的对象行为。我们分析了Refer-ASV的特点，并通过广泛的实验评估研究了水面场景对RMOT带来的挑战。我们提出了RAMOT，这是一个专为水面RMOT设计的基准模型，并在Refer-ASV数据集上证明了其有效性。

本文的其余部分组织如下。第2节回顾了相关的工作，包括参考多对象跟踪、水面感知数据集和退化场景检测方法。第3.1节介绍了Refer-ASV数据集及其构建过程。第3.2节介绍了提出的RAMOT框架及其关键组成部分。第4节报告了实验设置和评估结果。最后，第5节总结了本文并讨论了未来的研究方向。

2. 相关工作
我们的工作专注于水面RMOT，它位于三个密切相关的研究方向的交叉点，即MOT、RMOT和水中文本驱动的感知。在我们的问题设置中，这些方向是互补的：MOT提供了时间对象定位和关联的基本框架，RMOT引入了语言引导的跟踪范式和基准测试，而水中文本驱动的感知反映了在海洋环境中对语言条件感知日益增长的需求。为了将我们的研究置于这一研究背景中，本节回顾了MOT、RMOT方法和基准测试的相关工作，以及与水面场景相关的文本驱动感知任务的最新进展。

2.1. 多对象跟踪
多对象跟踪（MOT）是一个经典的视觉问题，已经得到了广泛研究。其目标是在视频序列中定位所有感兴趣的对象，同时保持它们随时间的一致性[13]。现有的MOT方法通常可以根据检测和跟踪的组织方式分为两种主要范式：按检测跟踪（TBD）方法[14,15,16]和端到端方法[17,18,19,20]。TBD方法将对象检测和跟踪分开，首先在每一帧中检测对象，然后作为单独的步骤进行数据关联。代表性研究主要通过更健壮的外观建模和数据关联策略来提高跟踪性能[14,15,16]。相比之下，端到端方法在统一的框架内共同优化检测和身份关联，使得子任务之间能够共享特征学习[17,18,19,20]。最近，基于Transformer的方法因其强大的序列建模能力而受到越来越多的关注。代表性工作包括TransCenter[21]、MOTR[22]和STDFormer[23]，它们利用Transformer架构来建模对象查询和时间关联。其中，MOTR[22]已成为许多后续端到端参考多对象跟踪框架的重要基础。

虽然大多数MOT研究关注道路或地面场景，但也有几项工作探索了水面场景。从方法论的角度来看，Sea-IoUTracker[9]引入了针对海洋场景的运动建模和约束机制，以解决海面场景中的严重外观变化和跟踪不稳定问题。VTM-YS[24]结合了时间关联建模和特征增强策略，以减轻复杂海况下小型船舶的频繁丢失和不稳定关联问题。从数据的角度来看，SMD[25]主要针对从岸基平台收集的海洋场景。PoLaRIS[26]和USVTrack[27,28]基于船载数据构建。PoLaRIS包括多种传感模式，如红外，并专注于港口附近的对象跟踪。在[27]中，作者提出了一个集成RGB和毫米波雷达数据的系统，专为内陆水道跟踪设计。[28]的作者涵盖了包括内陆水域和海洋场景在内的多种水面场景。尽管水面MOT研究取得了进展，但这些方法旨在跟踪场景中的所有对象，无法根据用户意图选择性地跟踪具有特定语义属性的对象。

2.2. 参考多对象跟踪
参考多对象跟踪（RMOT）将自然语言指令与基于视频的跟踪相结合[10]。其目标是在场景中持续定位所有参考对象，将跟踪从类别无关的检测转变为语言引导的对象感知。现有的RMOT方法主要通过不同阶段的多模态特征融合来解决视觉-语言不匹配问题，大致可以分为两类：端到端框架和两阶段跟踪-然后参考框架。端到端方法，如TransRMOT[10]、TempRMOT[29]、MGLT[30]和CDRMT[31]，基于MOTR[22]构建，并通过改进统一架构内的多模态融合和时间建模来增强文本引导的跟踪。相比之下，两阶段方法如iKUN[32]将跟踪和语言接地分开，从而实现更加模块化和灵活的设计。

此外，近年来还引入了几种RMOT基准测试。Refer-KITTI[10]和Refer-KITTI-V2[29]扩展了KITTI数据集[33]，增加了语言描述，并专注于道路交通和自动驾驶场景。Refer-Dance[32]基于DanceTrack[34]，针对以人类为中心的活动场景，如舞蹈。GroOT[35]将RMOT扩展到更广泛的陆地自然环境。除了基于地面的基准测试之外，最近还提出了RMOT-SV[36]，用于遥感场景，提供了自上而下的观察视角。尽管取得了这些进展，现有的RMOT基准测试主要针对基于地面或航空的场景，而与ASV导航相关的水面场景中的RMOT仍然研究不足，尽管这对ASV的自主性和人机交互至关重要。

2.3. 水面场景中的文本驱动感知
水面场景中人机交互的重要性的增加激发了最近在这些场景中进行文本驱动感知的研究。WaterVG[37]通过将自然语言提示与多传感器数据（包括摄像头和4D毫米波雷达）结合，将文本输入引入水面感知，通过对象检测和掩码预测在内陆水道场景中实现视觉定位。在这个方向的基础上，NanoMVG [38] 专注于在资源受限的情况下，将视觉定位引用到水面上，通过轻量级的多模态融合统一了相机、雷达和语言信息。作为补充工作，WaterCaption [39] 及其相关的 Da Yu 模型将以文本为中心的感知扩展到水环境中的场景级字幕生成，产生对水道场景的描述性叙述。尽管这些研究推进了在水面环境中的文本驱动感知，但它们仅限于图像级别的定位或字幕生成，并没有对视频中的时间动态进行建模，这与现实世界中自主水面航行（ASV）操作中遇到的连续场景存在差距。

3. 数据与方法
本节介绍了构建的 Refer-ASV 数据集和提出的 RAMOT 框架。我们首先描述了数据集的构建过程及其统计特征，然后介绍了整体方法设计以及为水面 RMOT 开发的关键模块。

3.1. Refer-ASV 数据集
本小节描述了 Refer-ASV 数据集的构建过程，包括数据收集、表达式注释策略和数据集分割协议。我们进一步对 Refer-ASV 进行了统计分析，以提供其特征的直观概述。

3.1.1. 数据收集
由于采集平台的有限可用性、地理覆盖范围的限制、高昂的收集成本以及安全风险，船载水面数据远不如道路交通数据丰富。为了在保持场景多样性的同时降低数据收集成本，我们基于现有的开源 ASV MOT 基准 [27,28] 构建了水面 RMOT 数据集。在数据选择过程中，我们强调了现实世界 ASV 导航场景的多样性，涵盖了多个水域，并包括具有复杂背景、密集物体、多样物体行为和退化成像条件的场景。根据这些标准，我们采用了 [28] 作为主要数据来源。该数据集由船载相机在广泛的内陆和海洋场景中收集，具有高物体密度，小物体占比超过 30%，运动模式复杂，并且包含水雾、表面反射和镜面效应等多种退化因素。然而，以水雾为主的场景相对较少。相比之下，参考文献 [27] 的数据集主要在内陆河流环境中收集，包含大量具有水雾和低光照的退化场景，但场景更加均匀，物体密度较低。为了补充这些条件，我们从 [27] 中选择了序列 21 和 24。总共收集了 29 个序列，包含 10,747 帧图像。跟踪注释遵循 MOT Challenge 格式 [40]，其中每帧包括物体类别标签、边界框和物体身份。

总体而言，当前版本的 Refer-ASV 主要涵盖了白天正常和退化的水面场景，包括水雾、多云、低光照和过度曝光的条件。专门的夜间或极暗环境尚未包含在内，主要是由于船载水面数据的稀缺性和在现实世界 ASV 导航场景中数据收集的难度。

3.1.2. 数据注释和数据集分割
受 [29] 的启发，我们采用了一种高效的注释流程，用高质量的水面场景特定语义丰富了收集到的 MOT 数据。该流程旨在逐步增加表达式的语义丰富度，包括三个阶段：注释描述水面物体属性的基本语义短语、根据预定义的语法规则生成完整表达式，以及使用大型语言模型（LLM）细化和扩展生成的表达式。

(1) 水面物体属性的基本语义短语注释。我们首先注释了描述物体属性的描述性术语。与现有的 RMOT 基准不同，这些基准的表达式通常使用通用的自然场景词汇关注外观、动作和位置，我们的注释融入了水面环境特有的语义和更复杂的交互。具体来说，Refer-ASV 中的基本语义短语分为五类。外观包括细粒度的船只类型（例如鸭船和游艇）、颜色属性（主要颜色和混合颜色）以及相对于其他物体的相对大小。属性描述了与其他物体的交互和水特有的特征（例如站在船上的人和清澈的水面反射）。动作涵盖了一般运动和水特有的行为，例如相互移动、进入港口、抛锚和从桥下通过。环境包括天气和光照条件，例如水雾和强烈的阳光。位置包括一般位置以及水特有的空间描述，例如左侧或右侧、靠近左岸以及在水中央。在注释过程中，我们开发了一个受 [29] 中注释流程启发的交互式标记工具，该工具是为我们的数据集独立实现的。给定一个带有跟踪框注释的视频序列，该工具逐帧显示所有跟踪框。注释者输入一个基本语义短语并选择与描述匹配的物体的开始和结束框。然后工具自动记录指定帧间隔内的所有相应跟踪注释。处理完一个序列后，与基本短语相关联的跟踪注释文件会被保存下来。

(2) 基于语法的表达式生成。在获得基本语义短语及其相应的注释后，我们使用 12 个预定义的模板根据语法规则生成了完整的引用表达式。这些模板是从五个基本模板模式通过不同组合派生出来的。表 1 总结了基本模板，可以灵活组合以生成从简洁描述到由多个语义元素组成的较长表达式的多种变体。对于每个生成的表达式，我们定义了其跟踪标签，即随时间满足该表达式的物体跟踪子集：???(??)=???????=1???(????)，(1) 其中 e 表示一个引用表达式，???? 表示组成 e 的第 k 个基本语义短语，???( ·) 返回给定短语或表达式注释的物体跟踪子集，???? 是表达式中的基本短语数量。此外，在表达式生成过程中，我们保留了少量（5%）不引用任何物体的表达式，以增加负样本的存在。使用预定义的模板，共生成了 922 个基本表达式。表 1. 用于表达式生成的基本模板。

(3) 基于 LLM 的表达式细化和扩展。由固定语法规则生成的表达式往往比较僵化，与自然人类语言不同。为了纠正语法问题并提高语言流畅性，同时保留原始语义，我们使用 Qwen-3 [41] 将每个基本表达式扩展为三种具有不同句子结构但含义一致的变体。这一步细化增加了词汇和句法多样性，而没有改变底层物体语义或跟踪标签。

在半自动注释流程之后，由领域专家进行了多轮手动验证，以确保表达式的流畅性和与物体语义的准确对齐。具体来说，初始注释和最终的全数据集检查由第一作者使用统一的注释标准完成。然后来自相关研究领域的三位领域专家对数据集的不同子集进行了交叉检查，随后交换了这些子集以进行额外验证。结果，Refer-ASV 包含了 2358 个引用表达式。根据 [27,28] 中的数据集分割协议，训练集包含 15 个序列，共 6761 帧图像，而测试集包含 14 个序列，共 3986 帧图像，分别对应 1430 和 928 个表达式。与 MOT Challenge 设置 [40] 类似，测试集包含与训练集中相似的场景以及训练期间完全未见过的场景。图 1 显示了 Refer-ASV 的代表性示例。边界框上显示的数字表示跟踪器分配的物体身份（ID），这表明了同一物体在帧间的时间关联。表 2 总结了提出的 Refer-ASV 数据集的主要统计信息。

3.1.3. 数据集统计
表 3 将 Refer-ASV 与几个代表性的 RMOT 数据集进行了比较。与现有数据集相比，Refer-ASV 专注于水面场景，并包含明确的环境描述和细粒度的类别注释。此外，Refer-ASV 提供了更多的表达式和更丰富的词汇。表 3. Refer-ASV 与代表性 RMOT 数据集的比较。为了更直观地展示数据集特征，图 2 从四个方面总结了 Refer-ASV 的分布。如图 2a 所示，词汇展示了明显的水面特征，频繁提到细粒度类别、颜色属性以及水特有的动作和空间位置描述。图 2b 显示，引用一个或两个物体的表达式占多数，而相当一部分涉及多个物体或密集的物体群体，表明了广泛的引用粒度。图 2c 中表达式长度的分布表明，大多数表达式包含大约 6-7 个单词，而较长表达式的比例也不可忽视，反映了语言复杂性的增加。此外，图 2d 中的时间分布显示，跨越少于 25 帧的表达式占主导，主要是因为某些行为持续时间较短，且数据集包含没有引用物体的表达式。较长的帧跨度也有很好的代表，有相当数量的表达式覆盖了 500 帧以上。总体而言，这些统计信息突出了 Refer-ASV 的语义多样性、引用灵活性、语言变异性和时间覆盖范围。

3.2. 方法
在本小节中，我们介绍了面向水面的 RMOT 方法 RAMOT。我们首先简要回顾了 MOTR [22] 和 TempRMOT [29] 作为预备知识，然后概述了整体架构。在此基础上，我们描述了语义渐进式表达式采样策略和尺度感知的多模态融合机制。然后详细介绍了旨在维护高价值跟踪子集的查询管理策略。

3.2.1. 预备知识
(1) MOTR 是一个基于 Transformer 的端到端 MOT 框架，它在单个网络中统一了物体检测和关联。MOTR 不遵循逐帧检测的范式，而是通过基于查询的公式共同执行物体定位和身份保持。它维护两种类型的查询：用于识别新出现物体的检测查询，以及表示完整跟踪子集的跟踪查询。后者在帧间传播和更新。为了支持稳定的跨帧关联，MOTR 采用了跟踪子集感知的标签分配和时间特征聚合，使得无需依赖额外的关联步骤即可进行时间建模。

(2) TempRMOT 是建立在 MOTR 之上的端到端 RMOT 框架。它引入了一个时间增强模块（Temp.Enhance）来提高物体查询的时间稳定性。具体来说，TempRMOT 维护了一个查询内存，用于存储每个物体的最近查询特征。在当前帧中，物体查询通过时间解码器中的跨帧注意力与其历史表示进行交互，其中应用了时间位置编码来模拟连续运动和短期历史。增强的查询随后参与当前帧内的物体级交互，并用于预测跟踪结果的残差更新。通过明确结合短期时间信息，TempRMOT 在遮挡、快速运动和外观相似性等具有挑战性的条件下提高了跟踪稳定性。

3.2.2. 概述
我们的目标是开发一个适用于复杂场景条件下的端到端水面 RMOT 跟踪器。为此，我们提出了 RAMOT，其整体框架如图 3 所示。形式上，给定一个视频序列 ?? ={????}????=1 和一个引用表达式 e，RAMOT 的逐帧推理过程可以写为 ^????,????+1=?????(????,??,????),??=1,…,??, (2) 其中 ???? 表示第 t 帧的查询集，包括检测查询和跟踪查询，^???? 表示第 t 帧的预测结果，????+1 表示传播到下一帧的更新查询。图 3. RAMOT 的整体架构。在训练期间，OMBS 用于表达式采样，而在推理期间，VOQM 管理跟踪查询并生成下一帧的查询。具体来说，RAMOT 遵循 MOTR 的基于 Transformer 的跟踪框架，并结合了三个专用组件：一个更多船只采样（OMBS）策略、尺度语义感知融合模块（SAFM）和价值感知物体查询管理（VOQM）。这些组件分别在训练、特征表示和推理阶段增强了视觉-语言对齐。以两个连续帧 ???? 和 ????+1 作为示例输入，在训练期间，OMBS 生成自然语言表达式，而在测试期间，从测试集中随机采样表达式。CNN 主干网络 ResNet50 [42] 提取多尺度视觉特征 ??????,?? ∈{1…??}，其中 l 表示尺度索引，L 是尺度总数。同时，一个冻结的文本编码器 RoBERTa [43] 从输入表达式中提取引用特征 ????。视觉特征和参考特征随后通过SAFM自适应融合，生成融合表示^??????，这些表示被输入到Deformable DETR [44]的编码器中。编码器的输出与当前帧的查询集????一起被传递给解码器，查询集????包括检测查询和跟踪查询。解码器的输出通过Refer Head处理以产生初始预测。Refer Head采用多分支设计，包括用于边界框回归的框分支、用于空对象识别的类别分支以及用于确定对象是否与输入表达匹配的参考分支。所有分支都使用多层感知器（MLPs）实现。最后，解码器的输出和初始预测通过Temp.Enhance模块进行细化，该模块采用记忆机制来提高时间一致性和捕捉对象运动模式，在训练期间生成更新后的查询????+1，在推理期间生成最终预测。此外，在推理阶段，VOQM选择性地恢复缺失但高价值的对象，以补充Temp.Enhance模块的输出，生成用于推理的更新后查询????+1，并产生最终的轨迹预测。

3.2.3. One-More-Boat样本策略
在RMOT训练期间，参考表达式决定了每次迭代中有多少对象轨迹提供监督。大多数现有的RMOT方法采用随机表达式采样，在整个训练过程中将不同语义复杂度的表达式视为同样适用。然而，在水面场景中，RMOT表达式通常涉及对象类别、运动状态和轨迹上下文之间的细粒度语义区别。这主要是由于对象规模小、具有细粒度类别的船只之间的视觉相似度高、运动约束弱以及频繁的对象-环境交互。第3.1.3节中的统计进一步证实了表达式复杂性的显著多样性。此外，由于水面场景在预训练数据集中几乎不存在，模型在训练初期表现出有限的区分能力。因此，过早引入语义复杂的表达式会导致监督稀疏且不可靠，从而导致跨模态对齐和优化不稳定。为了解决这些问题，我们提出了OMBS策略，通过控制参考表达式的语义粒度来稳定早期训练。在Refer-ASV中，完整的参考表达式通常结合了多个语义短语，而OMBS中使用的辅助表达式仅保留类别级别的短语，因此包含较少的语义信息。图4展示了OMBS与MOT中的采样策略以及现有RMOT方法中使用的采样策略之间的比较。与对所有表达式进行均匀采样不同，OMBS根据语义复杂性以课程式的方式组织语言监督。在训练初期，优先引入歧义较低且语义组成有限的表达式。这种设计降低了优化难度，并抑制了噪声监督，使模型能够建立稳定的视觉-语言对齐。随着训练的进行，逐渐引入粒度更细且语义组成更复杂的表达式。通过明确塑造训练过程中参考表达式的分布，OMBS将课程学习[12]引入语言监督过程。

3.2.4. 规模-语义感知融合模块
在现有的RMOT框架中，视觉-语言对齐通常是在多尺度视觉特征上进行的。然而，不同尺度的视觉特征在不同层次上编码语义，因此扮演着不同的角色[45]。高分辨率特征强调细小的结构细节，对于准确定位小对象至关重要，而低分辨率特征主要捕捉更抽象的语义，如对象类别和上下文信息。大多数RMOT方法将共享的语言特征与所有尺度的视觉特征对齐，隐含地将语言语义视为与尺度无关的。在水面场景中，小对象普遍存在，并且经常由细粒度的语义属性描述，这种统一的对齐可能导致语言线索和跨尺度视觉表示之间的不匹配。为了解决这个问题，我们提出了SAFM模块，它通过条件性地调整每个尺度上的语言特征与视觉上下文来进行特定于尺度的语言-视觉对齐。其结构如图3的右侧部分所示。对于第l个尺度上的视觉特征??????，我们首先通过全局平均池化提取全局语义信息。然后将池化后的表示输入到两个轻量级MLP中，以生成尺度依赖的调制参数（????,????）：(????,????)=MLP?(AvgPool?(??????))，??∈{1,…,??}。这些参数用于调制文本编码器产生的语言特征????，得到尺度条件化的语言特征??????：??????=????⊙????+????。然后通过多头交叉注意力将条件化的语言特征与每个尺度上的相应视觉特征融合，生成特定于尺度的多模态表示^??????：??=Proj?(??????+????)，??=Proj?(??????+????)，??=??????，^??????=??????+???????√?????。这里，Proj表示由MLP实现的线性投影，????和????分别是视觉和文本特征的位置编码[46,47]，d是????????表示的特征维度。

3.2.5. 价值感知对象查询管理
在推理期间，现有的端到端RMOT方法通常遵循从MOTR继承的固定查询管理策略。在这种策略中，查询激活和维护由检测置信度和参考置信度共同决定，使用固定阈值来决定是否初始化新轨迹、保留现有轨迹或终止轨迹。这种基于阈值的策略在语义清晰的设置中有效，例如具有预定义对象类别的MOT或在有利成像条件下的RMOT。然而，水面场景通常涉及很大的不确定性，在这种情况下，检测置信度和参考置信度可能会不一致。这种不一致在复杂运动开始时或在成像条件恶化时（如雾和水花）尤为明显。例如，在复杂动作的早期阶段，一个对象可能表现出高检测置信度，而其参考语义尚未充分建立，导致参考置信度较低（图5a）。相反，在成像条件恶化时，一个对象可能保持高参考置信度，而检测置信度暂时被抑制（图5b）。在这些情况下，现有的查询管理策略可能会过早地丢弃潜在有效且关键的对象查询。

图5. 在具有挑战性的水面场景下模糊查询激活的示例。红色框表示真实值，其他颜色的框表示预测结果。每个预测框上方的值表示对象ID、检测置信度和参考置信度。为了解决这个问题，我们提出了VOQM，它引入了一种基于短期窗口的重新评估机制，暂时缓冲并重新评估满足互补置信条件的对象查询。具体来说，我们构建了一个辅助表达式集??extra，其中只包含水面对象的类别级别描述，如“the boats”、“the yachts”和“the buoys”。其中，“the boats”作为一个通用的船只类别，涵盖了所有船只实例，并在训练初期提供更密集的监督。在训练过程中，从??extra中以时间变化的概率???(??)采样表达式，从原始表达式集??origin中以概率1 ????(??)采样表达式。OMBS过程表示为??～{??extra,with?prob.????(??)=max?(0,???0???Δ·??),??origin,with?prob.?1????(??)，其中??0表示初始采样概率，Δ是控制概率衰减的周期间隔，??是衰减步长。随着训练的进行，采样逐渐转向??origin，使模型接触到越来越具体和语义复杂的表达式，从而实现从粗粒度语义对齐到细粒度参考理解的过渡。

3.2.4. 规模-语义感知融合模块
在现有的RMOT框架中，视觉-语言对齐通常是在多尺度视觉特征上进行的。然而，不同尺度的视觉特征在不同层次上编码语义，因此扮演着不同的角色[45]。高分辨率特征强调细小的结构细节，对于准确定位小对象至关重要，而低分辨率特征主要捕捉更抽象的语义，如对象类别和上下文信息。大多数RMOT方法将共享的语言特征与所有尺度的视觉特征对齐，隐含地将语言语义视为与尺度无关的。在水面场景中，小对象普遍存在，并且经常由细粒度的语义属性描述，这种统一的对齐可能导致语言线索和跨尺度视觉表示之间的不匹配。为了解决这个问题，我们提出了SAFM模块，它通过条件性地调整每个尺度上的语言特征与视觉上下文来进行特定于尺度的语言-视觉对齐。其结构如图3的右侧部分所示。对于第l个尺度上的视觉特征??????，我们首先通过全局平均池化提取全局语义信息。然后将池化后的表示输入到两个轻量级MLP中，以生成尺度依赖的调制参数（????,????）：(????,????)=MLP?(AvgPool?(??????))，??∈{1,…,??}。这些参数用于调制文本编码器产生的语言特征????，得到尺度条件化的语言特征??????：??????=????⊙????+????。然后通过多头交叉注意力将条件化的语言特征与每个尺度上的相应视觉特征融合，生成特定于尺度的多模态表示^??????：??=Proj?(??????+????)，??=Proj?(??????+????)，??=??????，^??????=??????+???????√?????。这里，Proj表示由MLP实现的线性投影，????和????分别是视觉和文本特征的位置编码[46,47]，d是????????表示的特征维度。

3.2.5. 价值感知对象查询管理
在推理期间，现有的端到端RMOT方法通常遵循从MOTR继承的固定查询管理策略。在这种策略中，查询激活和维护由检测置信度和参考置信度共同决定，使用固定阈值来决定是初始化新轨迹、保留现有轨迹还是终止轨迹。这种基于阈值的策略在语义清晰的设置中有效，例如具有预定义对象类别的MOT或在有利成像条件下的RMOT。然而，水面场景通常涉及很大的不确定性，在这种情况下，检测置信度和参考置信度可能会不一致。这种不一致在复杂运动开始时或在成像条件恶化时（如雾和水花）尤为明显。例如，在复杂动作的早期阶段，一个对象可能表现出高检测置信度，而其参考语义尚未充分建立，导致参考置信度较低（图5a）。相反，在成像条件恶化时，一个对象可能保持高参考置信度，而检测置信度暂时被抑制（图5b）。在这些情况下，现有的查询管理策略可能会过早地丢弃潜在有效且关键的对象查询。

图5. 在具有挑战性的水面场景下模糊查询激活的示例。红色框表示真实值，其他颜色的框表示预测结果。每个预测框上方的值表示对象ID、检测置信度和参考置信度。为了解决这个问题，我们提出了VOQM，它引入了一种基于短期窗口的重新评估机制，暂时缓冲并重新评估满足互补置信条件的对象查询。具体来说，如果一个对象满足以下任一条件：(1) 检测置信度 >??+?? 且参考置信度 >?????（条件1），或 (2) 参考置信度 >??+?? 且检测置信度 >?????（条件2），则相应的查询将被放入预激活池并在短时间内重新评估。阈值根据检测置信度和参考分数的分布确定，选择它们以在查询过滤期间平衡假阳性和假阴性。形式上，让??????,?? 和 ??????,?? 分别表示第t帧的第i个查询的检测置信度和参考置信度。预激活条件可以表示为??????∈?????(??????,??>??+??∧??????,??>?????)∨(??????,??>??+??∧??????,??>?????)，其中????表示第t帧的预激活池。只有当查询在连续帧中保持稳定时，才会被激活为有效轨迹，表示为??????∈???????????∈????∧???????1∈?????1，其中????表示第t帧的激活查询集。通过在视觉或语义线索暂时不可靠时推迟不可逆的激活决策，VOQM降低了在具有挑战性条件下错过高价值对象的风险。

4. 结果
在本节中，我们报告了实验结果，分析了水面RMOT的特性，并评估了所提出的基线方法RAMOT的有效性。我们首先介绍了用于评估的数据集和评估指标，然后介绍了实现细节。接着，我们在构建的Refer-ASV数据集上对公开可用的RMOT方法进行了基准测试，并在Refer-KITTI [10]上评估了跨场景泛化能力。然后进行了消融研究，以分析各个组件的贡献。最后，还可视化了代表性预测结果，以便进行定性分析。

4.1. 数据集和指标
(1) 数据集。为了评估性能和跨场景泛化，我们在Refer-ASV和Refer-KITTI上进行了实验。Refer-ASV是本工作中提出的数据集，专注于水面导航场景中的多对象跟踪。Refer-KITTI源自KITTI数据集[33]，专注于从车载摄像头捕获的地面级驾驶场景。它包含18个视频序列，其中标注了818个参考表达式，这些表达式使用外观、空间位置和运动线索来描述车辆或行人。
(2) 评估指标。我们采用了高阶跟踪精度（HOTA）[48]作为整体跟踪性能的主要评估指标。HOTA是一个统一的指标，它同时评估检测质量和关联质量，提供了比早期指标（如MOTA [49]或IDF1 [50]）更平衡的评估。它是基于在不同定位阈值??下计算的检测分数和关联分数定义的：HOTA??=√DetA??·AssA??，其中DetA??和AssA??分别表示阈值??下的检测精度和关联精度。检测精度DetA??通过考虑真正例（TP）、假正例（FP）和假负例（FN）来衡量预测和真实值检测之间的一致性：DetA??=|TP??||TP???|+|?FP???|+|?FN??|。关联精度AssA??评估匹配检测的身份一致性，定义为AssA??=AssRe??·AssPr??AssRe??+AssPr???AssRe??·AssPr??。实际上，HOTA是在一系列定位阈值上平均得到的，以获得单一的整体跟踪分数。通过同时考虑检测精度和身份关联，HOTA提供了对定位质量和身份一致性随时间的全面评估。

4.2. 实现细节
在训练期间，Refer Head的卷积主干网络、编码器、解码器以及检测和分类分支都使用Deformable DETR [44]的官方预训练权重进行初始化。文本编码器采用了官方的RoBERTa [43]实现和预训练权重，并在整个训练过程中保持不变，遵循现有的基于MOTR的RMOT框架。所有其他参数都是随机初始化的。我们采用了MOTR中的多分支数据增强策略，包括多尺度调整大小和裁剪，然后进行归一化。时间建模使用了五帧的剪辑长度和一步的步长的剪辑采样策略，遵循基于MOTR的跟踪框架的默认配置。在推理期间，仅应用了标准调整大小和归一化。训练遵循[29]中的损失公式，端到端地优化分类损失（焦点损失[51]）、边界框回归损失（L1和GIoU [52]）和参考损失（焦点损失）。模型使用Adam优化器进行了60个周期的训练，主干网络的初始学习率为1 ×10?5，其他所有参数的学习率为1 ×10?4。在第40个周期时，学习率衰减了10倍，并随后使用StepLR策略进行调度。OMBS仅在训练期间应用，初始采样概率??0设置为0.2，衰减间隔Δ和衰减步长??都设置为五。VOQM仅在推理期间应用，?? +??、?? ???、?? +??和?? ???分别设置为0.8、0.3、0.7和0.5。所有实验都在四个NVIDIA RTX 3090 GPU上进行，每个GPU的批量大小为一个。所有实验都使用相同的训练和评估设置，以确保公平比较和可重复性。表4总结了本工作中使用的主要软件和硬件环境。

4.3. 与最先进技术的比较
在本小节中，我们在Refer-ASV上对代表性的RMOT方法进行了基准测试，包括公开可用的方法和我们的方法。我们进一步评估了我们的方法对其他场景的泛化能力。具体来说，我们介绍了所评估的方法，并在Refer-ASV和Refer-KITTI上报告了定量结果。4.3.1 评估方法

下面总结了所评估的方法。为了公平比较，所有公开可用的模型都在Refer-ASV上使用其官方实现中的设置进行了训练和测试。我们专注于专门的RMOT方法，而不是通过简单的早期视觉-语言融合来调整水面MOT基线（例如Sea-IoU Tracker和VTM-YS），因为之前的基准测试表明，专门的RMOT架构在指代任务上始终优于这些调整后的基线[10]。DeepRMOT [53]和CDRMT [31]不是公开可用的；因此，我们直接报告了它们在Refer-KITTI上的结果，如原始论文中提供的那样。

iKUN [32]：一个两阶段的RMOT框架，通过一个可插入的知识统一模块将跟踪和语言定位解耦，使得使用现成的跟踪器进行指代跟踪成为可能。

TransRMOT [10]：第一个端到端的基于Transformer的RMOT框架，它将早期视觉-语言融合与解耦的检测和跟踪查询集成在一起，以跟踪自然语言表达所指向的对象。

TempRMOT [29]：一个基于查询的时间增强框架，通过记忆机制聚合历史查询特征，以提高时间建模和关联的鲁棒性。

MGLT [30]：一个多粒度定位Transformer，通过引导文本感知的跟踪查询并强制密集的跟踪提示对齐来减轻语言线索的衰减，从而实现指代定位和关联。

DeepRMOT：一个深度跨模态融合框架，结合了早期融合、双向视觉-语言编码和跨模态解码，以增强视觉-语言表示，用于检测和关联。

CDRMT：一个基于对比的RMOT框架，通过跨模态对比约束共同优化视觉-语言表示学习和数据关联，以提高在语义模糊性下的鲁棒性。4.3.2 在Refer-ASV数据集上的评估

表5报告了几个公开可用的RMOT方法与我们的方法在Refer-ASV上的性能比较。RAMOT获得了39.97的HOTA分数，在所有评估方法中排名第一。它分别比TransRMOT、TempRMOT和MGLT高出6.58（19.7%）、3.76（10.38%）和3.79（10.48%）。与iKUN相比，RAMOT获得了更大的HOTA增益，为11.62（40.99%），这表明两阶段框架不太适合复杂的水面场景。此外，RAMOT在HOTA的两个主要组成部分DetA和AssA上也取得了最佳性能，得分分别为23.55和70.48。在Refer-ASV中，对象通常规模较小，船只外观高度相似，具有细粒度的类别区分，而且场景经常受到水反射、波浪和光照变化的影响。这些因素共同增加了对象检测和轨迹关联的难度。与表6中的道路交通场景的相同方向比较进一步反映了Refer-ASV的挑战性。表5. 不同RMOT方法在Refer-ASV上的总体评估结果。所有值都在百分号（%）之前报告。每列中最好的结果以粗体显示，第二好的结果则下划线标出。表6. RAMOT与几种最先进的RMOT方法在Refer-KITTI上的跟踪性能比较。每列中最好的结果以粗体显示。具体来说，不同方法在水面场景中表现出不同的失败模式。TransRMOT保持了相对较高的精度相关分数，但其DetA和AssA明显较低，表明在运动开始时或成像条件较差时经常错过检测或过早终止跟踪。TempRMOT和MGLT通过引入时间建模或语言感知设计改善了AssA；然而，它们的DetA仍然有限，反映出在识别小规模和低对比度水面对象方面的能力不足。相比之下，RAMOT在DetA和AssA上都取得了持续的改进，表明在复杂的水面条件下成功检测并持续跟踪了更多的对象，从而提高了整体HOTA性能。

为了进一步检验在不同水面条件下的鲁棒性，我们还在Refer-ASV上报告了按条件划分的结果。表7展示了在四种环境条件（包括晴天、多云、雾天和强光场景）下的跟踪性能。RAMOT在所有设置中都获得了最佳的HOTA。在具有挑战性的场景中，这种改进更为明显。在雾天场景中，RAMOT的HOTA从20.74提高到了23.44，相比TempRMOT有所提升。在强光场景中，改进幅度从24.19提高到了28.52。这些结果表明，所提出的方法在能见度降低或光照不稳定时仍然更加稳定。RAMOT在晴天和多云场景中也显示出持续的改进，表明这种改进不限于特定的环境条件。表7. 在不同环境条件下Refer-ASV的HOTA比较。每列中最好的结果以粗体显示。4.3.3 泛化分析

为了进一步评估RAMOT的泛化能力，我们在Refer-KITTI上进行了实验，如表6所报告的。所有方法在Refer-KITTI上的性能都显著高于在Refer-ASV上的性能，这反映了RMOT在道路场景设置中的难度相对较低。在该数据集上，RAMOT获得了52.94的HOTA、40.98的DetA和68.65的AssA，取得了最佳的整体性能。与Refer-ASV相比，RAMOT在Refer-KITTI上的相对性能提升较为有限，这可能归因于数据集特征的差异。直接在一个数据集上训练而在另一个数据集上测试的迁移设置无法清晰地隔离场景域的差异，因为Refer-KITTI和Refer-ASV不仅在场景特征上有所不同，而且在对象类别和表达语义上也存在差异。首先，Refer-KITTI只包含两个对象类别，即车辆和行人，导致指代表达的语义复杂性和模糊性较低。这限制了OMBS和VOQM的潜在优势，因为它们旨在处理复杂和不确定的语言监督。其次，道路场景展示的对象规模范围更窄，运动模式也更受限制，这减少了SAFM的优势。尽管有这些因素，RAMOT在DetA和AssA上仍然取得了持续的改进，表明在复杂的水面条件下成功检测并持续跟踪了更多的对象，从而提高了整体HOTA性能。

4.4 消融研究

在本小节中，我们分析了RAMOT中每个组件在Refer-ASV上的贡献，并彻底检验了不同设置的影响。4.4.1 提出组件的消融

为了验证RAMOT中各个组件的有效性，我们在Refer-ASV测试集上进行了消融研究，如表8所报告的。没有OMBS、SAFM或VOQM的基线模型获得了37.95的HOTA，DetA和AssA分别为21.79和68.42。单独引入OMBS使HOTA提高到38.34，主要是由于DetA提高了0.70，而AssA略有下降。这表明基于课程的表达采样有助于模型在早期训练期间检测到更多相关的对象，但单独使用时对轨迹关联的帮助有限。当单独应用SAFM时，HOTA上升到38.57，DetA提高到22.55，而AssA几乎没有变化，表明尺度感知的语义对齐主要有利于对象定位。当OMBS和SAFM共同应用时，HOTA进一步增加到39.23，DetA和AssA分别达到23.08和69.43。这一结果表明，稳定的语言监督和尺度感知的特征对齐是互补的，有助于对象定位和身份维护。最后，结合所有三个组件（OMBS、SAFM和VOQM）获得了最佳的整体性能，HOTA提高到39.97，DetA和AssA分别达到23.55和70.48。值得注意的是，AssA的增益最大，表明在复杂的水面成像条件下，短期缓冲和查询重新检查可以恢复缺失但关键的对象，从而减少了由于置信信号不稳定导致的缺失轨迹片段。表8. 提出组件的消融实验结果。所有值都在百分号（%）之前报告。每列中最好的结果以粗体显示。为了进一步检验所提出模块的效率，我们还在表9中报告了不同组件设置的计算成本、推理速度和跟踪性能。与基础模型相比，添加SAFM使总参数数量从174.51 M增加到175.04 M，而可训练参数从49.64 M增加到50.17 M。同时，FLOPs仅从237.61 G增加到237.62 G，FPS略微从12.78降低到12.51。作为回报，HOTA从38.34提高到39.23。在进一步添加VOQM后，计算成本保持不变，速度稳定在12.56 FPS，而HOTA进一步提高到39.97。结果表明，所提出的模块仅以边际额外的成本提高了跟踪精度。值得注意的是，现有的端到端RMOT框架已经包括了多尺度特征和跨注意力操作。SAFM没有引入新的重型多尺度融合分支，而只是添加了轻量级的MLP层来生成尺度依赖的调制参数。因此，SAFM的额外开销是有限的。此外，ASV场景通常涉及比道路场景更平滑的短期目标运动，所以当前的推理速度仍然适合我们的在线使用。表9. 不同组件设置的计算成本和推理速度。基础表示仅应用了OMBS。括号中的数字表示可训练参数的数量。为了更好地理解SAFM如何影响跨尺度的定位，我们在图6中提供了按尺度划分的激活可视化。展示了两个代表性示例。在每个示例中，我们比较了没有SAFM和有SAFM时的特征响应，在两个代表性尺度1/16和1/64上。引入SAFM后，围绕被指代对象的响应变得更加集中。对于小对象，这种效果尤为明显。在图6a中，SAFM增强了1/16尺度上小对象的响应，并增强了1/64尺度上相对较大被指代对象的响应。在图6b中，两个尺度上的小被指代对象的响应都得到了增强。这些结果支持SAFM改善了特定尺度的视觉-语言对齐，并有利于水面RMOT中的对象定位。图6. SAFM的按尺度划分的激活可视化。红色圆圈突出显示了响应差异明显的区域。绿色框表示真实对象。放大观看效果最佳。4.4.2 OMBS的消融

在本小节中，我们研究了OMBS的效果，并分析了不同参数设置的影响。图7显示了第一个训练周期中采样实例中轨迹片段数量的分布。引入OMBS增加了早期阶段被采样表达覆盖的轨迹片段数量，其中包含六个或更多轨迹片段的样本比例明显增加。这是因为OMBS在早期训练期间引入了语义粒度较低的清晰表达，通常对应于一组更大的轨迹片段。通过重塑采样表达的分布，OMBS在训练开始时提供了更密集和更稳定的监督。图7. 第一个训练周期中采样实例中轨迹片段数量的分布。“w/o OMBS”表示现有RMOT方法中使用的采样策略，“w/ OMBS”表示OMBS策略。表10报告了在不同OMBS参数设置下Refer-ASV的消融结果。当??0 =0.2、Δ =5和?? =5时，模型获得了最佳性能，HOTA、DetA和AssA分别达到39.97、23.55和70.48。当衰减过快时，例如Δ =1和?? =1，采样概率迅速从??extra转移到??origin，导致模型在早期遇到更多语义复杂的表达。在水面场景中，由于预训练的先验有限，这会导致稀疏和不稳定的监督，从而导致DetA和AssA显著下降。相反，当衰减过慢时，例如Δ =20或Δ =30，DetA显著下降，表明长时间依赖粗略表达会妨碍细粒度语义的学习。表10. OMBS不同设置的消融。每列中最好的结果以粗体显示。初始采样概率??0的效果进一步突出了平衡语义监督的重要性。当??0 =0.1时，HOTA下降到36.41，因为来自??extra的早期监督不足，模型被迫在稳定的视觉-语言对齐建立之前处理语义复杂的表达。当Δ和??固定时，增加??0在早期训练阶段加强了密集的监督，但减少了暴露于细粒度表达的概率和持续时间（第2行和第5行）。所有这些观察结果表明，OMBS从适度的初始采样概率和逐渐的衰减计划中受益，这有助于从粗粒度语义对齐平滑过渡到细粒度指代理解，从而提高了整体跟踪性能。4.4.3 VOQM的消融

在本小节中，我们分析了VOQM对Refer-ASV的影响。表11检验了不同VOQM配置的影响，而表12和表13报告了在不同参数设置下的消融结果。根据现有端到端RMOT方法[10,29,30]中采用的阈值设置，初始对象过滤使用了0.6的检测阈值和0.4的参考阈值。当启用VOQM时，在初始过滤之后会应用一个额外的重新检查步骤，包括HDLR和HRLD机制。表11展示了不同VOQM配置的消融结果，每列中最佳结果以粗体标出。表12展示了不同HDLR设置的消融研究，最佳结果同样以粗体标出。表13展示了不同HRLD设置的消融研究，最佳结果同样以粗体标出。

（1）不同VOQM配置的影响。如表11所示，不启用VOQM时，模型的HOTA为39.23，DetA和AssA分别为23.08和69.43，这仅依赖于初始对象过滤策略。启用HDLR后，重新评估了检测置信度高但参考置信度低的对象，HOTA提升到39.56，AssA提升到70.14。这表明在复杂动作的早期阶段或参考语义尚未稳定时，可以保留有可靠视觉证据支持的对象。当启用HRLD后，重新评估了参考置信度高但检测置信度低的对象，HOTA进一步上升到39.87，AssA上升到70.75。这表明在成像条件较差的情况下（如反射和水雾），可以恢复语义一致性强但检测置信度暂时被抑制的对象。当同时应用HDLR和HRLD时，模型取得了最佳的整体性能，HOTA、DetA和AssA分别达到39.97、23.55和70.48。这一结果表明，这两种重新评估机制是互补的，共同缓解了水面场景中由于短期置信度不匹配导致的跟踪丢失问题。

（2）不同VOQM参数设置的分析。表12报告了在不同HDLR参数设置下的消融结果。HDLR重新评估了检测置信度高但参考置信度低的对象，这种情况通常发生在需要长期语义确认的复杂动作的早期阶段。当?? +??设置为初始检测阈值（0.6）时，只有????? =0.3生效，与不使用HDLR的情况相比，改进效果有限。在?? ???固定的情况下，将?? +??增加到0.8可以将HOTA从39.47提高到39.56，AssA从69.97提高到70.14。这表明当语义线索不稳定时，依赖更可靠的视觉证据是有益的，而较低的检测阈值可能会导致定位不准确的对象和增加误报。在?? +??固定的情况下，将?? ???降低到0.2会导致HOTA和AssA都下降，因为引入了语义高度模糊的对象，降低了关联质量。相比之下，适度的?? ???允许参考置信度的暂时波动，从而实现更稳健的跟踪。

表13展示了在不同HRLD参数设置下的消融结果。HRLD重新评估了检测置信度高但参考置信度低的对象，这种情况在水面反射、水雾和强光照等成像条件较差的情况下经常发生。如表所示，较高的?? +??有助于保留与参考语义高度一致的对象。将?? ???设置为略低于初始检测阈值（0.6）可以在避免极低检测置信度的候选对象的同时，恢复高价值对象。实际上，设置??+?? =0.7和????? =0.5可以有效恢复因短期检测退化而中断的轨迹，从而提高整体跟踪性能。这些结果提供了实证证据，表明短期重新评估是受限制的，而不是自我强化的：放宽重新检查阈值并不会带来持续的改进，反而可能引入模糊的查询并降低跟踪质量。

4.5 可视化
图8展示了RAMOT在Refer-ASV测试集上的代表性跟踪结果。案例（a）、（b）和（c）展示了在不同挑战性条件下的成功案例。在（a）中，参考表达在语义上较为复杂，涉及颜色属性、相对于本船航向的动作以及不精确的相对位置。这个案例需要准确理解复合语义，并包括多尺度对象和部分遮挡。案例（b）关注外观高度相似的细粒度类别，所有被引用的对象都是小型白色船只。案例（c）涉及细粒度类别和其他对象的交互行为。图8展示了RAMOT在Refer-ASV测试集上的代表性跟踪结果。不同颜色的框表示不同的轨迹。（a–c）展示了成功案例，（d）展示了一个失败案例，其中浮标在真实标签中用红色虚线轮廓标出。案例（d）展示了一个失败案例，其中表达中描述的交互对象是极小的浮标，模型未能一致地跟踪它们。总体而言，这些结果表明所提出的方法实现了有效的视觉-语言对齐，并能够可靠地跟踪由自然语言表达指定的细粒度、语义复杂和多尺度的对象。然而，涉及极小对象的交互仍然具有挑战性，这突显了水面RMOT仍然是一个具有挑战性的问题，需要进一步研究。

5. 结论
本研究探讨了水面场景中的RMOT用于ASV导航。与道路场景不同，水面环境的特点是反射、光照变化、小对象规模以及对象运动的弱约束。这些因素不仅影响视觉跟踪，还影响对象的描述和引用方式，使得水面RMOT与现有基准不同。为了在真实环境中研究这个问题，我们基于真实的ASV导航视频构建了Refer-ASV数据集。该数据集强调了细粒度的船只类别、特定于水的行为以及在实际操作中频繁出现的环境相关表达。基于这个基准，我们引入了RAMOT作为端到端的基线，以实现一致的评估。跨不同场景的实验结果表明，解决这些挑战对于在水面环境中实现可靠的语言引导跟踪非常重要。我们期望Refer-ASV能够作为未来RMOT研究的有用测试平台，并促进与真实世界水面导航更匹配的方法的发展。尽管有这些贡献，但由于船载数据的稀缺性和数据收集的高成本，构建这样的基准仍然具有挑战性，这也限制了某些条件（如夜间或极暗场景）的覆盖范围。在未来的工作中，我们计划将数据集扩展到更多多样的环境和成像条件，并探索针对极小对象、复杂交互和多模态水面感知场景的更稳健的跟踪方法。