基于轻量级提示学习的模态缺失RGBT跟踪

《Neurocomputing》：Modality-missing RGBT tracking via lightweight prompt learning

　　

摘要：模态缺失仍然是现实应用中 RGBT 多模态跟踪训练和测试阶段的一个普遍挑战。现有的优秀方法要么主要依赖完整数据集，要么仅在推理阶段处理模态缺失场景。此外，完全微调基于 Transformer 的模型会带来相当大的计算开销，这阻碍了它们的实际部署。为了解决这些局限性，我们提出了缺失模态提示（MMP）跟踪器，一种轻量级的提示学习 Transformer 模型，旨在解决 RGBT 跟踪中训练和测试阶段的模态缺失问题。MMP 跟踪器由双分支 Transformer 骨干网络和缺失模态提示模块组成。骨干网络从不完整的多模态输入中提取判别性特征，而提示模块则使冻结的预训练模型动态适应各种模态缺失挑战。具体而言，我们的提示设计包含两个组件：1）令牌级提示，用于从输入中提示各种模态缺失情况；2）仅由两个线性层组成的模态级提示，通过连接双分支，推进可用模态与缺失模态之间的相互互补信息。它们作为统一架构运行，以稳健地处理模态缺失情况。我们提出的方法为 RGBT 多模态跟踪中的模态缺失提供了一种无重建范式。大量实验证明了该方法的有效性。与最先进的方法相比，MMP 跟踪器在不到 1% 的可训练参数下，以 110 fps 的速度运行，在各种模态缺失场景下取得了卓越的性能。代码将在以下地址公开：https://github.com/ws/MMP.

引言 RGBT 跟踪已成为计算机视觉领域的一个突出研究焦点，广泛应用于监控与安全 [1]、自动驾驶汽车 [2] 和机器人技术 [3]。近年来，借助强大的 Transformer 模型 [4] 和规模扩大的多模态数据集 [5], [6], [7], [8], [9], [10]，RGBT 跟踪取得了令人印象深刻的进展。如图 1(a) 所示，众多最先进的方法 [11], [12], [13], [14], [15], [16], [17], [18] 在 RGBT 跟踪中取得了优异的性能。然而，完全微调基于 Transformer 的模型通常需要大量的 GPU 资源，并给计算带来沉重负担。

受自然语言处理（NLP）任务 [20], [21], [22] 和计算机视觉社区 [23], [24], [25], [26] 中提示学习成功的启发，近期方法 [27], [28], [29], [30], [31] 将提示学习引入 Transformer，以适应大型预训练模型用于下游任务，如图 1(b) 所示。它们通过继承基础模型的潜力，在降低计算成本的同时获得了具有竞争力的性能。

尽管它们有效，但所有这些方法通常依赖于实验中对数据完整性的先验假设，忽略了实际场景中的模态缺失问题。在现实应用中，由于极端气候、数据采集和 数据传输错误等因素，RGBT 跟踪经常遇到模态缺失的情况。因此，缺失模态数据是普遍且常见的，而全模态数据则不频繁且获取成本高昂。

针对 RGBT 跟踪中的这一挑战，IPL [19] 首次探索了两阶段训练框架内的模态缺失问题，其中测试数据遇到模态缺失情况，而训练数据保持完整，如图 1(c) 所示。相反，随后的工作 FlexTrack [32] 采用了相反的策略。它利用模态缺失数据训练跟踪器稳定性，同时保持测试数据完整。IPL [19] 通过设计 15 种手工设计的模式来模拟现实世界中复杂的缺失场景，包括五种模态缺失模式与三种缺失比例的组合。然后构建模态缺失数据集。然而，这些预定义的模式带来了很多先验知识。并且这些有限且固定的模态缺失模式不够丰富，缺乏随机灵活性，未能反映现实世界模态缺失的复杂性。

因此，受 [33] 启发，我们提出了缺失模态提示（MMP）跟踪器，一种简单的提示学习 Transformer 模型，用于解决 RGBT 多模态跟踪中训练和测试期间的模态缺失挑战。MMP 跟踪器由三个主要组件组成：双分支 Transformer 骨干网络、预测头和缺失模态提示模块。提示模块使预训练 Transformer 适应各种模态缺失场景。骨干网络从不同输入模态的图像对中提取判别性特征，这些图像对共享来自基础模型 [34] 的参数，该参数在训练期间保持冻结。预测头输出最终跟踪结果。提示模块由令牌级提示和模态级提示组成。令牌级提示在嵌入层之前感知图像对输入的三种不同模态。它们分别是完整模态、缺失 -RGB 模态（仅热红外）和缺失 -TIR 模态（仅可见光），如图 1(d) 所示。完整模态表示搜索图像的模态信息是完整的。缺失 -RGB 模态表示搜索图像只有热红外模态信息，而缺失 -TIR 模态仅包含搜索图像的 RGB 模态信息，如图 2 所示。因此，令牌级提示针对输入有三种对应的提示类型：TIR 缺失提示、RGB 缺失提示和完整提示，如图 2 所示。它们被纳入 Transformer 的方式要么在线性投影之前——通过将它们预置于输入令牌前（前缀微调 [35]），要么在线性投影之后——通过拼接键和值向量（提示微调 [20]）。遵循 [33] 中的设计，这些提示默认注入前六个编码器层，以促进特定模态特征的学习。

在视觉目标跟踪中，模板图像的模态信息始终可用。因此，对于缺失模态 RGBT 跟踪中的双分支 Transformer 模型，至少有一个分支通常包含完整的单模态信息。虽然仅依靠 RGB 或热红外模态信息就能实现跟踪，但两种模态之间的协同交互可以实现更好的跟踪性能，表 [??] 支持了这一点。因此，遵循 BAT [30] 和 [36] 中跨模态信息交换的概念，我们设计了非常简洁的缺失级提示，以连接完整模态和缺失模态的双分支，促进它们在跟踪过程中的相互互补信息。该提示使用两个线性层实现，并应用于所有编码器层。

令牌级提示和模态级提示作为统一模块，帮助 MMP 跟踪器稳健地处理 RGBT 跟踪中的多种模态缺失场景。该模块的轻量级设计避免了 IPL [19] 中从可用模态到缺失模态的复杂提示生成结构，后者依赖于训练数据集的完整模态。统一模块为 RGBT 跟踪中的缺失信息提供了无重建解决方案。遵循我们实验中 [33] 的设置，我们定义了给定缺失率下的三种模态缺失场景：缺失 -TIR、缺失 -RGB 和缺失 - 两者。每个样本在训练或测试期间可能以完全随机的方式呈现为模态完整、缺失 -RGB 或缺失 -TIR 情况，如图 2 所示。这种模拟方案充分反映了广泛的现实世界模态缺失情况，并且完全在完整数据集上执行。与 IPL [19] 不同，我们的方法不需要额外的先验知识来构建模态缺失 RGBT 基准。大量实验结果证明了 MMP 跟踪器的效率和卓越性能。MMP 跟踪器避免了微调大模型，可训练参数不到 1%，运行速度为 110 fps，远超实时速度。我们的主要贡献总结如下，
• 据我们所知，这是第一项在现实条件下探索 RGBT 跟踪训练和测试领域普遍模态缺失问题的研究。我们的方法为 RGBT 多模态跟踪中的缺失模态提供了一种无重建替代方案。
• 我们提出了缺失模态提示（MMP）跟踪器，一种轻量级双分支提示学习 Transformer 模型，用于应对 RGBT 多模态跟踪中的模态缺失挑战。跟踪器中的缺失模态提示模块使冻结的预训练 Transformer 适应各种模态缺失场景，而无需微调整个模型。
• 大量实验证明了该方法的有效性。在不到 1% 的可训练参数下，MMP 跟踪器在模态缺失场景中取得了优于最先进方法的性能。

章节片段 RGBT 跟踪 热红外与可见光模态之间的相互互补性显著提高了 RGBT 跟踪相比传统仅 RGB 方法的准确性和鲁棒性 [11], [12], [15], [16], [17], [18]。大多数现有 RGBT 跟踪器通常遵循完全微调基于 CNN 的模型 [14], [16], [37], [38] 或基于 Transformer 的架构 [18], [39], [40] 的范式，采用各种特征融合策略以实现令人印象深刻的性能。为了减轻计算

方法 在本工作中，我们提出了 MMP 跟踪器，以有效应对一般情况下的模态缺失挑战。我们设计了一些模态缺失情况，例如缺失一个或多个模态，以模拟现实世界应用中 RGBT 跟踪的真实场景。同样像视觉分类任务 [42] 一样，缺失情况在训练和测试阶段也有所不同。

实现细节 我们训练 MMP 跟踪器 60 个周期，总共需要大约 13.5 小时。每个周期由 个样本对组成。采用权重衰减为 的 AdamW 优化器 [61]，学习率设置为 . MMP 中骨干网络和头的冻结参数从预训练基础模型 [34] 初始化，而提示模块的可训练参数使用 Xavier 均匀初始化方案 [62] 进行初始化。所有实验均在单块 NVIDIA

结论 在本工作中，我们提出了 MMP 跟踪器，一个轻量级的基于 Transformer 的框架，引入了提示学习的概念来解决多模态跟踪中的模态缺失挑战。所提出的模态缺失提示模块设计简单但有效的结构，自适应地处理不同的模态缺失场景。它使跟踪器在各种模态缺失情况下能够取得优于最先进方法的性能，同时

CRediT 作者贡献声明 Sheng Wang：写作 - 审阅与编辑，写作 - 原稿，可视化，方法论，概念化。Xi Chen：监督，资源，项目管理。
利益冲突声明 作者声明他们没有任何已知的竞争财务利益或个人关系，这些利益或关系可能会影响本文报告的工作。
Sheng Wang 目前是中国武汉大学计算机学院的博士研究生候选人。他当前的研究兴趣在于人工智能（AI）领域，包括视觉目标跟踪及其应用。
Sheng Wang|Xi Chen 中国武汉大学计算机学院，湖北武汉，430072