基于参数高效视觉 Transformer 的自适应多模态视觉跟踪

《Neural Networks》：Adaptive Multimodal Visual Tracking via Parameter-Efficient Vision Transformers

　　

摘要

多模态视觉目标跟踪（MVOT）对于在复杂环境中实现稳健性能至关重要，包括遮挡、低光照或高速运动等场景。然而，当前方法通常在两个方面存在不足：它们依赖静态融合策略，限制了适应变化场景条件的能力；且使用冗余的模态特定分支增加了计算和训练成本。对此，我们提出了 SwitchTrack，一个具有高效动态集成和按需模态切换的统一多模态跟踪框架。其核心是一个轻量级的动态桥梁（Dynamic Bridge）模块，该模块学习内容感知融合权重并促进模态间的有效交互，仅增加 0.46M 参数。为进一步增强适应性，我们引入了一种任务选择性低秩适应（Task-Selective Low-Rank Adaptation）策略，能够在 RGB-D、RGB-T 和 RGB-E 配置下进行高效且轻量级的微调。该机制通过仅更新一小部分参数即可实现模态切换，而无需重新训练整个模型。在五个公共基准上的大量实验表明，与最先进的方法相比，我们的方法实现了优越的跟踪精度和效率，并且训练和适应开销显著降低。

引言

视觉目标跟踪（VOT）是计算机视觉中的一项基本任务，广泛应用于自动驾驶、监控、人机交互和机器人领域。虽然在基于 RGB 的跟踪方面取得了显著进展 Chen et al. (2023b); Ye et al. (2022); Zhang et al. (2025b)，但单模态系统经常在低光照、遮挡、运动模糊和背景杂乱等挑战性条件下出现性能下降。为了增强鲁棒性，多模态跟踪已成为一个有前景的方向 Liu et al. (2025); Sun et al. (2024); Wu et al. (2024)，利用来自深度（RGB-D）Zhu et al. (2023b)、热（RGB-T）Wang et al. (2025); Zhang, Yang, Qin, Xiao, Wang, 2025a, Zhang, Liu, Zhang, Han, 2021 和事件数据（RGB-E）Shao et al. (2025) 等模态的互补信息来改善目标定位和判别。

尽管潜力巨大，多模态视觉目标跟踪仍面临几个关键挑战。首先，大多数现有方法依赖静态或固定权重的融合策略，无法适应动态环境中不同模态可靠性的变化。包括基于原型的跨模态跟踪 Liu et al. (2025)、多模态适配器学习 Wang et al. (2025) 以及带有目标性建模的 RGB-E 融合 Shao et al. (2025) 在内的近期研究表明，模态可靠性和跨模态交互仍然是当代多模态跟踪器的关键瓶颈。在实际中，每种模态的质量和信息量可能会有显著波动。例如，深度传感器在室外或长距离场景中往往噪声较大；在光照良好的条件下，热成像可能贡献甚微；而事件传感器捕捉异步运动线索，当目标保持静止时变得无效。

如图 1 所示，我们展示了一个真实的 RGB-E 跟踪场景，其中一个男孩正在运球。在快速运动期间（左），事件模态提供了强大且稀疏的运动线索，有助于突出目标。然而，当男孩暂停时（右），由于缺乏运动，事件表示变得几乎空白，没有提供有用信息。如果在这种语境下强行融合事件特征而没有模态感知，它们可能会引入噪声或与 RGB 信号冲突，最终降低跟踪精度。

其次，许多现有框架采用模态特定分支或为每个输入源复制整个网络组件，导致模型复杂度过高、内存消耗过大，以及在容纳不同模态组合时灵活性有限。虽然 OneTracker Hong et al. (2024) 和 SUTrack Chen et al. (2025) 等统一跟踪器通过共享单个参数集减少了任务特定的重复，但它们的功能交互仍然主要由固定网络路径或静态融合设计控制，这限制了它们对突然模态退化的反应能力。此外，将单个跟踪器适应于各种模态对通常需要完全重新训练或微调，这使得它对于实时部署既低效又不切实际。

为了解决这些局限性，我们提出了 SwitchTrack，一个用于自适应和可切换多模态视觉跟踪的统一框架。我们的设计基于两项关键创新。首先，我们引入了一种轻量级的动态桥梁模块，根据场景上下文自适应地融合来自不同模态的特征。该组件实现了模态间灵活的信息交换，在不显著增加计算开销的情况下（仅增加 0.46M 参数）提高了鲁棒性。其次，我们开发了一种任务选择性 LoRA策略，通过仅更新一小部分参数来高效地微调模态特定行为。这种方法促进了在 RGB-D、RGB-T 和 RGB-E 跟踪任务之间的无缝切换，同时避免了全模型重新训练。

如图 2 所示，SwitchTrack 使单一架构能够在 RGB-D、RGB-T 和 RGB-E 输入上灵活运行。第一行显示了一种传统的单模态跟踪流程。第二行展示了我们的方法，它通过轻量级的可学习桥梁增强传统模型，从而使其能够在统一的多模态跟踪架构内灵活扩展以处理 RGB-D、RGB-T 和 RGB-E 输入。我们在五个公开的多模态跟踪基准上评估了 SwitchTrack，包括 DepthTrack、VOT-RGBD2022、LasHeR、RGBT234 和 VisEvent。实验结果表明，在各种模态配置下，我们的方法在精度和效率上均持续优于最先进的跟踪器。此外，SwitchTrack 表现出强大的泛化能力和适应性，非常适合传感器条件动态变化的真实世界部署。

我们的主要贡献总结如下：

• •
  我们提出了 SwitchTrack，一个支持 RGB-D、RGB-T 和 RGB-E 配置的统一多模态目标跟踪框架，实现了动态模态切换和高效部署。
• •
  我们设计了一种新颖的动态桥梁模块，能够在最小参数开销下实现跨模态的内容感知特征融合，增强了复杂场景中的鲁棒性。
• •
  我们引入了一种任务选择性 LoRA机制，通过仅更新一小部分参数实现低成本、模态特定的适应，消除了全模型重新训练的需要。
• •
  我们在五个公共基准上验证了我们的方法，在显著降低训练和适应成本的同时，实现了多个模态组合下的优越性能和泛化能力。

章节摘要

多模态视觉目标跟踪

视觉目标跟踪（VOT）已从传统的 RGB 设置扩展到多模态场景，以应对复杂环境中的挑战。虽然仅基于 RGB 的跟踪器 Chen et al. (2023a); Xie et al. (2022) 在标准条件下表现良好，但它们在低光照、遮挡、运动模糊或背景杂乱时往往会失败。为了增强鲁棒性，多模态跟踪 Lu, Li, Yan, Tang, Luo, 2021, Lu, Qian, Li, Tang, Wang, 2022; Zhang et al. (2022) 集成了来自...

整体架构

提出的 SwitchTrack 框架旨在为 RGB-D、RGB-T 和 RGB-E 场景下的多模态目标跟踪提供一种统一且高效的解决方案。如图 3 所示，该架构由三个关键组件组成：一个模态特定的补丁嵌入层、一个用于自适应融合的动态桥梁模块，以及一个增强了任务选择性 LoRA模块的共享 Transformer 编码器。最终的跟踪头基于融合表示预测目标位置。

给定一对

实验设置

我们在五个广泛使用的多模态跟踪基准上评估 SwitchTrack：DepthTrack Yan et al. (2021b) 和 VOT-RGBD2022 Kristan et al. (2022) 用于 RGB-D，LasHeR Li et al. (2021) 和 RGBT234 Li et al. (2019) 用于 RGB-T，以及 VisEvent Wang et al. (2023) 用于 RGB-E。这些数据集涵盖了遮挡、低光照、快速运动和背景杂乱等多样化的真实世界条件，为多模态跟踪提供了全面的测试平台。为了评估泛化能力，我们采用了一种

局限性与失败案例

尽管 SwitchTrack 在 RGB-D、RGB-T 和 RGB-E 跟踪任务中实现了强大的性能，但它仍然有一些局限性。首先，当 RGB 和辅助模态同时严重退化时，例如同时发生严重遮挡和噪声深度测量，动态桥梁在估计模态重要性方面缺乏可靠的证据。其次，在长时间静止期间，RGB-E 跟踪仍然具有挑战性，因为事件流可能变得极其稀疏；在这种情况下，

结论

在本文中，我们介绍了 SwitchTrack，一个统一且高效的多模态视觉目标跟踪框架，支持 RGB-D、RGB-T 和 RGB-E 输入的动态模态适应。为解决现有融合策略和冗余架构的局限性，我们提出了一种轻量级的动态桥梁模块用于内容感知特征集成，以及一种任务选择性 LoRA策略，能够通过最小的参数更新实现高效和灵活的调谐。这些设计

CRediT 作者贡献声明

Yixin Xu: 写作 – 审阅与编辑，写作 – 初稿，可视化，软件，方法论，数据整理。 Wenkang Zhang: 写作 – 审阅与编辑，监督，形式分析，概念化。 Tianyang Xu: 写作 – 审阅与编辑，监督，形式分析。 Jinhui Wu: 可视化，验证，调查。 Qiang Wang: 写作 – 审阅与编辑，监督。 Wankou Yang: 写作 – 审阅与编辑，监督，资源，资金获取。

利益冲突声明

作者声明他们没有任何已知的竞争性财务利益或个人关系可能影响本论文中报告的工作。

Yixin Xu|Wenkang Zhang|Tianyang Xu|Jinhui Wu|Qiang Wang|Wankou Yang