GVLTrack：采用多阶段模态融合技术的全球视觉-语言跟踪系统

《ACM Transactions on Multimedia Computing, Communications, and Applications》：GVLTrack: Global Vision-Language Tracking with Multi-Stage Modal Fusion

提出全局视觉语言追踪器GVLTrack，通过多阶段模态融合解决局部搜索与全局语言描述的矛盾。采用全局图像搜索替代局部追踪，并设计关系建模、查询初始化和跨模态解码三个交互模块，实现视觉与语言信息的渐进式融合优化。实验验证其在多基准测试中的有效性，代码将开源。

　　

摘要AI摘要

要查看此由AI生成的摘要，您必须具有高级访问权限。

了解更多登录

摘要

摘要

通常，局部视觉语言（VL）跟踪器会根据之前的边界框和VL注释来搜索目标。然而，跟踪器的局部搜索视角与从全局视角进行的语言描述之间存在内在矛盾。此外，大多数方法仅在单一阶段融合模态信息，这导致关系建模不够充分。为了解决这些问题，我们提出了一个具有多阶段模态融合的全局视觉语言跟踪器（GVLTrack）。首先，它会在整个图像中跟踪目标，而不是基于之前的结果进行局部跟踪，以解决上述矛盾。其次，GVLTrack结合了三个模态交互模块：一致关系建模（CRM）、VL引导的查询初始化（VLQ）和循环跨模态解码器（RC-Decoder），以逐步全面地融合视觉语言模态并优化边界框。我们在多个基准测试上进行了广泛实验，并取得了有竞争力的性能，证明了我们方法的有效性。代码将在被接受后公开提供。

AI摘要

AI生成的摘要（实验性）

此摘要是使用自动化工具生成的，并非由文章作者撰写或审核。它旨在帮助发现、评估相关性，并协助来自相关研究领域的读者理解本文内容。它旨在补充作者提供的摘要，后者仍是论文的主要摘要。完整文章才是权威版本。点击此处了解更多。

点击此处对摘要的准确性、清晰度和实用性进行评论。您的反馈将有助于改进未来的版本。

要查看此由AI生成的简洁语言摘要，您必须具有高级访问权限。