ToTracker:通过文本和遮挡线索增强视觉跟踪效果

《Neurocomputing》:ToTracker: Enhancing visual tracking via textual and occlusion cues

【字体: 大 中 小 】 时间:2026年05月03日 来源:Neurocomputing 6.5

编辑推荐:

  叶云宁|班宇硕 韩国忠清北道清州忠北国立大学电子工程系,28644 摘要 以往基于视觉图像块的物体跟踪方法虽然表现优异,但表示能力有限,尤其是在背景复杂或目标新颖的情况下。为了解决这个问题,我们提出了一种双分支增强方法,包括:(1)遮挡与混合模块,该模块通过区域级图像混合迭代

  
叶云宁|班宇硕
韩国忠清北道清州忠北国立大学电子工程系,28644

摘要

以往基于视觉图像块的物体跟踪方法虽然表现优异,但表示能力有限,尤其是在背景复杂或目标新颖的情况下。为了解决这个问题,我们提出了一种双分支增强方法,包括:(1)遮挡与混合模块,该模块通过区域级图像混合迭代更新目标背景并部分遮挡目标,以鼓励模型在复杂背景中学习具有区分性的目标特征;(2)视觉-语言增强模块,该模块将来自视觉-语言模型(VLM)的语义特征与视觉特征相结合,旨在捕捉显性的视觉相似性和隐性的语义相关性,从而更深入地理解目标。所提出的模块仅在训练阶段使用,推理过程与基线跟踪器相同。我们在四个大规模跟踪数据集和两个具有不同挑战性的基准数据集(如语义理解、运动模糊、遮挡等)上进行了实验。与基线方法相比,该方法在LaSOText数据集上的精确度提高了2%,在GOT10k数据集上的精确度提高了4.1%,在NFS数据集上的AUC分数提高了2.3%,性能可与最先进的跟踪器相媲美。

引言

视觉物体跟踪旨在根据最初识别的区域估计目标的状态,特别是其在视频序列中的位置和范围。当目标的外观发生显著变化时(例如姿态变化、光照变化或被遮挡),仅使用单个图像样本进行跟踪尤其具有挑战性。
大多数早期的视觉跟踪方法旨在学习一个嵌入特征空间,在这个空间中,即使目标外观发生变化,相同目标的样本仍然保持接近。通过在这个潜在空间中对外观特征进行聚类,跟踪器可以更好地在帧之间区分目标与背景。然而,这些纯视觉方法在目标发生显著变换时(例如视角变化或参考样本被遮挡或噪声干扰)往往表现不佳。由于大多数跟踪器依赖于静态的图像块作为参考,它们通常无法在不同视角之间泛化,导致目标外观因形状、纹理或遮挡而变化时出现表示偏差。因此,提高视觉跟踪的适应性和语义特征仍然是该领域的一个关键挑战。
为了克服纯视觉表示的局限性,如图1所示,视觉-语言(VL)跟踪作为一种有前景的跨模态范式应运而生。通过结合自然语言描述,跟踪器构建了更具适应性和语义丰富性的目标表示(如对象类别、属性)。与仅依赖基于像素的特征的传统跟踪器不同,视觉-语言跟踪器利用语言引导注意力到语义相关的区域。这种融合提高了对复杂物体跟踪的鲁棒性和可解释性。
最近在视觉-语言跟踪方面的进展越来越多地利用大规模视觉-语言模型,特别是CLIP [1],来增强跨模态对齐。传统的视觉-语言跟踪方法通常将任务视为检索或匹配问题,使用图像-文本对来表示和定位目标。CLIP提供了一个统一的嵌入空间,增强了特征的表现力并支持鲁棒的视觉-语言融合。在此基础上,李等人[2]将图像块转换为包含对象类别和属性的文本描述,丰富了目标表示。为了提高区分能力,陈等人[3]利用CLIP生成视觉提示,将基础模型知识转移到区分目标与相似干扰物上。
尽管取得了这些进展,现有的视觉-语言跟踪器仍存在一些局限性。一方面,虽然整合视觉和语义文本特征可以提高语义理解,但增加了复杂性,导致跟踪速度变慢;另一方面,它们在处理复杂背景中的遮挡或视觉模糊目标时仍不够鲁棒。在本文中,我们介绍了一种双流增强架构,可以在保持计算效率的同时提升跟踪性能,而不会增加额外的推理开销,如图1所示。与以往的方法不同,我们将目标的语义相关性和场景的复杂性建模为跟踪器可以学习的内在行为。在我们的方法中,CLIP仅在训练期间作为监督信号使用,以增强视觉特征表示,并在推理过程中完全移除。此外,我们引入了一种迭代和随机的遮挡与混合策略,在目标区域生成动态的、空间连贯的遮挡,更真实地模拟现实世界跟踪中不断变化的干扰物。这种设计使跟踪器能够在保持轻量级架构的同时,继承基于视觉-语言的跟踪器的强大语义推理能力。
我们工作的主要贡献如下:
  • ' role="presentation">
    我们提出了一种双流架构,可以在不增加推理成本的情况下提高视觉跟踪性能。所提出的模块是即插即用的,广泛适用于现有的跟踪模型。
  • 我们的方法通过在训练期间整合来自视觉和语言线索的多模态特征表示,鼓励模型学习各种特征表示。
  • 我们提出的数据增强模块通过鼓励模型从部分遮挡的区域学习鲁棒特征,提高了在复杂背景下的视觉跟踪性能。
  • 章节片段

    视觉物体跟踪器

    在过去的几十年中,跟踪领域取得了显著进展。特别是孪生跟踪[4]作为一种通用匹配函数的框架,已经作为一种突出的方法出现,并通过许多扩展[5]得到了革命性的改进,大大提高了其性能和鲁棒性。近年来,Transformer [6]、[7]、[8]被引入视觉跟踪中,以促进视觉特征之间的更有效交互。

    方法

    我们的目标是在不增加视觉跟踪器推理负担的情况下提高性能。为此,我们鼓励模型在训练阶段学习多样化的特征表示。在本节中,我们首先介绍ToTracker的总体框架,然后详细解释数据增强模块和特征增强模块。

    实验

    在本节中,我们展示了所提出的ToTracker的实验结果。我们在四个大规模数据集上展示了整体性能,并在三个新的数据集上评估了性能。此外,我们进行了广泛的消融研究,以分析每个组件的贡献。最后,提供了物体跟踪的可视化结果,以提供全面的定性分析。

    结论

    在本文中,我们分析了现有跟踪器的局限性,纯视觉跟踪器难以捕获语义信息,并且对复杂背景非常敏感,而视觉-语言跟踪器在推理过程中通常依赖于视觉-语言模型,导致计算成本增加。为了解决这些问题,我们提出了ToTracker,这是一个改进的视觉跟踪框架,它引入了一种迭代和随机的遮挡与混合策略,以更好地模拟不断变化的目标。

    CRediT作者贡献声明

    叶云宁:撰写——原始草稿、可视化、验证、方法论、调查、形式分析、概念化。班宇硕:撰写——审阅与编辑、监督、项目管理、资金获取。

    利益冲突声明

    作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

    致谢

    本工作部分得到了韩国国家研究基金会(NRF)的资助(由韩国政府(MSIT)提供,项目编号2022R1A5A8026986),韩国技术发展院(KIAT)的资助(由韩国政府(MOTIE)提供,项目编号P0020536,工业创新人力资源开发计划),以及信息与通信技术规划与评估研究所(IITP)-创新人力资源开发地方知识化计划的资助(20%)。
    叶云宁于2021年在韩国光州chosun大学获得计算机科学学士学位,2024年在韩国釜山pukyong国立大学获得IT融合硕士学位。他目前是韩国清州忠北国立大学的博士候选人。他的研究兴趣包括计算机视觉中的物体跟踪和物体姿态估计。
    相关新闻
    生物通微信公众号
    微信
    新浪微博

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号