DSRTrack: 用于 RGB-T 跟踪的干扰感知状态恢复与波动调节
《Information Fusion》:DSRTrack: Disturbance-Aware State Recovery and Volatility Regulation for RGB-T Tracking
【字体:
大
中
小
】
时间:2026年09月20日
来源:Information Fusion 17.4
编辑推荐:
DSRTrack 恢复退化的在线状态并调节波动感知保留。构建可控的状态退化以支持跨模态修复学习。锚点引导的跨模态差异建模为基于一致性的修复提供信息。目标运动波动在推理过程中校准在线状态管理。
引言
RGB-T 跟踪旨在通过联合利用可见光和热红外信息在视频序列中定位目标。可
DSRTrack 恢复退化的在线状态并调节波动感知保留。构建可控的状态退化以支持跨模态修复学习。锚点引导的跨模态差异建模为基于一致性的修复提供信息。目标运动波动在推理过程中校准在线状态管理。引言RGB-T 跟踪旨在通过联合利用可见光和热红外信息在视频序列中定位目标。可见光图像提供了丰富的纹理、颜色和结构细节,而热红外图像则基于不同的成像机制捕捉目标的热响应。通过整合这两种模态,RGB-T 跟踪可以在具有挑战性的成像条件下学习更具判别力的目标表示,因此引起了视觉跟踪领域越来越多的关注。现有的 RGB-T 跟踪方法大致可以分为两类。前者主要依赖初始模板或静态目标参考来建立模板与当前搜索区域之间的跨模态交互,如图 1(a) 所示。例如,QAT 通过有监督的可靠性学习增强跨模态引导,SMGNet 通过有监督的相互引导增强跨模态引导。CTGTrack 通过结合共享-特定特征学习与类别文本引导来强化目标相关表示。AFTER、AETrack 和 FMTrack 通过自适应融合结构进一步提高了模态利用率。这些方法增强了当前匹配过程中的跨模态判别力,但其目标参考仍然主要依赖初始模板,未能充分利用持续演进的目标状态。后者利用跨帧维持的在线目标状态来建模目标演化,如图 1(b) 所示。TBSI、STMT 和 MMSTC 分别通过动态模板、动态令牌和记忆池来建模历史目标状态。PromptTrack 和 VCT 通过时间提示符跨帧传播目标信息。Xu 等人采用具有短期、长期和永久记忆的多级记忆适配器来跨帧传播可靠的时间上下文。与初始模板驱动的静态建模相比,这些方法利用了历史目标状态并提高了对目标演化的适应性。然而,基于在线状态的跟踪仍然容易受到退化状态更新的影响。在更新过程中,目标状态会逐渐偏离目标一致的表示,局部区域包含非目标响应或减弱的模态特异性目标线索。更新后的在线状态的局部和不规则退化会破坏跨模态状态一致性,使得退化状态区域难以可靠地识别和恢复。尽管 ACAttack 和 ICAttack 已经研究了对抗扰动,但对于更新后的在线状态,可控的退化构建和退化感知恢复仍未得到充分探索。此外,保留的低质量在线状态会反复影响后续的匹配和定位,导致误差累积和目标漂移。因此,有效的在线状态建模应该超越简单的历史信息聚合。它应该在训练过程中显式建模模态特异性退化,通过跨模态交互恢复目标一致的在线状态,同时在推理过程中自适应地管理在线状态选择和队列更新。为了解决这些问题,我们提出了 DSRTrack,一种用于 RGB-T 跟踪的扰动感知状态恢复与波动调节框架,如图 1(c) 所示。具体来说,我们首先开发了前景身份状态扰动,通过在训练过程中进行模态选择性前景扰动来构建可控的退化在线状态。FISP 制定了两种扰动类型:边界上下文侵入和局部身份抑制,分别模拟前景边界周围非目标上下文的侵入和前景身份信息的局部抑制,从而支持退化感知的状态恢复。然后,我们提出了锚点引导的差异竞争修复,它以初始模板作为稳定锚点,并从在线状态、锚点引导的跨模态重建以及相应的重建和锚点差异中联合估计模态特异性目标一致性。基于相对目标一致性分数,竞争修复门自适应地调节跨模态修复,以恢复退化状态并抑制目标不一致信息。此外,我们提出了波动校准的时间衰减用于推理阶段的在线状态管理。它从最近的目标预测中估计目标运动波动,以调节历史在线状态选择,同时维持在线状态队列。DSRTrack 整合了训练阶段的退化模拟、可靠的状态恢复和推理阶段的时间状态管理,用于扰动感知的 RGB-T 跟踪。我们在五个主流 RGB-T 跟踪基准上进行了大量实验,包括 LasHeR、RGBT234、RGBT210、GTOT 和 VTUAV。图 1(d) 中的性能比较表明,DSRTrack 在这些数据集上实现了优于现有先进 RGB-T 跟踪器的跟踪精度。我们的主要贡献总结如下:1. 我们提出了 DSRTrack,一个整合在线状态退化建模、跨模态状态恢复和推理阶段在线状态管理的扰动感知状态恢复与波动调节框架,用于 RGB-T 跟踪。2. 我们引入了前景身份状态扰动,通过模态选择性的边界上下文侵入和局部身份抑制来构建可控的退化在线状态,支持训练过程中的跨模态状态恢复学习。3. 我们提出了锚点引导的差异竞争修复模块,用于通过竞争门控进行目标一致性估计和跨模态状态恢复。4. 我们开发了波动校准的时间衰减,以调节推理过程中的历史状态选择和在线状态队列更新。本文的其余部分组织如下。第 2 节回顾相关工作。第 3 节详细介绍了所提出的 DSRTrack 框架。第 4 节报告了实验结果和分析。第 5 节对本文进行总结。章节摘要RGB-T 跟踪RGB-T 跟踪通过利用可见光和热红外图像的互补特性,在具有挑战性的环境中增强目标定位。早期方法主要依赖手工制作的表示和浅层融合,使用低级手工制作的描述符编码每种模态,并通过学习的补丁权重、稀疏表示或基于相关滤波器的融合进行组合。随着深度学习的发展,基于 CNN 的 RGB-T 跟踪器学习判别性方法本节介绍了 DSRTrack,包括整体框架、所提出的前景身份状态扰动及其边界上下文侵入和局部身份抑制、锚点引导的差异竞争修复、波动校准的时间衰减,以及训练目标。数据集和评估指标数据集。我们在五个公开的 RGB-T 跟踪基准上评估所提出的框架:LasHeR、GTOT、RGBT210、RGBT234 和 VTUAV。LasHeR 是一个大规模基准,包含 1,224 个空间对齐的可见光-热红外视频对和超过 730K 的帧对,涵盖多种类别、视角、场景、天气条件和昼夜场景。它为 RGB-T 跟踪在多样且具有挑战性的真实条件下提供了全面的评价设置。GTOT结论在本文中,我们提出了 DSRTrack,一种整合训练阶段在线状态退化建模、锚点引导的跨模态状态恢复和推理阶段历史状态管理的扰动感知状态恢复与波动调节框架,用于 RGB-T 跟踪。前景身份状态扰动通过边界上下文侵入和局部身份抑制来建模在线状态退化,支持退化感知状态恢复的学习。生成式人工智能和人工智能辅助技术在稿件准备过程中的声明在本工作准备过程中,作者使用 DeepSeek 来协助语言润色和提高可读性。使用此工具后,作者对内容进行了审阅和必要的编辑,并对已发表文章的内容承担全部责任。CRediT 作者贡献声明李晶晶:撰写初稿、可视化、验证、方法论、调查、形式分析、数据管理、概念构思。秦翰林:审阅和编辑、监督、资源、项目管理、方法论、资金获取。于跃:审阅和编辑、可视化、验证、方法论、调查、形式分析、概念构思。袁帅:审阅和编辑、验证、数据管理。张旭佩:可视化,利益冲突声明作者声明他们没有已知的竞争性财务利益或个人关系,这些利益或关系可能已影响到本文所报道的工作。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号