编辑推荐：
•一种新颖的HAF块采用以RGB为主导、TIR为辅助的融合方式。•我们揭示了RGBT注意力地图的内在一致性。•该范式能有效利用精细的RGB纹理。•HAFTrack在3个主流RGBT基准测试上取得了SOTA结果。引言RGB目标跟踪是计算机视觉中的基础任务，近年来随着深度学习的发
- •
一种新颖的HAF块采用以RGB为主导、TIR为辅助的融合方式。
- •
我们揭示了RGBT注意力地图的内在一致性。
- •
该范式能有效利用精细的RGB纹理。
- •
HAFTrack在3个主流RGBT基准测试上取得了SOTA结果。
引言
RGB目标跟踪是计算机视觉中的基础任务，近年来随着深度学习的发展取得了显著进展，在跨帧特征表示和目标定位方面实现了令人印象深刻的精度和实时性能。然而，RGB跟踪在具有挑战性的场景中仍然较为脆弱，特别是在极端光照或恶劣天气条件下，可见光模态可能严重退化，导致性能大幅下降。为了解决这些局限性，越来越多的研究关注RGBT跟踪，它协同利用RGB和TIR模态的互补特性。虽然RGB图像提供了丰富的外观和纹理细节，但TIR图像提供了热响应，使得RGBT跟踪器能够在白天和夜晚环境中保持可靠的性能。因此，RGB和TIR信息之间的有效融合与交互已成为RGBT跟踪研究的核心问题。
近年来，由于Transformer [1] 在视觉对象跟踪（VOT）[2]、[3]、[4]、[5]、[6] 中取得了显著成功，它被应用于RGBT目标跟踪领域 [7]、[8]、[9]、[10]、[11]。现有的基于Transformer的RGBT跟踪器通常遵循模板-搜索匹配范式来完成目标跟踪。得益于Transformer上下文注意力机制在建模模板-搜索区域对应关系方面的固有优势，基于Transformer的架构已成为RGBT跟踪的主导架构。基于Transformer的RGBT跟踪器通常采用对称的跨模态融合策略。具体来说，它们首先通过自注意力提取单模态特征，然后采用跨模态注意力来融合双模态信息，其中RGB查询与TIR特征的键和值进行交互，反之亦然。虽然这种对称交互以可比较的方式对待两种模态，但它可能忽视了它们异质的成像特征以及在RGBT跟踪中可发挥的不同作用。精确的目标判别和定位通常受益于精细的外观和纹理线索。多光谱目标检测 [12]、[13] 以及红外-可见光图像融合 [14]、[15] 的先前研究通常利用了两种模态的互补特性：RGB图像通常保留更丰富的外观和精细纹理线索，而TIR图像提供热显著性和区域级目标响应。这些观察描述了一般的趋势，而非RGB和TIR之间绝对的职能划分。因此，以相同的交互角色对待两种模态可能会限制对其互补信息的有效利用。结合表6中的单模态控制对比，这些观察促使我们进行了非对称设计，以RGB作为精细定位的主要来源，以TIR作为互补引导。此外，现有的跨模态融合策略通常依赖于直接的双向QKV交互。由于RGB和TIR特征来自不同的特征子空间并存在显著的表示差异，这种直接融合不仅会引入干扰噪声，还会破坏其原始特征分布。
为解决这些局限性，我们提出了一种名为HAFTrack的新型跟踪框架，它在统一的注意力架构内进行单模态特征提取和双模态融合。与依赖对称融合的先前方法不同，HAFTrack提出了一种非对称融合模块，即HAF块，设计在后期阶段集成RGB和TIR模态的深层语义特征。所提出的HAF块不仅抑制了双模态融合过程中的任务无关噪声，还显著增强了判别性特征以实现稳健的目标定位。具体而言，HAF块采用了一种非对称偏置的单向增强策略。具体来说，在保留充分利用RGB模态丰富亮度和纹理信息的RGB源分支的同时，我们进一步引入了一个异质RGB增强分支，该分支融合了TIR提供的互补区域级热响应。此外，在异质RGB增强分支内，我们设计了一个显著性感知的注意力细化模块，称为SAR，以进一步增强从TIR特征中提取的热响应。因此，这种设计适应了每种模态的内在特征，充分利用了RGB纹理和TIR热响应的优势，同时不破坏其原始特征子空间。图1展示了我们所提出的异质非对称融合范式与现有融合方案之间的区别。作为注意力机制的中间输出，注意力相关图包含关键的全球结构信息，并在区分目标和背景方面起着关键作用。尽管不同模态的特征位于不同的特征子空间中并存在显著差异，但它们的注意力相关图仍具有内在的一致性。基于这一观察，HAFTrack进一步引入了双模态分布共识对齐机制（BDCAM）。BDCAM从根本上引导模型关注目标区域，同时消除无关的干扰因素。
我们的主要贡献总结如下：
- •
我们提出了一种新型多模态跟踪框架，称为HAFTrack，该框架专门设计以适应RGB和TIR模态的内在特征以及RGBT跟踪的基本需求，从而充分利用两种模态提供的信息价值。
- •
我们引入了一种新型非对称多模态融合模块，称为HAF块。该模块采用以RGB为主导、TIR为辅助的融合范式，有效利用了RGB模态的丰富精细纹理信息，从而促进了模板与目标之间更精确的匹配。
- •
我们提出了一种双模态分布共识对齐机制，称为BDCAM，该机制有效引导模型关注目标区域，同时抑制无关背景区域的干扰。
- •
大量实验表明，HAFTrack在四个主流RGBT跟踪基准测试上取得了极具竞争力的性能，并在RGBT210、RGBT234和VTUAV上建立了最先进的结果。
章节摘要
RGBT对象跟踪
早期的RGBT跟踪方法广泛采用相关滤波器（CF）范式来实现跟踪精度和实时性能之间的良好平衡 [16]、[17]。例如，cmCF [18] 和LMRCF [19] 通过跨模态响应融合和残差正则化在边缘设备上实现高速跟踪。然而，这类基于CF的方法通常受限于其有限的感受野，使其在应对严重目标形变和长期完全
方法
如图2所示，我们提出了HAFTrack，一种新型RGBT对象跟踪模型，旨在解决RGBT跟踪任务中的跨模态融合挑战。与OSTrack类似，HAFTrack采用具有模板-搜索分支的统一单流架构，并使用后期融合策略进行双模态融合。所提出的框架由骨干网络和跟踪预测头部组成。具体来说，骨干网络包含两个模块：用于初始单模态特征
实现细节
在所提出的框架中，HAF块在第11个Transformer块之后进行后期融合，而BDCAM部署在Transformer块的4、7、10层中。我们设置模板帧数为N=3。搜索图像和模板图像分别裁剪为256 256和128 128像素，使用的裁剪因子分别为4和2。所有模型均使用OSTrack [27] 的预训练SOT权重进行初始化。HAFTrack在NVIDIA RTX 4090 GPU上的运行速度为53.8 FPS。
优化：
结论
在本文中，我们提出了HAFTrack，一种新型非对称RGBT跟踪框架，以解决现有基于Transformer的跟踪器中对对称跨模态融合的限制。与将RGB和TIR平等对待的传统双向交互方案不同，HAFTrack明确考虑了两种模态的异质特征。所提出的HAF块在保留RGB丰富外观和纹理信息的同时，引入异质RGB增强分支
未引用参考文献
[34]、[38]、[39]、[42]
CRediT作者贡献声明
刘鹏飞： 原创草稿撰写、软件、方法论、概念化。任夕文： 审阅与编辑、调查研究、形式化分析。刘晓旭： 审阅与编辑、数据整理。蔡赫： 审阅与编辑、验证。韩菊红： 审阅与编辑、验证。王友： 审阅与编辑、数据整理。张平： 审阅与编辑、指导、资源提供。
利益冲突声明
作者声明不存在可能影响本文所报告工作的已知竞争性财务利益或个人关系。
致谢
本研究得到了电子科技大学高性能计算中心的资助。
刘鹏飞 目前在电子科技大学深圳研究生院攻读电子信息硕士学位。他的研究兴趣包括基于无人机的目标跟踪和RGBT多模态目标跟踪。
刘鹏飞|任夕文|刘晓旭|蔡赫|韩菊红|王友|张平
