突破对齐壁垒：时空免对齐RGBT追踪方法(SAFNet)的创新框架与多模态融合突破

本综述系统阐述了RGBT（可见光-红外）多模态追踪领域突破性进展，重点解析了SAFNet框架如何通过时空交互查询模块（STIQ）与决策级融合策略，显著降低对硬件对齐的依赖。研究创新性地提出跨模态时序注意力机制与深度互相关分析，为解决实际应用中时空未配准（spatiotemporal unregistration）问题提供全新范式，为自动驾驶（ADAS）和全天候安防系统提供重要技术支撑。

　　

Highlight

突破对齐屏障：时空免对齐RGBT追踪方法

现有RGBT追踪算法普遍采用"融合-追踪"两阶段框架，代表性方法如MANet、DAFNet、FANet和TBSI先对RGB与热红外(TIR)模态进行特征融合，再整合判别性追踪器如MDNet、类Siamese追踪器或ostrack进行目标定位。但这些方法建立在严格时空配准假设上，假定输入RGB-TIR图像对具有像素级空间对齐和严格帧同步。这种理想化假设导致对实际应用中普遍存在的时空失配适应性差：当RGB与TIR图像存在空间偏移时，像素或特征级别的早期融合会引发语义错位，显著降低追踪精度(图1a)；而由传感器采样率差异或硬件延迟引起的时序帧失配会进一步诱发级联空间语义偏差(图1b)；在时空联合失配下追踪漂移现象显著加剧(图1c)。

然而，时空对齐的应用有效消除了由空间标定误差或传感器时序异步引起的语义错误。这一突破显著降低了RGBT追踪算法在实际应用中对硬件约束的依赖。如图1清晰所示，具备时空对齐的SAFNet在各类时空未配准场景中的追踪精度持续超越无时空对齐方法如TBSI。

时空未配准数据中的语义错误源于时序与空间信息的共同失配。因此，将RGBT追踪应用于此类数据的主要挑战在于有效解耦时间与空间。然而在多数目标追踪算法中，时序与空间特征本质上是交织的。这种强耦合性使得现有RGBT追踪方法高度依赖精确数据配准。

为克服这些局限，我们提出新颖的空间自适应融合网络(SAFNet)，从根本上重新构思了RGBT追踪工作流。我们的框架通过建立决策级通路规避传统特征级融合，其中时空配准与目标定位在端到端架构中统一。该方法创新性地利用语义响应特性将空间特征表征与时序对齐解耦，使得在显著时空偏差下仍能稳健运行。实验验证证实相较最先进方法有显著性能提升，尤其在呈现典型工业失配模式的无人机载和车载系统中。

Method

本节介绍我们的端到端RGBT融合追踪框架SAFNet。SAFNet架构如图2所示。可见光(RGB)与TIR模态的不同采集帧率阻碍直接配对。为此，我们选择其成像周期的最小公倍数(LCM)作为处理间隔(T)。在每个T间隔内，X帧RGB图像与Y帧TIR图像被分组为最小数据块。

Implementation details

我们的SAFNet使用Python 3.8和PyTorch 1.12.0实现。训练在配备四张48GB RTX A6000 GPU的服务器上进行，批次大小为32。

数据准备： 本文探索的RGBT追踪目标之一是适应时空未配准数据。然而现有RGBT追踪数据集主要由配准数据组成，仅LasHeR包含少量空间弱配准数据。为扩展数据样本，我们生成...

Conclusion

本文提出SAFNet，一种新颖的RGBT追踪框架，旨在克服时空配准限制的同时将信息融合扩展至时序维度。该框架通过时空交互查询模块和决策级空间引导融合模板实现时空对齐。时序自适应模板更新策略增强实时目标感知，显著提升追踪稳健性。在多个数据集上的广泛实验...