基于小波驱动的频率交互与区域非对称注意力的RGBT目标跟踪

《Journal of King Saud University Computer and Information Sciences》：RGBT tracking via wavelet-driven frequency interaction and region-asymmetric attention

　　

RGBT跟踪利用可见光和热红外模态的互补特性，其中RGB通常在良好光照下提供锐利的高频纹理，而TIR在光照退化条件下提供稳定的低频响应，并在低光照、遮挡和背景杂乱等挑战性场景中展现出强鲁棒性。然而，大多数现有方法——包括近期基于全局混合傅里叶频谱的频率感知跟踪器——主要在空间域进行融合，或缺乏空间定位的频率建模，并且通常对称地处理模板和搜索区域，这限制了其利用空间定位频率感知互补信息的能力，也限制了对这两个区域不同杂乱特性的适应性。为解决这些局限，研究人员提出WRTrack，一种基于小波引导的视觉Transformer（Vision Transformer）RGBT跟踪框架。具体而言，研究人员设计了基于小波的解耦频率交互模块（Wavelet-based Decoupled Frequency Interaction，WDFI），将多模态特征分解为不同的频率子带，并以频率感知方式增强跨模态交互。此外，研究人员引入了小波引导的区域非对称注意力模块（Wavelet-Guided Region-Asymmetric Attention，WGRA），对相对干净的模板区域和杂乱的搜索区域采用不同的交互策略，从而改进以目标为中心的特征建模。在三个公开基准数据集（包括GTOT、RGBT234和LasHeR）上的大量实验表明，与近期最先进的RGBT跟踪方法相比，WRTrack取得了具有竞争力的性能。

一、研究背景与现存问题

视觉目标跟踪是计算机视觉的核心任务之一，在无人机监控、自动驾驶和夜间救援等领域具有广泛应用前景。尽管近年来取得显著进展，但在复杂非约束环境下实现精确鲁棒的跟踪仍是巨大挑战。光照变化、部分或完全遮挡、形变、尺度变化和背景杂乱等因素严重制约了传统基于RGB的跟踪器的性能。

RGBT跟踪通过联合利用可见光（RGB）和热红外（TIR）信息来估计目标状态。相比单模态跟踪，RGBT跟踪在挑战性场景中更具鲁棒性，因为两种模态提供互补线索：RGB图像在有利光照下包含丰富纹理和颜色信息，而TIR图像对光照变化不敏感，能在低光环境中更好凸显显著目标。

然而，现有方法存在三大问题。第一，早期基于卷积神经网络（CNN）的空间域融合策略往往忽略模态间的频率特性差异，在引入一种模态有效信息的同时容易引入另一种模态的背景噪声。第二，基于交叉注意力的主流空间域融合范式通常平等对待整个频段的所有特征，缺乏对纹理细节（高频）和语义结构（低频）的针对性感知，导致大量计算资源浪费在冗余信息甚至干扰噪声上。第三，近期引入快速傅里叶变换（FFT）进行频域交互的方法虽提供了丰富的频率信息，但牺牲了空间定位能力，无法实现对目标区域的精细增强，甚至可能导致背景高频噪声污染目标特征。

因此，研究人员开展本研究，旨在利用离散小波变换（DWT）同时显式利用频率线索并严格保持空间信息的独特能力，设计一种新的RGBT跟踪框架，以解决上述局限性。

二、关键技术方法概述

研究人员提出WRTrack框架，基于标准12层视觉Transformer（ViT）骨干网络，采用权重共享的双分支结构同时处理RGB和TIR模态。核心创新在于两个模块：一是基于小波的解耦频率交互模块（WDFI），通过多级小波变换将特征分解为不同频率子带，在子带级别实现RGB高频细节向TIR注入、TIR低频稳定性向RGB注入的跨模态补偿；二是小波引导的区域非对称注意力模块（WGRA），嵌入频率域先验到注意力计算中，对模板和搜索区域采用不同的交互策略，并通过跨模态引导掩码抑制背景噪声。训练采用参数高效策略，冻结预训练的骨干和预测头，仅优化新模块参数，损失函数结合加权焦点损失、GIoU损失和L₁损失。

三、研究结果

GTOT数据集评估：实验结果表明，该方法在小目标跟踪方面表现出良好的泛化能力，在快速运动和尺度变化序列中也表现优异，表明频域增强和跨模态交互有助于减少短期场景中的跟踪漂移。

RGBT234数据集评估：该跟踪器在最大精度率（MPR）和最大成功率（MSR）上分别达到89.8%和67.5%。在低光照（LI）、背景杂乱（BC）和热交叉（TC）等属性上获得有利结果，表明小波增强有效补偿了可见光的退化，且WGRA能自适应增强遮挡和光照变化下热红外的权重。

LasHeR数据集评估：该方法在精度率（PR）、归一化精度率（NPR）和成功率（SR）上分别达到72.4%、68.9%和57.7%。与当前在LasHeR上表现最佳的TGTrack相比，三项指标分别提升0.8%、1.4%和0.8%；与同样使用交叉注意力的TBSI和ViPT相比，分别提升1.9%/7.3%、2.3%/7.3%和1.4%/5.2%；与进行特征频域增强的FFE-BMFF相比，三项指标分别超出2.4%、2.5%和1.7%。

四、总结讨论与研究结论

综合三个基准数据集的评估结果，WRTrack在所有评估指标上均取得了具有竞争力的性能。在GTOT上展现了良好的小目标和快速运动跟踪泛化能力；在RGBT234上，特别是在低光照、背景杂乱和热交叉等挑战性属性上表现突出，验证了小波增强和区域非对称注意力机制的有效性；在LasHeR这一大规模高多样性数据集上，WRTrack超越了包括多种ViT、VGG和ResNet基方法在内的所有对比方法，充分证明了所提模块的有效性。

研究结论可翻译如下：研究人员提出了一种基于小波解耦频率交互和区域非对称注意力的RGBT跟踪框架WRTrack。通过将小波变换引入模态融合阶段，在联合空间-频率域中利用各模态固有的特性差异进行协调的跨模态特征融合，有效实现了模态间的优势互补。WDFI模块通过多级小波变换解耦图像频率成分，在子带级别实现RGB高频纹理优势和TIR低频语义优势的相互增强；WGRA模块通过将频率域先验嵌入注意力计算，实现了精确的区域感知和跨模态空间滤波，并通过跨模态引导掩码有效增强了目标边界特征并抑制了背景噪声干扰。