视觉目标跟踪是计算机视觉中的核心任务，在智能交通、视频监控和自动驾驶中发挥着重要作用[1], [2], [3], [4]。其目的是在给定初始位置的情况下，在视频序列中连续定位特定目标。在过去几十年中，基于RGB的跟踪器取得了令人瞩目的性能[5]。然而，这些方法对环境变化敏感，在复杂场景中性能会下降，甚至出现跟踪漂移或失败[6], [7]。
为解决这一局限性，提出了RGB-热红外（RGBT）跟踪[8], [9], [10], [11], [12]。这种多模态技术融合RGB和热红外（TIR）数据，在视频序列中定位目标。TIR数据因其抗干扰能力强，弥补了RGB图像在挑战性条件下的弱点。通过整合两种模态的互补优势，RGBT跟踪在复杂场景中保持稳定性能，已成为一个重要研究课题，在监控、自动驾驶和搜索救援任务中具有广泛应用[13], [14]。
现有的RGBT跟踪方法可分为传统方法和基于深度学习的方法。传统方法包括基于图模型的方法、基于稀疏表示的方法[15]和基于相关滤波的方法[16]。基于图模型的方法将目标划分为多个块，学习块间的相似度以进行细粒度信息聚合，从而减轻背景干扰。基于稀疏表示的方法使用过完备字典将目标特征编码为稀疏系数，并应用稀疏约束来抑制噪声和减少冗余[17]。基于相关滤波的方法通过计算模板与搜索区域之间的相似度来定位目标，具有较高的计算效率。
虽然传统RGBT跟踪器具有较高效率，但它们无法充分捕捉目标外观，且对环境变化的适应性较差。相比之下，基于深度学习的方法具有强大的特征提取能力，可以从大规模数据集中学习深层语义特征。这些方法分为基于MDNet的[18], [19], [20], [21], [22]、基于孪生网络的[23], [24], [25]和基于Transformer的方法[26], [27], [28]。基于MDNet的跟踪器将MDNet[18]扩展到RGBT领域以进行目标定位。基于孪生网络的方法使用两个权重共享网络分别提取模板和搜索区域的特征，然后计算相似度。基于Transformer的方法利用注意力机制取代卷积神经网络中的静态融合策略，实现了目标感知和动态适应的集成。
现有的基于深度学习的RGBT目标跟踪方法已取得优异性能。然而，该领域仍存在一些亟待解决的挑战。首先，大多数基于深度学习的RGBT目标跟踪方法对单尺度RGB和TIR特征进行跨模态融合，未充分利用不同尺度下RGB和TIR模态之间的特征差异。这降低了融合特征的质量，进而影响目标跟踪精度。其次，一些RGBT目标跟踪方法利用RGB和TIR图像的空间或语义特征，但这些方法对目标旋转、平移和尺度变化的适应性不足。当存在这些挑战时，这些方法难以提取目标的判别性特征。第三，这些方法忽略了目标多尺度语义和空间特征的交互融合。上述挑战可能限制RGBT目标跟踪方法中目标跟踪的稳定性。
为解决这些问题，我们提出了一种用于RGBT目标跟踪的多模态分层空间感知（MMHSP）网络。首先，我们设计了一个互补感知多模态特征融合（CPMFF）模块，用于融合RGB和TIR特征。CPMFF模块确保网络能够充分整合RGB和热红外图像之间的互补特征，以减少RGB和TIR模态之间的特征差异，并增强融合特征的判别性。其次，我们提出了一种基于Transformer的多尺度特征融合（TMFF）模块，该模块将具有不同尺度和不同表示能力的多层级特征融合到统一特征空间中。TMFF模块捕捉细粒度空间细节和高层语义信息，增强特征表示能力，确保目标定位准确。最后，我们提出了跨模态空间感知（CMSP）模块，该模块集成了多模态空间变换机制（MSTM）和多模态通道注意力机制（MCAM）。CMSP模块确保网络能够提取判别性特征并有效对齐目标的空间位置，从而增强模型对空间尺度变化的适应性。主要贡献总结如下。
- (1)
我们提出了一种基于MMHSP网络的RGBT目标跟踪器。该跟踪器考虑目标的模态间特征差异，以增强在动态环境中的跟踪鲁棒性。
- (2)
我们提出了一个CPMFF模块，用于捕捉RGB和TIR图像之间的跨模态互补特征，并增强融合特征的判别性。
- (3)
我们提出了一个TMFF模块，将语义和空间特征整合到统一空间中，从而提高目标跟踪的精度。
- (4)
我们提出了一个CMSP模块，以充分利用融合特征在遮挡和空间变化场景中的判别能力。
本文的其余部分组织如下。第2节介绍相关工作。第3节描述所提出方法的细节。第4节呈现并分析实验结果。结论在第5节中给出。
