HATrack：一种基于异构适配器的跨模态融合RGBT跟踪方法

《Expert Systems with Applications》：HATrack: Cross-modal Fusion RGBT Tracking with Heterogeneous Adapter

RGBT跟踪通过融合可见光和热红外模态提升复杂环境下的目标跟踪能力，但存在模态间目标区域空间对齐不足及处理策略同质化问题。本文提出基于异构适配器的跨模态融合跟踪框架HATrack，通过CFSR模块实现高-低频分解与空间重校准，结合GRA和BA分别优化目标边界与语义互补性，显著提升跟踪精度与鲁棒性。

　　

王胜博|李云峰|邓雷|孙光凯|董明利|朱连青

教育部光电测量技术与仪器重点实验室，北京信息科技大学，北京，100192，中国

摘要

RGBT跟踪旨在通过利用可见光和热红外模式的互补性来增强在恶劣环境中的目标跟踪能力。然而，现有方法在特征融合过程中忽略了不同模式之间目标区域的空间错位，并对模式差异采用相同的处理策略，从而降低了模式互补性的有效性。为了解决这个问题，我们提出了一个带有异构适配器的跨模态融合RGBT跟踪框架（HATrack）。该框架包含一个跨模态融合空间重校准（CFSR）模块，该模块通过高低频分解从不同模式中提取高频纹理细节和低频局部结构信息。它重新校准融合后的显著区域以增强全局目标定位。同时，异构适配器（HA）由门控残差适配器（GRA）和双向自适应适配器（BA）组成。门控残差适配器利用热红外在恶劣天气条件下的优势来细化重新校准后的融合特征，从而增强目标轮廓和位置感知，并改善跨模态提示引导。双向自适应适配器利用非线性分支提取高频信息，提高模式间语义差异的有效互补性。全面的实验结果表明，我们提出的方法在四个流行的基准数据集上表现出更优越的跟踪性能。实验结果可在以下链接查看：https://github.com/wwwshengbo/HATrack。

引言

RGBT目标跟踪结合了可见光图像的丰富颜色纹理信息和热红外图像在低光和恶劣天气条件下的成像优势，以实现准确的目标跟踪。RGBT目标跟踪旨在从第一帧的初始状态开始，估计后续帧中目标的空间尺度和位置信息。它在自动驾驶（Chitta等人，2022年）和视频监控处理（Alldieck、Bahnsen和Moeslund，2016年）中展示了有希望的应用潜力。

目前，主流的RGBT跟踪器（Xiao、Yang、Li、Liu和Tang，2022年；Yang、Wang、Zhu和Tang，2023b年；Zhang、Danelljan、Gonzalez-Garcia、Van De Weijer和Shahbaz Khan，2019a年；Zhang、Zhao、Wang、Lu和Ruan，2022年）通过利用多模态信息融合来增强目标表示（Li、Liu、Lu、Ji和Tang，2020a年；Zhang等人，2021b年）。在这些研究中，一些研究人员采用了适配器参数微调范式（Cao、Guo、Zhu和Hu，2024年；Gao等人，2025a年；Liu等人，2025a年；Lu、Li、Yan、Tang和Luo，2021a年）来通过引入少量额外参数实现高效的任务适应。例如，Cao等人（2024年）提出了一种通用的适配器用于自适应多模态融合，而Liu等人（2025a年）引入了一种跨融合适配器以提高网络对多模态整合的适应性。尽管它们在利用红外和可见光模式之间的语义互补性方面很有效，但成像机制的固有差异往往导致目标区域的空间错位。如图1所示，这种空间错位会导致融合表示中关键语义特征的变化，破坏跨模态结构对应关系，从而降低目标定位精度和身份识别性能。

为了减轻红外和可见光图像在关键区域的空间错位和特征分布差异，Zhang等人（2024b年）采用了配对交叉注意力和自注意力机制进行空间重校准。Huang等人（2021年）通过预测像素级偏移场并结合可学习的双线性插值来实现对齐。然而，这些方法可能会由于注意力机制的累积而引入不必要的背景区域关注，并且在复杂的非刚性变形下对齐效果有限。此外，为了缓解模态特征分布的差异，现有的适配器（Hou等人，2024年；Zeng、Liu、Sun、Wang和Liu，2024年）通常使用另一种模式的信息作为提示。然而，线性适配器（Zeng等人，2024年）对复杂背景中的语义细节敏感度不足，经常导致边界模糊。相反，非线性适配器（Hou等人，2024年）在训练样本有限或场景单调时可能会过拟合，从而降低模型的泛化能力。

基于上述分析，本文提出了一个基于跨模态融合和异构适配器的RGBT跟踪框架。首先，为了解决红外和可见光模式之间的错位，我们引入了一种跨模态融合空间重校准方法。该方法包括一个高低频模块（HL Block）和一个空间重校准模块（SR Block）。HL Block模块通过可学习的低通滤波器提取低频结构特征，并通过差异建模原始特征与低频信息来获取高频细节特征。随后，分别对高频和低频特征进行加权并融合，从频域角度减轻模式间的目标错位。SR Block对融合特征进行空间重校准，然后学习跨模态偏移量以校准特定于模式的特征，从而有效地实现融合的空间重校准。其次，为了解决跨模态特征差异，我们设计了一个异构适配器（HA），由门控残差适配器（GRA）和双向自适应适配器（BA）组成。GRA采用非对称结构，使用热红外特征作为门控信号来调节融合特征表示。同时，在BA中，非线性分支捕获高频信息以补充线性适配器分支。两个分支的动态融合增强了跨模态的可区分性，同时促进了模式间的语义互补性。

我们的主要贡献如下：

1. 我们提出了一个带有异构适配器的跨模态融合RGBT跟踪框架（HATrack）。该框架融合了每种模式的高频和低频信息，以实现频率引导的空间重校准，并采用异构适配器来促进跨模式的语义特征互补性。全面实验表明，我们的方法在四个不同的数据集上实现了最先进的性能。

2. 我们设计了一个跨模态融合空间重校准模块（CFSR），该模块分解并重建不同模式的高频和低频特征。通过增强频域中的特征并建立模态特征的相关映射，有效地减轻了跨模式目标区域的空间错位。

3. 我们构建了异构适配器（HA），由门控残差适配器（GRA）和双向自适应适配器（BA）组成。GRA具有非对称结构，并结合红外信息来调节适配器输出，从而提高对目标区域的跨模态关注。BA使用非线性分支捕获高频纹理，使线性分支能够进行特征自适应补偿，并增强跨模式的语义互补性。

部分摘录

RGBT跟踪和特征重校准

可见光和热红外信息的互补融合可以显著提高跟踪器在复杂环境中的鲁棒性。由于Transformer架构在全局建模方面的优势已经得到验证（Hui等人，2023年；Li、Wang和Li，2025d年），研究人员已将它们引入RGBT跟踪任务（Gao、Zhou、Liu和Shan，2025b年；Lu、Li、Zhao、Tang和Luo，2025年；Wang等人，2024年；Wu等人，2024年；Yan和Qian，2025年），在

概述

本文提出了一种带有异构适配器的跨模态融合RGBT跟踪框架（HATrack），如图2所示。首先，红外和可见光图像通过补丁嵌入层进入跨模态空间重缩放（CFSR）模块和编码器。接下来，门控残差适配器（GRA）调整重缩放后的融合特征，同时引导编码器之间的内部信息。随后，双向自适应适配器（BA）使

实现细节

我们的实验和模型训练是在单个NVIDIA RTX 4090D GPU上使用PyTorch框架进行的，训练时批量大小为32。训练是在LasHeR数据集（Li等人，2021年）上进行的，共60个周期，每个周期包含大约60K对图像对。每五个周期进行一次验证，使用10K对图像对。学习率初始化为$3\times {10}^{?4}$，并在第45个周期后减少10倍。我们采用AdamW Loshchilov和Hutter的方法进行训练

讨论

为了进一步验证HATrack框架的有效性，我们将其与其他四种优秀方法在参数（Params）、计算复杂性（FLOPs）和推理速度（FPS）方面进行了比较，如表9所示。结果表明，与SDSTrack相似的参数规模下，HATrack在LasHeR测试集上实现了4.8%的PR提升和4.0%的SR提升，同时提供了更快的推理速度。此外，为了全面评估HATrack，我们

结论

本文提出了一种带有异构适配器的跨模态融合RGBT跟踪框架（HATrack），专门用于解决两种模式在关键区域的空间错位和信息差异问题。跨模态融合空间重校准模块对每种模式的高频和低频特征进行分解和重建，通过特征频域增强来指导重校准。这种方法提高了融合效果

CRediT作者贡献声明

王胜博：概念化、方法论、软件、数据整理、撰写——原始草稿、可视化、调查。李云峰：概念化、方法论、软件、验证。邓雷：监督。孙光凯：监督。董明利：软件、验证。朱连青：撰写——审阅与编辑。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。