FASFF：基于频域信息辅助的RGBT跟踪中的时空域特征融合方法

《Neural Networks》：FASFF: Frequency Domain Information-Aided Spatial Domain Feature Fusion for RGBT Tracking

　　摘要RGBT物体跟踪利用了RGB与热红外（TIR）两种模态的互补特性。然而，现有许多方法仅专注于单一域内的融合，无论是空间域还是频率域，未能充分挖掘多域间的互补性。这限制了各域之间的交互，使得跟踪器在恶劣条件下的稳定性较差。为通过结合空间信息和频率信息来提升特征表示能力，我们提出了一种用于RGBT跟踪的频率域信息辅助空间域特征融合框架（FASFF），该框架主要由频率域注意力增强模块（FAEM）和空频特征交互融合模块（SFFM）构成。FAEM采用了离散余弦变换注意力块（DCTAttn），用于突出有意义的频率分量并整合空间与频率域信息；同时还配备了跨模态协作注意力块（CCAttn），通过跨模态特征优化来抑制噪声，进而提升单模态特征的表现。SFFM则进一步利用空间域与频率域之间的交互，借助频率域的互补信息来优化空间域的特征表示。我们在三个基准数据集RGBT210、RGBT234和LasHeR上对FASFF进行了测试，实验结果表明，该框架在不同跟踪场景下都能保持稳定可靠的性能，证明了其在RGBT物体跟踪任务中的有效性。

引言视觉物体跟踪旨在连续定位视频序列中的特定目标，是计算机视觉领域的一项基础任务。传统的基于RGB的跟踪方法在简单且光照良好的场景中表现良好，但由于过度依赖光照条件，其在复杂环境中的性能会显著下降。相比之下，TIR图像能够捕捉物体发出的热辐射，从而生成不受环境光影响的图像。这类图像还能有效穿透烟雾等障碍物，弥补了RGB模态的固有缺陷。通过融合两种模态的互补信息——包括RGB所具备的丰富纹理和颜色细节以及TIR所呈现的稳定热轮廓——Zhang等人（2025b）提出的RGBT跟踪方法显著提升了在复杂场景中的跟踪鲁棒性和准确性。深度学习的最新进展大幅提升了RGBT跟踪的性能。早期的RGBT跟踪器主要依靠手工设计的特征和相关性过滤技术来进行目标表示与定位。随后，基于CNN的方法引入了深度多模态特征提取和特征融合策略，以提高特征表示能力和跟踪稳定性。最近，由于在建模长距离依赖关系及跨模态交互方面具有更强的能力，基于Transformer的框架已成为主流方案。诸如STMT（Sun等人，2024）、ViPT（Zhu等人，2023）、MCTrack（Hu等人，2024）、MambaVT（Lai等人，2025b）以及QSTNet（Ding等人，2025）等代表性方法，通过时空令牌交互、提示学习、模态相关性建模以及时间上下文聚合等方式，提升了多模态特征表示的能力。尽管这些方法效果显著，但现有的大多数RGBT跟踪器仍严重依赖空间域特征表示。空间特征主要捕捉语义外观和局部结构信息，因此容易受到光照变化、热交叉、运动模糊以及背景干扰的影响。在模态质量不可靠的复杂场景中，仅依靠空间域建模往往难以维持稳定的目标识别能力和结构一致性。近期的一些研究开始引入频率域建模，以提升系统对外观退化及模态不一致性的抵抗能力。FHAT（Lei和Li，2024）采用频率混合感知机制来建模低频跨模态交互；FFE（Zhang等人，2025a）则通过基于FFT的特征增强技术，在进行多阶段模态融合之前强化模板和搜索区域的特征表示。最新一代方法VFPTrack（Yang等人，2026）则引入了傅里叶提示调优技术，能够自适应地调节频率域中的模态特征表示。这些研究表明，频率域特征表示能够有效捕捉光谱一致性、结构模式以及纹理相关信息，而这些信息对光照变化和模态退化的敏感度较低。不过，现有的频率感知型RGBT跟踪器仍存在若干局限性。大多数方法仅将频率域建模用于针对特定模态或特定区域的特征增强，而在多模态融合过程中对频率域信息的利用仍然相对有限。此外，频率特征通常在独立的模块中进行处理，这可能限制了RGB与TIR两种模态之间互补的频率感知信息的有效利用。为解决上述问题，我们提出了一种全新的频率域信息辅助空间域特征融合框架（FASFF），用于RGBT跟踪。与那些主要针对特定模态进行光谱增强的现有频率感知型RGBT跟踪器不同，FASFF通过空频交互，将频率感知特征明确纳入多模态融合过程。具体而言，我们设计了频率域注意力增强模块（FAEM），通过基于DCT的注意力机制和跨模态协作交互，提升具有区分度的频率感知特征表示。此外，我们还提出了空频特征交互融合模块（SFFM），该模块通过跨注意力机制和基于傅里叶的特征交互，实现空间特征与频率特征之间的相互作用。通过同时建模跨模态交互与空频协作，FASFF能够充分利用RGB和TIR两种模态的互补信息，提升系统在复杂条件下的稳定性。为清晰展示现有特征处理方法与我们所提方法的差异，图1展示了三种典型的RGBT特征处理策略。如图1(a)所示，大多数现有的RGBT跟踪器采用空间域特征提取与多模态融合的方式。近期的频率感知方法则引入了频率域分析，用于增强特定模态或区域的特征（图1(b)），但这些方法未能在多模态融合过程中充分挖掘频率信息的作用。与我们提出的方法不同，FASFF将频率域特征融入到空间域融合过程中（图1(c)），从而有效提升了RGB与TIR两种模态之间的特征互补性聚合能力。我们的主要贡献如下：•我们提出了用于RGBT跟踪的频率域信息辅助空间域特征融合框架（FASFF），该框架将空间信息与频率信息整合到一个统一的跨模态架构中，充分发挥二者之间的互补优势，从而实现有效的跨域交互，生成更具区分度的RGBT跟踪特征。•我们设计了频率域注意力增强模块（FAEM），其中的离散余弦变换注意力块（DCTAttn）能够突出有意义的频率分量，并整合空间域与频率域的信息；而跨模态协作注意力块（CCAttn）则通过优化跨模态特征来抑制噪声，从而共同提升各模态内的特征表示质量。•我们提出了空频特征交互融合模块（SFFM）。该模块首先通过跨注意力机制实现RGB与TIR特征之间的交互，促进互补信息的交换；随后，通过空间域的卷积操作和频率域的傅里叶运算同时对增强后的特征进行优化；最后，这些特征再相互交互，形成统一的特征表示。•我们在三个主流的RGBT基准数据集（RGBT210、RGBT234和LasHeR）上进行了大量实验。实验结果表明，与现有的最先进跟踪器相比，FASFF具备出色的整体性能，这充分证明了FAEM和SFFM的有效性。相关代码可在https://github.com/L-ui139/FASFF地址获取。

片段一RGBT物体跟踪得益于RGB与TIR两种模态的互补特性，这一领域已经取得了显著进展。早期的RGBT跟踪器主要依靠手工设计的特征或浅层学习框架来利用跨模态的互补性。例如，Li等人（2016）提出了一个协作式稀疏表示框架，用于建模跨模态关系；而Mei等人（2024）则设计了一种基于空间频率的跟踪器，该跟踪器整合了多频率信息。

方法论本节介绍了用于RGBT跟踪的频率域信息辅助空间域特征融合框架（FASFF）。该框架通过两个核心模块——频率域注意力增强模块（FAEM）和空频特征交互融合模块（SFFM）——来增强频率域特征，并实现跨模态的空频交互。通过同时在空间域和频率域充分利用RGB与TIR两种模态的互补信息，FASFF...

实现细节我们采用PyTorch框架来实现该模型，所有实验均在配备48GB HBM3内存的NVIDIA L20 GPU上进行。训练时采用32个样本的批量大小，损失函数的相关超参数参考了Hui等人（2023）以及Ye等人（2022）的研究成果。优化器选用AdamW，权重衰减系数为10?4，固定学习率为10?4。该模型仅在LasHeR数据集上训练15个周期，大约需要4小时时间。在评估阶段，我们在...

结论在本研究中，我们提出了FASFF——一种用于RGBT跟踪的新型空频特征融合框架，该框架将跨模态特征增强与空间域及频率域信息交互相结合。与那些仅依赖空间域特征进行融合的现有方法不同，FASFF能够同时利用空间域和频率域的互补信息，从而提升特征的区分度以及跨模态对齐的准确性。具体而言，FAEM模块运用了DCT算法...

致谢本研究部分得到了中国国家重点研发计划项目（编号2024YFB2605500）、湖南省自然科学基金项目（编号2025JJ50379）、长沙理工大学南方地区桥梁长期性能提升工程技术国家地方联合实验室开放基金项目（编号25KE01）以及中国国家自然科学基金项目（编号U25B20211）的支持。Jianming Zhang|Jun Long|Yonghang Liu|Lunfu Yu|Lei Wang