基于多粒度自适应融合的 RGB-T 目标跟踪方法

《Scientific Reports》：RGB-T object tracking method based on multi-granularity adaptive fusion

　　

摘要

RGB-T跟踪利用RGB和热红外（TIR）的互补模态，在低光照或恶劣天气等 challenging 条件下实现鲁棒的性能。虽然基于Transformer的近期跟踪器能有效建模跨模态交互，但它们通常依赖固定分辨率的特征，这限制了它们对目标尺度大幅变化的适应性。此外，卷积神经网络（CNN）和Transformer特征的简单融合可能引入表示差异，并降低跟踪性能。为了解决这些问题，我们提出了MGAFTracker，一种基于多粒度自适应融合的新型RGB-T跟踪器。所提出的MGAFTracker由两个关键组件组成：(1) 一个多粒度特征金字塔（MGFP）模块，该模块在多个空间尺度和感受野中提取和精炼分层CNN特征，以构建多粒度表示；(2) 一个跨域特征再校准（CDFR）模块，该模块通过从Transformer特征中导出的通道级调制权重动态再校准CNN特征，从而在Transformer编码器内实现自适应融合。在两个公开RGB-T跟踪基准上的大量实验证明了MGAFTracker的有效性。