一种用于鲁棒 RGB-T 融合与跟踪的双流自监督协同网络

《ACM Transactions on Intelligent Systems and Technology》：Dual-Stream Self-Supervised Synergistic Network for Robust RGB-T Fusion and Tracking

　　RGB-T跟踪是一项具有挑战性的任务，因为存在各种障碍，包括遮挡、光照变化、热交叉等问题。然而，现有研究仅关注多模态交互或融合设计，而忽视了在面临挑战时对鲁棒性的有效处理。此外，这些范式天真地将两种模态进行融合，而没有考虑一种协同主导的融合方案。为了解决这些问题，我们提出了DS?Net，即用于鲁棒RGB-T融合与跟踪的双流自监督协同网络。首先，与传统单一流范式不同，我们引入了一种新颖的双流架构，以两种不同版本的RGB-T模态作为输入进行自监督训练，以实现平衡的目标表示学习与定位，从而解决由挑战性场景引起的目标外观偏差问题。然后，为了有效连接两个流，我们设计了一个模态互惠适配器（MRA），它在训练阶段增强了两流之间目标外观线索与目标背景信息之间的协同交互。此外，为了增强跟踪的鲁棒融合，我们引入了协同主导多模态融合（CDMF），旨在通过双流提供的挑战性条件下的波动性模态身份来学习，并协同利用主导模态和辅助模态，以实现更鲁棒的融合。最后，在三个RGB-T基准数据集（即LasHeR、RGBT234和RGBT210）上进行的大量实验证明了所提出方法的优越性和卓越性。具体而言，我们在LasHeR上达到了71.1%的PR，在RGBT234上达到了88.4%的PR，在RGBT210上达到了87.1%，均超越了主流方法。