SPTC：用于高光谱目标跟踪的光谱提示与时间上下文融合

《Signal Processing: Image Communication》：SPTC: Spectral prompt and temporal context integration for hyperspectral object tracking

　　

• •
  我们提出了一种光谱-时序提示模块，该模块将学习到的光谱信息与历史上下文线索相结合，并仅通过少量额外参数将其注入基础跟踪模型中。
• •
  设计了一种基于Mamba的上下文传播机制，并结合模板更新，以持续优化历史信息并增强上下文表征学习。
• •
  采用两种互补的降维方法来提取光谱信息，在减少波段冗余的同时丰富光谱表征，并最大程度地保留关键信息。
• •
  在HOT2024和IMEC25数据集上进行的广泛实验证明了所提算法的有效性。

引言

高光谱目标跟踪（HOT）旨在利用高光谱视频实现对单个动态目标的自动、准确跟踪。与传统RGB跟踪相比，它能够从数百个连续光谱波段中捕获丰富的信息，并且对光照变化、阴影等干扰具有更强的适应能力，为目标识别与跟踪提供了一条新的技术途径[1]、[2]、[3]、[4]、[5]。

早期的高光谱目标跟踪方法主要采用基于相关滤波的方法[6]、[7]、[8]。Tang等人[6]利用高光谱图像生成两幅伪彩色图像并将其输入基于相关滤波的跟踪器中，将两个分支的输出结合以获得联合估计。Hou等人[7]提出了一种张量稀疏相关滤波器，并结合空间光谱加权正则化器用于高光谱目标跟踪，进一步提升了该方法的特征判别能力和尺度适应能力。由于手工设计特征可能导致目标外观建模中的跟踪漂移，一系列基于深度学习的高光谱跟踪器应运而生[9]、[10]、[11]、[12]、[13]、[14]、[15]。Li等人[9]结合空间、光谱和时序注意力机制来建模波段关系，以实现更好的深度特征提取。Chen等人[15]设计了一种多模态生成适配器，以弥合差距并激活基础模型的先验知识，同时通过光谱-空间适配器增强光谱-空间特征的表征能力。然而，基于深度学习的跟踪器通常依赖于预训练的RGB跟踪器，无法充分利用高光谱语义特征，导致泛化能力较差。一些方法[14]、[16]、[17]、[18]、[19]尝试通过降维或手动选择的方式将高光谱图像转换为伪RGB图像作为跟踪器输入，但这种方法可能导致光谱信息丢失，从而影响性能。另一些方法[11]、[12]、[20]选择处理所有波段信息，它们通常将输入的光谱信息划分为若干组三通道图像进行分别处理，然后融合获得的跟踪结果。为了充分利用高光谱视频中的材质和运动信息，Chen等人[21]提出了一种新颖的高光谱跟踪器，实现了目标运动感知与材质线索的融合。Li等人[22]引入了一种材质引导的多视角融合网络，结合伪彩色图像信息、高光谱信息和材质信息，以实现更丰富的特征聚合。尽管这些方法取得了良好的性能，但决策级融合导致计算负担和延迟增加，且包含完整光谱波段往往导致光谱冗余，从而限制了整体测量效率。由于大规模高光谱视频数据集的稀缺，高光谱目标跟踪方法通常依赖于预训练的RGB模型，在完全微调过程中容易出现过拟合。此外，时序上下文的利用不足也限制了其在复杂场景中对目标形变和遮挡的鲁棒性。

基于Transformer的跟踪器通过利用全局特征聚合和灵活的标记级交互，在视觉跟踪中取得了有前景的性能[23]。然而，标准Transformer相对于序列长度的二次复杂度可能在建模视频序列中的长程依赖关系时增加计算成本。最近，Mamba和状态空间模型作为一种替代的序列建模方法也受到关注，因为它们能够以线性时间复杂度捕获长程上下文信息[24]。这些最新进展为我们所提模型的设计提供了有用的背景和上下文。

基于上述分析，本文提出了一种新颖的高光谱目标跟踪框架以实现鲁棒的目标跟踪。所提方法结合了提示学习（PL）模块和两种互补的光谱降维策略，以有效利用光谱信息，从而减轻传统波段选择的偏差并增强光谱特征表征的鲁棒性。进一步利用Mamba架构的隐状态来建模和传播跨帧的历史上下文信息。为了整合光谱提示与时序上下文（SPTC），我们设计了一种双流跟踪架构，其中一个流专注于学习判别性的光谱表征以改善目标与背景的可分离性，另一个流进行时序建模以捕获长程运动依赖关系。这种组合使我们能够利用Transformer的全局建模能力进行逐帧表征，并利用Mamba高效地进行序列建模的时序传播，在高光谱目标跟踪任务中实现了精度与效率之间的良好平衡。此外，引入了一种轻量级模板更新网络，以维持历史上下文的可靠性并提高对目标外观变化的鲁棒性。整体框架如图1所示。

本文的贡献总结如下。

• •
  我们提出了一种光谱-时序提示模块，将学习到的光谱信息与历史上下文线索相结合，并通过少量额外参数将其注入基础跟踪模型中。
• •
  设计了一种基于Mamba的上下文传播机制并结合模板更新，以持续优化历史信息并增强上下文表征学习。
• •
  采用两种互补的降维方法来提取光谱信息，在减少波段冗余的同时丰富光谱表征，并最大程度地保留关键信息。
• •
  在HOT2024和IMEC25数据集上进行的广泛实验证明了所提算法的有效性。

本文的组织结构如下。第1节介绍引言内容。第2节回顾相关工作。第3节详细介绍所提方法。第4节报告实验结果与分析。最后在第5节总结全文。

章节摘要

视觉对象跟踪

在采用Transformer架构之前，对象跟踪方法主要分为基于相关滤波和基于深度学习的两大类。相关滤波跟踪器[25]、[26]、[27]计算效率高，但依赖于手工设计特征，对遮挡、形变和光照变化的鲁棒性有限。随着深度学习的兴起，基于孪生网络的跟踪器成为主流。SiamFC[28]建立了基本的孪生跟踪范式，而

方法

在本章中，我们将详细介绍我们的SPTC模型。如图2所示，该框架包含波段选择、块嵌入、Mamba层和提示融合模块（MPFM）模块、模板更新机制以及预测头。该框架以OSTrack[39]作为基础模型。

实验

在本节中，我们将所提跟踪器与最先进的方法进行比较。我们首先描述所使用的数据集和评估标准，然后讨论实验的实现细节，接着与各最先进跟踪器的结果进行比较和分析并进行可视化，最后进行消融实验与分析。

结论

本文提出了一种整合光谱线索信息和历史上下文信息的高光谱目标跟踪器。通过引入光谱线索模块，我们在避免局部优化导致全局信息丢失的同时，确保了空间定位的准确性。结合Mamba层提取历史上下文信息，在与主干网络迭代中学习多层光谱-时序信息，从而实现鲁棒的跟踪。此外，模板

CRediT作者贡献声明

马宏雨：撰写—审阅与编辑，撰写—原始草稿，软件，资源，方法论，资金获取，正式分析，数据管理，概念构思。钱昆：撰写—审阅与编辑，监督，资源，项目管理，方法论，资金获取，数据管理，概念构思。陈佳灵：撰写—审阅与编辑，可视化，验证，资源，调查研究。

利益冲突声明

作者声明，他们不存在已知的、可能影响本文所报告工作的经济利益冲突或个人关系。

致谢

本工作得到无锡太湖学院高层次人才科研启动基金（2023r017）和国家自然科学基金委员会（T2600750）的资助。

马宏雨|钱昆|陈佳灵