基于降维技术和时空谱建模的高光谱目标跟踪

《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》：Hyperspectral object tracking with dimensionality reduction and spatial–spectral–temporal modeling

　　传峰李 | 王静 | 张珏 | 陈蒂琪 | 傅观一曼 | 王江涛 | 卢建峰
淮阴师范学院计算机科学与技术学院，中国淮安223300

**摘要**
由于丰富的光谱带能够实现材料识别，高光谱对象跟踪在性能上显著优于传统的基于彩色视频的跟踪方法。然而，现有的高光谱对象跟踪方法存在两个关键限制：一是由于光谱带冗余，难以学习具有区分性的特征；二是完全建模空间-光谱-时间（SST）依赖性面临挑战。为了解决这些问题，我们提出了一种新的基于视频的高光谱跟踪框架DRSST-Net，该框架将维度降维模块与上下文感知的SST建模模块相结合。维度降维模块采用了一种非线性的、数据驱动的加权策略，其中包含了带内区分块和带间权重块。这种设计在抑制光谱冗余的同时增强了异质性，从而提高了材料识别能力。上下文感知的SST建模模块通过结合Mamba架构和专家混合（MoE）机制，将空间-光谱特征与时序上下文信息整合在一起。Mamba用于捕捉时间依赖性，而MoE则动态激活与任务相关的专家模块，以提高在不同场景下的适应能力。在四个基准数据集（如HOT2020、HOT2022、IMEC25和MUST）上的广泛实验表明，我们的DRSST-Net取得了先进的跟踪性能，提高了跟踪准确性和鲁棒性。源代码将发布在https://github.com/hscv/DRSST-Net。

**引言**
视觉对象跟踪（VOT）是计算机视觉中的一个基本任务，其核心目标是在整个视频序列中准确定位目标对象（Xie等人，2024；Wu等人，2015）。近年来，基于各种平台（如彩色视频（Kang等人，2025；Ye等人，2022）、通用无人机（UAV）（F. Zhu等人，2023；Xue等人，2025）和卫星视频（Zhou等人，2025；Chen等人，2024b）捕获的传统视频的跟踪方法取得了显著进展。然而，由于传感器的固有限制，这些跟踪器在复杂场景中（如低分辨率或背景 clutter）常常遇到困难，因为在这种情况下对象与背景的区分变得极其困难。相比之下，高光谱视频（HSVs）使用快照光谱成像系统捕获数据，该系统能够在单次曝光中获取三维的空间-光谱数据立方体（Xiong等人，2017）。HSVs中丰富的光谱带使跟踪器能够准确描述对象的物理属性，这为在复杂场景中的鲁棒跟踪提供了强大的材料区分能力（Liu等人，2022；Y. Chen等人，2024）。尽管具有这些优势，但由于相邻光谱带之间的高相关性，高光谱数据存在严重的带宽冗余问题（Jia等人，2022；Hong等人，2019）。这种冗余不仅阻碍了具有区分性的材料信息的有效学习，还给计算和存储资源带来了沉重的负担，从而降低了跟踪的准确性和效率（Dong等人，2022）。现有的高光谱跟踪器通常通过两种主要策略利用光谱带：一些方法采用光谱自表达（Z. Li等人，2023）或带感知注意力机制（W. Li等人，2023）将高光谱图像分解为多个三通道数据，然后通过预训练的大型彩色图像/视频的骨干网络进行深度特征提取；另一些方法则通过带相似性（Zhao等人，2025b）或带间空间注意力（Wu等人，2024）等技术将高光谱图像转换为单一的三通道数据以进行后续深度特征提取。然而，这两种方法都有明显的缺点。前者方法保留了大部分光谱带用于高光谱对象跟踪，利用跨光谱带的异质信息来学习空间-光谱特征，但忽略了维度冗余问题，导致计算成本高昂且限制了材料信息的有效提取。相反，后者方法虽然缓解了维度冗余问题，但不可避免地丢弃了有价值的光谱带，从而限制了对异质信息的全面利用和材料识别能力的提升。因此，现有的高光谱跟踪器在平衡光谱带间的冗余和异质性方面面临困难，有效利用这两种属性以提高材料识别能力是一个主要挑战。
高光谱视频跟踪的另一个核心挑战在于建模空间、光谱和时间信息之间的全局依赖性。大多数现有的高光谱跟踪器（Liu等人，2022；J. Zhu等人，2023；Tan等人，2025；Chen等人，2024a）是基于图像的方法，主要关注静态的空间-光谱特征，而很大程度上忽略了动态时间信息。在尺度变化、变形或光照变化等复杂场景中，这种忽略常常导致跟踪不准确和鲁棒性不足（Kang等人，2025；Xie等人，2024）。尽管一些高光谱跟踪器尝试通过模板更新引入时间信息（Zhao等人，2025b；Gao等人，2026），但它们对基于外观的更新的依赖限制了它们利用视频序列中嵌入的更丰富上下文信息的能力。为了解决这个问题，一些基于视频的高光谱跟踪器（Chen等人，2025c；Chen等人，2025b）引入了少量额外的标记，通过自回归查询机制将时间信息注入空间-光谱特征中。然而，仅用少量查询标记编码时间上下文不可避免地会导致大量信息丢失。受Kang等人（2025）的启发，另一种解决方案是利用时间建模技术（例如Mamba Gu和Dao，2024），这些技术可以在隐藏状态中保留关键上下文信息，从而捕捉连续帧之间的动态依赖性，实现联合SST建模。然而，这种方法通过对所有参数进行统一激活来利用Mamba进行时间上下文建模，这限制了在需要细粒度特征表示的任务（如对象跟踪）中的性能提升。因此，如何在确保鲁棒跟踪的同时有效捕捉空间、光谱和时间信息之间的全局依赖性仍然是一个关键挑战。
为了解决这些挑战，我们提出了一种新的基于视频的高光谱对象跟踪框架DRSST-Net，该框架将维度降维（DR）模块与上下文感知的SST建模模块相结合，如图1所示。与传统降维方法（例如PCA Bi和Du，2024；Greenacre等人，2022）不同，DR模块通过采用数据驱动的非线性加权方法消除了光谱带的冗余信息，克服了固有线性和适应能力有限的限制。它学习任务驱动的带重加权，以强调信息丰富的光谱带并抑制冗余光谱带，为对象跟踪提供更具区分性的表示。DR模块由两个专门的块组成：带内区分块用于增强光谱带间的异质性，带间权重块则应用加权融合，将所有光谱带的互补信息适配性地整合到紧凑的表示中并抑制冗余。这两个块使DR模块能够在抑制显著带宽冗余的同时突出关键异质信息，从而促进材料识别信息的有效学习。此外，为了联合建模空间、光谱和时间信息之间的全局依赖性，上下文感知的SST建模模块通过结合Mamba（Gu和Dao，2024）和专家混合（MoE）（Riquelme等人，2021；Y. Li等人，2025；Masoudnia和Ebrahimpour，2014）来适应性地融合空间-光谱特征与时间上下文信息。Mamba通过隐藏状态保留并传输时间上下文信息，而MoE可以有效地应用于高光谱跟踪器，通过动态激活最相关的专家模块来处理各种具有挑战性的场景（Sun等人，2025）。这种协同作用使模型能够学习出鲁棒的空间-光谱表示，从而在各种场景中实现更好的跟踪性能。最后，我们在四个高光谱视频数据集（包括HOT2020（Xiong等人，2020）、HOT2022（Xiong等人，2022）、IMEC25（Chen等人，2022）和MUST（Qin等人，2025）上评估了提出的DRSST-Net。实验结果表明，我们的方法在跟踪准确性方面取得了与最先进的高光谱跟踪器相比的一致性和显著改进。

**贡献总结如下：**
1. 我们提出了一种新的高光谱对象跟踪框架DRSST-Net，通过减轻光谱冗余并在统一的建模范式中有效整合空间、光谱和时间信息，实现了具有区分性和鲁棒性的跟踪。
2. 维度降维模块采用非线性的、数据驱动的加权方法，抑制冗余信息的同时增强光谱带间的异质性，从而提高了高光谱跟踪的特征区分能力。
3. 上下文感知的SST模块将空间-光谱特征与时序上下文信息适配性地融合。通过结合Mamba和专家混合（MoE），我们的方法有效捕获并传播时间信息，提高了在不同具有挑战性场景中的跟踪鲁棒性。
4. 在四个基准高光谱视频数据集（包括HOT2020、HOT2022、IMEC25和MUST）上进行了广泛的实验，DRSST-Net始终表现出先进的跟踪性能，证明了我们方法的有效性。

**本文的其余部分组织如下：**
第2节 surveys 相关工作。第3节介绍提出的DRSST-Net框架及其主要模块。第4节报告实验结果、比较评估和局限性。最后，第5节总结工作并概述结论。

**章节摘要**
**高光谱对象跟踪**
现有的高光谱跟踪器大致可以分为两类：时间不可知的高光谱跟踪器（Z. Li等人，2023；J. Zhu等人，2023）和时间感知的高光谱跟踪器（Xiong等人，2025；Chen等人，2025b；Zhao等人，2025a；Jiang等人，2025）。时间不可知的高光谱跟踪器通常建立匹配模型，以识别当前帧中最类似于初始对象模板的区域。例如，Z. Li等人（2023）...

**提出的方法**
在本节中，我们介绍了提出的DRSST-Net框架的总体架构，提供了其设计的全面概述。随后，我们详细描述了核心模块，包括维度降维模块、上下文感知的SST建模模块、预测头模块和损失函数。

**实验**
在本节中，我们介绍了实验设置，包括网络实现细节、评估指标和高光谱数据集的描述。然后，我们将提出的DRSST-Net与最先进的高光谱跟踪器进行了比较，定量结果和定性分析都证明了其优越性能。此外，还进行了消融研究，以检查提出的框架中关键组件的贡献。

**结论**
在本文中，我们提出了一种新的基于视频的高光谱对象跟踪框架，以解决两个关键挑战：光谱带冗余和SST依赖性建模不足。通过结合维度降维模块和非线性数据驱动的加权策略，该提出的方法有效抑制了带宽冗余，同时增强了光谱带间的异质性，从而提高了跟踪区分能力。此外，上下文感知的SST建模模块...

**作者贡献声明**
传峰李：撰写——原始草稿、可视化、软件、方法论、调查、形式分析、数据整理。
王静：撰写——审阅与编辑、验证、监督、方法论。
张珏：撰写——审阅与编辑、验证、形式分析。
陈蒂琪：撰写——审阅与编辑、验证、方法论。
傅观一曼：撰写——审阅与编辑、可视化、方法论、形式分析。
王江涛：撰写——审阅与编辑、资源整理、形式分析。

**利益冲突声明**
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文所述的工作。

**致谢**
本工作部分得到了淮安科技基础研究计划（Grant HAB2025019）的支持。