《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》：Hyperspectral video object tracking: A review and benchmark
编辑推荐：
摘要高光谱视频目标跟踪（HVOT）利用密集的光谱特征结合空间和时间信息，在伪装、低对比度和复杂背景下支持目标判别。本工作提供了一篇综述和基准，将视觉跟踪的基础与从光谱视频中学习联系起来。首先回顾了RGB跟踪范式和数据集，以确立支撑许多HVOT方法的表示和定位机制。随后讨论扩展到多
摘要 高光谱视频目标跟踪（HVOT）利用密集的光谱特征结合空间和时间信息，在伪装、低对比度和复杂背景下支持目标判别。本工作提供了一篇综述和基准，将视觉跟踪的基础与从光谱视频中学习联系起来。首先回顾了RGB跟踪范式和数据集，以确立支撑许多HVOT方法的表示和定位机制。随后讨论扩展到多模态跟踪及其数据集，考察互补观测如何支持目标定位。这一进展为引入HVOT中的空间-光谱-时间建模提供了背景。在此基础上，通过四个互补视角组织HVOT方法：提示学习以缓解数据稀缺性、波段域差距适应、时间信息挖掘和跟踪器原型。随后总结了高光谱和多光谱视频数据集，以将这些方法论视角与其评估设置联系起来。跨多个光谱视频跟踪基准的实验考察了整体精度、不同属性下的性能、定性跟踪行为和计算效率，采用统一的评估协议。实验分析支持对HVOT当前进展和剩余挑战的综合。在多样化条件下实现可靠性能仍然是一个开放的研究问题，促使对未解决问题和未来研究方向的讨论。随附的
仓库 为研究社区提供了共享资源。
引言 高光谱（HSP）成像近几十年来发展迅速（Hong等，2026b）。它捕获的数据立方体同时保留空间结构和密集的光谱特征。与传统成像不同，HSP数据包含沿波长维度连续或准连续采样的波段，这些波段形成反映固有材料特性的光谱响应曲线（Cui等，2025）。因此，HSP图像不仅描述轮廓和纹理，还提供外观之外相对稳定的材料相关线索，支持地质制图、环境监测和植被分析等应用（图1）（Wang等，2022b）。然而，大多数传统HSP传感器依赖扫描模式，并受限于空间、光谱和时间分辨率之间的权衡。
随着无人机（UAV）平台和轻量级有效载荷的快速发展，近距HSP成像变得越来越可及，支持精细尺度观测（Qin等，2022）。然而，基于扫描的采集通常渐进采样，因此快速目标运动可能导致波段间配准误差和信息丢失。相比之下，快照光谱成像在单次曝光中获取空间和光谱信息，并以视频速率输出数据立方体（Bian等，2024）。因此，HSP或多光谱（MSP）视频通过光谱和时间观测支持动态场景理解（D. Li等，2024）。
目标跟踪是计算机视觉和遥感中的一项基本任务。给定第一帧中的初始目标状态，目标是估计其在后续帧中的状态，包括位置、尺度，有时还有运动相关属性（图2）（Javed等，2023）。然而，传统RGB视频记录三个通道，通过外观线索（如颜色、纹理和对比度）支持跟踪。在伪装、背景杂乱、小目标、光照变化和遮挡条件下，这些线索可能变得不那么具有判别性，增加漂移或跟踪失败的风险（Xiong等，2020）。相比之下，HSP视频提供密集的材料相关信息以及时间连续性，可支持目标-背景分离和状态估计。因此，它受到越来越多的关注，特别是在HSP视频目标跟踪（HVOT）领域，如图3所示。HVOT研究继续解决标注可用性、波段域差距、光谱差异、光谱碎片化和时间建模等问题。
现有综述为HVOT提供了互补基础。面向组件的综述（Qian等，2024）将跟踪算法与波段选择、特征提取、跟踪框架和模型更新联系起来。深度特征综述（Y. Wang等，2025）增加了逐阶段分析以及针对性的跨数据集和小目标实验。综合综述（Islam等，2026）将传感器采集和校准与常规、深度和时间跟踪方法联系起来。表1将这三者与本综述进行比较。在此基础上，本综述将RGB和多模态跟踪机制与四个HVOT视角联系起来：提示学习以缓解数据稀缺性、波段域差距适应、时间信息挖掘和跟踪器原型。其基准汇集了十个公共测试子集中的RGB和HSP/MSP变体，覆盖率因基准而异。HOTC20上的配对RGB/假彩色比较、原生光谱结果以及独立的NIR/RedNIR/VIS分析将表示迁移与定位、重叠质量和报告效率联系起来。
主要贡献总结如下：
(1) 提供了针对HVOT的深度学习方法聚焦综述，并从RGB跟踪到多模态跟踪和空间-光谱-时间建模建立了技术背景，这对复杂场景中的跟踪具有相关性。
(2) 从四个互补技术视角建立了现有HVOT方法的统一分类：提示学习以缓解数据稀缺性、波段域差距适应、时间信息挖掘和跟踪器原型。
(3) 一个公共协议基准在十个公共HSP/MSP基准子集上评估了超过80个RGB、HSP和MSP跟踪器变体。总体而言，属性级、定性和效率分析建立了可比较的参考结果，而所得证据支持未来在数据集基础设施、原生光谱视频建模、实际部署、统一感知、可解释性和鲁棒性方面的方向。
本文的其余部分组织如下。第2节回顾现有的RGB视频跟踪范式和基准数据集。第3节然后考察多模态跟踪方法和数据集，为从RGB跟踪到第4节HVOT综述提供桥梁。第5节呈现跨多个基准的定量和定性实验分析。第6节讨论未来研究方向，第7节总结本工作。
章节摘要 RGB视频跟踪器和数据集综述 真实场景中的鲁棒跟踪仍然困难，由于外观变化、复杂运动、尺度变化、光照波动、背景杂乱和长期遮挡（Marvasti-Zadeh等，2022）。早期跟踪器主要依赖手工特征，如方向梯度直方图（HOG）和颜色名称（CN），在轮廓跟踪、点跟踪和相关滤波框架内（Dalal和Triggs，2005；van de Weijer等，2009；You等，2019）。随着
多模态视频跟踪器和数据集综述 多模态跟踪将可见光图像与互补观测相结合（图10）（Zhang等，2024）。通过整合互补线索（图11），RGB和热红外（RGB-T）、RGB和深度（RGB-D）、RGB和事件（RGB-E）以及RGB和语言（RGB-L）为光照变化、遮挡、快速运动和语义模糊条件下的跟踪提供互补信息。在公共基准的支持下，多模态跟踪成为目标跟踪研究中的重要方向（
HVOT跟踪器和数据集综述 受上述研究背景的启发，本节通过四个视角组织HVOT方法：提示学习以缓解数据稀缺性、波段域差距适应、时间信息挖掘和跟踪器原型。提示学习涉及有限光谱监督下的适应，而波段域差距适应解决光谱输入与跟踪模型之间的表示不匹配。时间信息挖掘涉及历史观测的使用，以及
实验与分析 本节比较了具有手工特征的RGB跟踪器、具有深度特征的RGB跟踪器、HSP跟踪器和MSP跟踪器在各种基准上的表现。
讨论与展望 本节概述了HVOT的未来方向（图33）。第5节中的评估描述了输入表示、光谱子集、定位指标和计算设置之间的差异。这些观察促使对数据基础设施、光谱和时间建模、部署以及系统评估的研究。
结论 在本文中，从跟踪范式、数据集、基准评估和未来展望的角度系统考察了HVOT的深度学习。该综述追溯了从RGB和多模态跟踪到HSP特定方法的联系，涵盖手工特征和深度空间-光谱-时间表示。此外，主要HSP和MSP视频基准已被系统总结，现有跟踪器已在整体方面进行了比较
CRediT作者贡献声明 Yuzeng Chen： 写作——审阅与编辑，写作——初稿，可视化，验证，监督，资源，项目管理，方法学，资金获取，数据管理，概念化。 Qiangqiang Yuan： 写作——初稿，可视化，监督，资金获取，数据管理，概念化。 Naoto Yokoya： 写作——初稿，可视化，软件，资源，方法学，调查，形式分析，数据管理，概念化。 Junjue
利益冲突声明 作者声明，他们没有任何已知的竞争经济利益或个人关系，可能影响本文报告的工作。
致谢 我们衷心感谢编辑和审稿人提出的宝贵意见和建议。本工作得到了国家自然科学基金 （批准号424B2009和42230108）以及中央高校基本科研业务费 （批准号2042026kf0001）的部分资助。我们感谢提供基准数据的机构和研究团队。
Yuzeng Chen|Qiangqiang Yuan|Naoto Yokoya|Junjue Wang|Weihao Xuan|Hongruixuan Chen|Zhuo Zheng|Zhuohong Li|Yuqi Tang|Jun Zhou|Liangpei Zhang
