基于视觉提示学习的高光谱目标跟踪网络(VPH)：跨模态迁移学习新范式

针对高光谱目标跟踪(HSOT)数据集规模小导致全参数微调性能受限的问题，西安研究人员提出视觉提示学习网络(VPH)。该研究通过冻结RGB预训练模型参数，创新性引入高光谱提示模块和适配器模块，以极低计算成本实现跨模态知识迁移，在基准测试中取得最优性能，为小样本多模态学习提供新思路。

　　

【研究背景】
在安防监控和遥感探测等领域，目标跟踪技术犹如"数字世界的猎手"，而高光谱图像(HSI)因其连续光谱特征成为"火眼金睛"的代名词。然而这个"超级视觉"面临尴尬困境：虽然HSI能穿透RGB图像难以分辨的伪装（如迷彩与植被光谱差异），但现有高光谱跟踪数据集规模不足RGB数据的千分之一，迫使研究者们像"削足适履"般将RGB预训练模型全参数微调，既浪费计算资源又难以突破性能瓶颈。更棘手的是，传统跨模态方法如HA-Net、SSATFN等或依赖复杂网络结构调整，或采用简单的加权融合，犹如"盲人摸象"难以捕捉光谱-空间特征的协同关系。

【技术方法】
西安研究团队开发的VPH网络采用三模块架构：1）冻结参数的Transformer主干网络保留RGB域知识；2）可训练的高光谱提示模块通过轻量级参数（仅占模型总量0.1%）实现HSI到RGB的模态适配；3）头部网络结合自适应特征融合策略。实验采用两个主流HSOT基准数据集，评价指标包含精度(Precision)和成功率(Success Rate)。

【研究结果】
方法论
网络架构创新性采用"冻结-提示-适配"三级设计：Transformer主干保持ViT-base结构；提示模块包含光谱嵌入层和空间注意力子模块，将HSI的31个波段压缩至3个特征通道；适配器通过低秩矩阵微调调整特征分布。

实验
在HSOT-352和HSOT-108数据集上，VPH的AUC值分别达到0.712和0.698，较最优基线提升5.2%。消融实验显示提示模块使计算量降低67%，适配器加速收敛速度达3倍。跨模态测试证实其光谱泛化能力优于ViPT等现有方法。

【结论与意义】
该研究开创性地将提示学习引入高光谱跟踪领域，其价值犹如"四两拨千斤"：1）理论层面，证实冻结主干+可训练提示的"冰山架构"在跨模态任务中的优越性；2）实践层面，VPH的推理速度达45FPS，满足实时需求；3）方法论层面，为小样本多模态学习提供普适框架。正如研究者Haijiao Xing等指出，这种"参数经济型"设计尤其适合医疗影像等数据稀缺场景，未来可扩展至多光谱病理图像分析等领域。论文成果发表于《Pattern Recognition Letters》，相关代码已开源。