《Neural Networks》：A unified decision-driven framework: Long-term tracking via visual-language models with motion estimation
编辑推荐：
•我们提出了一种基于光流与相关滤波的策略，以实现高效且精确的目标跟踪。•通过多模板对比的自适应更新机制，可确保在复杂场景中的稳定性能。•我们提出了一种无需训练的在线融合框架，可将目标跟踪转化为启发式决策过程。引言近年来，视觉目标跟踪领域逐渐从纯视觉方法转向融合多模态信息的技术途径
- •
我们提出了一种基于光流与相关滤波的策略，以实现高效且精确的目标跟踪。
- •
通过多模板对比的自适应更新机制，可确保在复杂场景中的稳定性能。
- •
我们提出了一种无需训练的在线融合框架，可将目标跟踪转化为启发式决策过程。
引言
近年来，视觉目标跟踪领域逐渐从纯视觉方法转向融合多模态信息的技术途径。借助自然语言描述的目标跟踪方法通过整合语义信息，相比传统的边界框初始化方式，能够为目标描述提供更丰富、更灵活的思路（Feng, Hu, Li, Zhang, Wu, Zhang, Chen, Huang, 2025, Li, Zhong, Liang, Mo, Nong, Song, 2025, Ma, Wan, Zhang, Hu, Zhang, Zhao, 2025, Wang, Lai, Wang, Zhang, 2024b, Zhou, Zhou, Mao, He, 2023）。这类方法利用文本的抽象语义来指导具体的视觉搜索过程，从而实现更精准的目标定位与持续跟踪。与此同时，也有许多研究开始聚焦于长期视觉目标跟踪任务。作为计算机视觉领域的关键研究方向，长期跟踪旨在在较长的时间序列中持续定位特定目标（Aydemir et al., 2025），同时需要应对目标消失与重新出现、严重遮挡以及尺度发生巨大变化等复杂挑战（Huang et al., 2020）。理想的长期跟踪系统应在目标丢失时启动全局重检测机制，并在目标重新出现时迅速恢复跟踪。
然而，当前主流的长期多模态跟踪方法在实际应用中存在显著的效率问题（Maurya et al., 2024）。首先，复杂的跨模态融合模型通常需要大量的计算资源，其多层注意力机制会导致计算复杂度随输入规模呈二次方增长，从而耗费大量计算资源（Liu and Li, 2021）。其次，现有方法大多依赖端到端的联合训练策略，这不仅需要大规模的标注数据集，还存在训练不稳定和过拟合的风险。最后，现有的长期跟踪算法通常会根据前一帧的预测结果来划定局部搜索区域，而当前一帧的预测结果出现较大偏差时，局部搜索区域可能早已错过目标（Yang et al., 2023）。这些瓶颈严重限制了跟踪系统在实时场景以及资源受限设备上的应用潜力（Tan and Le, 2021）。如图1所示，为解决上述问题，我们创新性地提出了一种基于运动估计与动态融合的快速响应跟踪框架。我们的核心贡献在于构建了一种高效的层次化处理架构，具体创新点体现在以下方面：
- •
我们提出了一种基于光流与相关滤波的策略，以实现高效且精确的目标跟踪。
- •
通过多模板对比的自适应更新机制，可确保在复杂场景中的稳定性能。
- •
我们提出了一种无需训练的在线融合框架，可将目标跟踪转化为启发式决策过程。
章节要点
视觉-语言多模态跟踪
自然语言引导的目标跟踪技术通过深度整合文本描述与视觉信息，实现对目标在语义层面的精准定位。该领域的早期探索始于Li等人（2017）的开创性工作，他们首次建立了基于自然语言初始化的跟踪框架。随后，Feng等人（2019a）提出了自适应动态融合机制，分别对视觉与语言的响应特征进行建模
方法
如图2所示，我们提出了一种基于运动估计与误差补偿的无需训练的多模态后处理目标跟踪方法。该方法将目标跟踪任务从数据驱动的模型训练问题转变为基于启发式决策的在线自适应决策问题。所有组件均基于预训练模型与经典算法，无需进行任何微调或梯度更新。具体而言，当主网络的置信度得分处于
实现细节
数据集。我们分别在三个跟踪基准数据集上对VL-METrack进行了评估：OTB99（Wu et al., 2015）、LaSOT（Fan et al., 2020）以及TNL2K（Wang et al., 2021b）。OTB99包含99个视频序列，涵盖了11种典型的跟踪挑战；LaSOT提供了1400个长时长序列，用于评估长期跟踪性能；TNL2K则包含2000个带有文本标注的视频，用于视觉-语言跟踪评估。
基准测试与评估指标。我们采用了UVLTrack（Ma et al., 2024），这是一种先进的
结论
我们提出了VL-METrack，这是一种基于运动估计的强大目标跟踪方法，它将目标跟踪任务从数据驱动的模型训练问题转变为基于启发式决策的在线自适应决策问题。为解决目标跟踪网络在中等置信度区间内预测不稳定的问题，我们创新性地引入了层次化运动估计与误差校正机制。该机制利用光流估计来实现全局
CRediT作者贡献说明
刘立强：撰写——初稿、方法部分。杨玲玲：验证、数据整理。黄峰：验证。傅彦芳：撰写——审阅与编辑。冯甜甜：可视化。王舒：软件相关工作。谢安远：可视化。曹子健：监督指导。
利益冲突声明
作者声明不存在任何可能影响本文研究结果的已知利益冲突或个人关系。
致谢
本研究得到了以下机构的支持：（1）陕西省自然科学基础研究项目[项目编号2024JCYBQN-0660]；（2）自然资源部海洋环境调查技术及应用重点实验室[项目编号MESTA-2024-B002]；（3）教育部智能光电子学重点实验室[项目编号ZNGD20231010]。
Liqiang Liu|Lingling Yang|Feng Huang|Yanfang Fu|Tiantian Feng|Shu Wang|Anyuan Xie|Zijian Cao
