STLTrack：基于双内存协同感知的稳健无人机目标跟踪技术

《Neurocomputing》：STLTrack: Dual-memory cooperative perception for robust UAV object tracking

　　

Lanxue Dang|Menghao Ping|Changwei Miao|Shanming Huang|Huiyu Mu|Yan-e Hou

河南大学计算机与信息工程学院，中国河南开封，475004

摘要

作为航空智能感知系统中的关键技术，无人机目标跟踪在复杂的动态环境中面临诸多挑战。目标物往往会出现显著的外观变化，并且容易长时间被遮挡，这使得现有方法难以同时满足快速响应和跨时间稳定性这两个相互矛盾的要求。受生物视觉系统中短期记忆和长期记忆协同机制的启发，我们提出了一种名为STLTrack的双记忆协同感知框架，用于实现更可靠的无人机目标跟踪。该框架通过明确建模不同时间尺度下短期记忆和长期记忆的功能差异与互补性，有效解决了因外观波动和历史信息利用不足导致的跨时间不稳定性问题。我们设计了基于生物启发的短期记忆感知模块，通过快速聚焦当前帧中瞬时的显著区域，实现逐帧的短时间尺度感知增强。长期记忆感知模块则负责维护高质量的历史特征表示，为长时间跨度内的目标跟踪提供稳定的语义支持。此外，还设计了动态记忆门控融合模块，用于融合短期记忆和长期记忆的特征，并通过通道和空间门控对融合后的表示进行优化，从而在不同的跟踪条件下提升语义区分度和空间可靠性。在多个无人机跟踪基准测试上的实验结果表明，STLTrack在大多数指标上均表现出优异或领先的性能，尤其是在面对具有挑战性的无人机跟踪场景时，其精确度和稳定性尤为突出。

引言

作为智能感知系统的核心组成部分，无人机目标跟踪在军事侦察、交通监控和灾难救援等重要应用中发挥着不可或缺的作用[1]、[2]。近年来，随着深度卷积神经网络[3]和Transformer架构[4]的快速发展，跟踪算法在特征表示和识别能力方面取得了显著进步。然而，现有的主流方法大多仍局限于数据驱动的模式匹配范式[5]。这些方法往往缺乏智能视觉系统所具有的关于连续时空感知的认知先验，因此难以模仿生物视觉的本能，从而在连续的时空流中清晰地理解目标物体。正因如此，无人机跟踪任务在实现跨时间检测稳定性和跟踪鲁棒性方面仍面临严峻挑战。

在现实世界中，生物视觉具备在复杂且长期变化的场景中持续感知和定位目标物体的强大能力[6]。当目标物体被遮挡或消失后，生物视觉系统能够在其重新出现时迅速恢复跟踪。认知神经科学的研究表明[7]，在处理连续的视觉流时，生物视觉系统并非简单地线性积累信息，而是采用多层记忆系统来选择性地保留并动态更新信息。具体而言，短期记忆和长期记忆之间的协同作用[8]、[9]、[10]使得视觉系统能够在快速处理即时刺激的同时，长期保持目标物体核心特征的稳定表示。这种跨时间尺度的整合机制是生物视觉能够在环境不确定的情况下依然保持强大目标感知能力的基石。

相应地，在计算机视觉和智能感知领域，无人机目标跟踪也面临着类似的跨时间稳定性问题。在低空快速移动、视角频繁变换以及剧烈运动、遮挡和背景干扰等条件下，视觉线索会出现显著波动，从而导致模板与搜索区域之间的外观一致性下降。这种外观一致性的降低会随着时间的推移积累误差，使得模型难以维持连贯的目标表示，进而影响其在动态场景中的跨时间稳定性。

现有的方法通过引入之前的帧图像来缓解时间不稳定性，逐渐将建模视角从单帧空间域扩展到联合时空建模。然而，对时间信息的建模仍然相对有限。大多数方法[11]、[12]仅将历史信息视为当前帧的辅助补充，未能建模不同时间尺度下信息的功能差异。因此，无人机跟踪中的时间建模方法在面对剧烈的外观变化或遮挡时，往往缺乏快速的适应能力，同时也难以在长序列中保持稳定且一致的目标表示[13]。现有方法的瓶颈根本在于缺乏针对时间信息的层次化分配和动态检索逻辑，导致无法准确区分短期快速响应和长期特征整合这两种不同的需求。

受生物视觉中层次化记忆感知机制的启发，我们提出了一种用于无人机跟踪的短期记忆和长期记忆协同跟踪框架（STLTrack）。在该框架中，短期记忆感知模块旨在捕捉与当前帧中目标物体高度相关的即时感知线索，从而帮助系统快速适应外观变化和局部遮挡。此处所说的短期记忆是从功能角度出发的生物启发式概念，指的是快速的短时间尺度感知处理，而非明确的跨帧存储。而长期记忆则负责存储在不同时间尺度下稳定且具有辨识度的特征，为目标的恢复跟踪提供全局参考。通过实现这种基于生物启发的双记忆机制，我们提升了系统对多尺度特征的动态建模和自适应融合能力，从而更好地满足无人机跟踪场景中对快速响应和稳定跟踪的双重需求。此外，为防止长期记忆库被可信度低的样本污染，我们还设计了一种基于置信度的记忆更新策略，该策略会在存储历史信息之前对其可信度进行评估，只保留那些具有长期参考价值的记忆。

总之，本研究的主要贡献有两大方面：

• 1.
  受生物视觉中短期记忆感知与长期记忆协同作用的启发，我们提出了一种仿生双记忆跟踪框架。该框架通过明确建模短期快速适应和长期稳定表示的功能角色，将生物记忆的协调机制转化为一种具有时间一致性意识的计算模型，从而实现了更可靠的无人机目标跟踪。
• 2.
  我们提出了一种双门控动态融合机制，该机制首先在共享的表示空间内整合短期记忆和长期记忆的特征，然后再通过通道和空间调制对融合后的表示进行重新调整。这种融合后的进一步优化提升了特征的语义区分度和空间可靠性，从而促进了不同时间尺度下记忆特征之间的有效协同。

章节摘录

基于时间建模的跟踪方法

在目标跟踪中，时间建模旨在利用连续视频帧之间的依赖关系，描述目标物体外观和运动随时间的演变情况[14]、[15]。通过引入时间线索，这类方法能够弥补那些仅依赖单帧空间表示的方法的局限性，从而在动态变化的场景中提高系统的稳定性。现有的时间建模方法[16]、[17]、[18]、[19]大致可以分为

整体架构

我们构建了一个包含短期记忆感知和长期记忆感知的双路径框架。首先将模板帧和当前的搜索帧输入到一个基于Vision Transformer（ViT）[42]的共享主干网络中，以提取初始的层次化特征表示。短期记忆感知模块则采用动态焦点感知机制，自主聚焦于搜索区域内的关键区域，从而快速捕获显著的视觉线索

数据集与评估指标

为了全面评估所提出的方法，我们在多个标准的无人机基准数据集上与现有的先进跟踪方法进行了广泛比较，这些数据集包括DTB70 [45]、UAV123 [46]、UAVDT [47]、UAVTrack112 [48]、UAV123@10fps [46]以及VisDrone2018 [49]。这些数据集涵盖了多种无人机应用场景，从低空航空摄影和交通监控，到包含快速移动目标、遮挡现象和密集人群的场景等

结论

受生物视觉认知机制的启发，我们提出了STLTrack这一由短期记忆和长期记忆协同驱动的无人机目标跟踪框架。该方法有效解决了在复杂且动态的无人机场景中普遍存在的跨时间稳定性不足和快速适应能力欠缺的问题。与那些对历史信息采用统一建模方式的现有策略不同，我们明确区分了短期记忆和长期记忆的功能角色

CRediT作者贡献说明

Lanxue Dang：指导工作。Menghao Ping：论文撰写——审阅与编辑、论文撰写——初稿撰写、可视化处理、验证工作、软件开发、方法设计、研究实施、数据整理、概念构思。Changwei Miao：指导工作。Shanming Huang：指导工作。Huiyu Mu：论文撰写——审阅与编辑、指导工作、方法设计。Yan-e Hou：指导工作。

利益冲突声明

作者声明，他们不存在任何可能影响本文研究结果的已知财务利益或个人关系。

致谢

本研究得到了河南省高校科技创新团队支持计划（编号24IRTSTHN021）、河南省自然科学基金青年项目（编号252300420954）、河南省重点研发计划（编号261111211600和261111212000）以及河南省研究生教育改革与质量提升项目（编号YJS2024JD30）的支持。

Lanxue Dang于2014年在中国河南开封的河南大学获得地图学与地理信息系统专业博士学位。他是河南大学计算机与信息工程学院的计算机科学教授，同时担任河南大学大数据分析处理重点实验室的主任。他的研究工作得到了中国国家自然科学基金、国家发展和改革委员会以及其它相关机构的资助