IAGM-TAN：一种用于多目标轨迹关联的交互式注意力图匹配网络

《Neurocomputing》：IAGM-TAN: An interactive attention graph matching network for multi-target track association

　　胡晓宇|任伟|宋洪涛|王杏梅|曾子岩中国哈尔滨工程大学计算机科学与技术学院，哈尔滨，150006摘要我们提出了IAGM-TAN，这是一种轨迹关联网络，旨在解决在复杂机动、异步观测和环境噪声条件下多目标关联的难题。与那些存在特征提取不理想和抗噪性能有限的现有方法不同，我们的方法结合了双向LSTM与注意力机制，以捕捉长期轨迹依赖性，同时保留关键运动模式。此外，我们还利用图神经网络来建模轨迹之间的拓扑关系，从而提高对稀疏或碎片化检测的鲁棒性。我们的一个重要贡献是图交互注意力模块，它能够将轨迹数据动态嵌入到结构化表示中，从而实现更具区分度的特征学习。为优化匹配过程，我们引入了可微分的Sinkhorn算法，并配备了垃圾箱机制，用于处理无法匹配的轨迹，从而实现高效的异常值剔除和端到端训练。与传统的组合优化方法相比，这种方案提高了关联精度并降低了计算开销。大量实验表明，IAGM-TAN在精度和鲁棒性方面均优于现有技术，尤其是在存在大量杂波或间歇性跟踪故障的场景中。在MTAD数据集上，我们的方法实现了94.38% 0.26的关联精度和7.25% 0.29的错误率。其优异的性能源于在单一端到端框架内对特征学习、关系推理和最优分配的全面整合，这一结论得到了全面消融研究的验证，为现实世界中的多传感器跟踪系统提供了实用解决方案。引言在信息化背景下，随着航空和导航领域的不断扩展，现代技术的复杂性也在不断增加。空间不再局限于传统的陆地、海洋和空气的三维范围，而是扩展到了空间和电磁场，而这些领域之间的联系也日益紧密[17]、[27]。因此，深入研究目标的轨迹数据不仅有助于掌握陆地、海洋和空气整合的特征变化模式及时空分布，还能提升对整体情况的全面感知能力。在复杂的监控环境中，传感器技术发挥着至关重要的作用，尤其是在目标轨迹关联研究领域[6]、[30]。在多目标密集场景和抗干扰环境中，传统的单雷达系统存在检测盲点、精度有限以及抗干扰能力不足等问题，从而导致轨迹不完整或目标丢失[13]、[18]、[25]。为了解决这些挑战，多源信息融合技术应运而生。通过整合多个传感器的数据，不仅可以获取更多信息，还能有效消除单个传感器造成的测量误差和信息不确定性，从而提高数据的准确性和可靠性[1]、[16]、[35]。在多传感器信息融合框架下，轨迹关联作为一项关键技术，旨在从不同传感器收集的轨迹数据中识别出属于同一目标的轨迹集合，从而实现多源信息的有效整合和优化[11]。其核心目标是通过关联过程将分散的观测数据统一为一致的目标运动轨迹，同时减少传感器重复检测产生的冗余信息[3]、[8]、[10]、[12]、[14]。然而，由于设备误差、环境噪声和遮挡等因素的影响，传感器测量的目标位置会偏离实际位置，从而导致单个传感器数据的可靠性不足，进而影响跟踪精度[26]、[32]。轨迹关联技术充分利用了多源数据的互补性，精确匹配同一目标的多次观测结果，降低不确定性，提高轨迹的连续性和准确性，为后续的融合和高精度目标跟踪提供可靠支持。这一过程不仅是数据优化的基础，也是在复杂环境中提升态势感知能力的关键步骤[7]。然而，在目标密集、目标移动性强且观测噪声高的场景中，多源轨迹关联问题变得极为复杂。基于统计方法[22]和模糊数学中的隶属函数来描述轨迹相似性的关联算法面临着关联精度下降以及错误关联和遗漏关联率上升等问题。错误的关联会产生不正确的目标跟踪信息和态势信息，无法为指挥决策提供可靠支持，从而影响作战行动的效率和效果。在目标密集和轨迹复杂的情形下，轨迹关联的难度显著增加，这很容易导致出现多个重复目标，从而影响对态势的正确把握以及指挥决策的有效实施。最近，Shim等人在CVPR 2025上证明了，专注于轨迹级表示而非帧级检测能显著提升在线多目标跟踪性能，这凸显了轨迹上下文和轨迹间关系的重要性[21]。受这一轨迹视角理念的启发，我们设计了IAGM-TAN，旨在共同利用轨迹历史、拓扑结构和跨传感器交互作用。为了解决这些局限性，我们提出了IAGM-TAN（基于交互注意力图匹配的轨迹关联网络），它建立了三项关键创新：•轨迹-拓扑协同建模：一种新的图交互注意力模块，能够同时考虑轨迹特征及其空间拓扑结构，有效捕捉传感器内部的一致性以及跨传感器匹配线索，以区分复杂场景。•异步不变特征学习：一种结合了BiLSTM与运动感知注意力的时间特征提取器，旨在对异步观测和数据丢失具有鲁棒性，同时保留关键的长期运动模式。•可微分全局匹配与异常值剔除：将关联任务构建为一个可通过Sinkhorn算法结合垃圾箱机制来解决的可微分最优传输问题，从而实现全局最优匹配，并自然剔除无法匹配的轨迹。在MTAD数据集上的实验验证表明，IAGM-TAN具有优越性能，其关联精度为94.38% 0.26，错误率为7.25% 0.29。其性能提升得益于将特征学习、关系推理和最优分配全面整合在一起的统一端到端框架。相关工作轨迹关联是多目标跟踪数据处理技术中的核心环节之一，也是多雷达轨迹数据融合的先决条件。它的目的是解决两个传感器的两条轨迹是否代表同一目标的问题。关联结果将直接影响整个融合系统的性能。自20世纪70年代Singer等人提出这一课题以来，已经出现了许多优秀的轨迹关联算法。问题定义假设两个独立传感器收集的两组轨迹分别为 和 ，其中 和 分别表示传感器1和传感器2的轨迹数量。来自异步传感器的每条轨迹长度都是可变的。为了进行批量计算，轨迹会被填充到统一的长度 ，从而得到 和 。在特征提取过程中，会应用有效的掩码来忽略填充后的位置。每个点被定义为四维向量 ，包含：沿x轴的位置（）、沿模型轮廓的位置。本文概述本文将轨迹特征学习、拓扑关系推理和可微分最优分配整合到一个端到端框架中，以应对在复杂机动、异步观测和环境噪声条件下多目标轨迹关联的核心挑战。在该方法中，轨迹被表示为图结构中的节点，以捕捉其空间特征。所提出的IAGM-TAN架构由三个依次相连的部分组成。实验为了验证IAGM-TAN的性能，我们在公开的多源轨迹关联数据集上进行了对比实验和消融实验，旨在验证IAGM-TAN及其各组成部分的有效性。为了评估轨迹关联方法的性能，常用的两个评估指标是关联准确率和关联错误率。关联准确率用于衡量正确关联的比例。结论本文提出了一种交互注意力图匹配轨迹关联算法IAGM-TAN。该方法通过结合BiLSTM和注意力机制有效地提取轨迹的历史状态信息，并利用图神经网络捕捉轨迹之间的局部和全局拓扑关系。它通过图交互注意力模块将多源轨迹数据嵌入到图结构中，同时还引入了可微分的Sinkhorn算法和垃圾箱机制。CRediT作者贡献声明胡晓宇：形式分析、数据整理、概念构建。任伟：数据整理、概念构建。宋洪涛：方法论、研究、概念构建。王杏梅：资金获取、形式分析。曾子岩：方法论、研究。利益冲突声明作者声明没有已知的财务利益或个人关系可能影响本文所述的工作。致谢本研究得到了黑龙江省重点研发计划项目（编号GA23A903）、航空电子系统集成技术重点实验室、中国高校基本科研业务费项目（编号3072024XX0602）以及中国航空科学基金项目（编号202400550P6001）的支持。宋洪涛是哈尔滨工程大学计算机科学与工程学院软件工程系的副教授兼博士生导师，他是中国计算机学会的高级会员，哈尔滨市计算机学会的秘书长，2022-2023年度哈尔滨市计算机学会青年计算机科学家论坛的主席，以及黑龙江省计算机学会特别委员会工作组的副主席。他的主要研究方向为