《Information Fusion》：FA-PHD: A budgeted Focus-of-Attention framework for robust visual multi-target tracking
编辑推荐：
•预算化FA出生框架实现了主动的、空间感知的深度学习-贝叶斯融合。•固定预算重分配防止了检测噪声引起的目标数量漂移。•锚点引导提取修剪了冗余分量以实现精确的状态报告。•在交通/人群数据上实现了卓越精度和实时速度（约51 FPS）。引言多目标跟踪（MTT）是视频监控、智能交通和
- •
预算化FA出生框架实现了主动的、空间感知的深度学习-贝叶斯融合。
- •
固定预算重分配防止了检测噪声引起的目标数量漂移。
- •
锚点引导提取修剪了冗余分量以实现精确的状态报告。
- •
在交通/人群数据上实现了卓越精度和实时速度（约51 FPS）。
引言
多目标跟踪（MTT）是视频监控、智能交通和自动驾驶中的核心能力[1]、[2]。其主要目标是从以杂波、遮挡和有限分辨率为特征的高噪声测量中联合估计时变的目标数量及其状态。经典范式，如多假设跟踪（MHT）[3]和联合概率数据关联（JPDA）[4]，试图显式解决测量与目标之间的关联问题。虽然在稀疏场景下有效，但随着测量密度和场景复杂度的增加，其对组合假设的依赖导致了不可接受的计算成本。
为了解决这些计算瓶颈，提出了基于随机有限集（RFS）的算法[5]、[6]、[7]。通过将目标和测量视为无序有限集，RFS方法避免了显式数据关联，并在贝叶斯框架内直接传播多目标分布。这一可扩展的范式已成功应用于实时多目标估计。一个突出的例子是概率假设密度（PHD）滤波器，它传播多目标后验的一阶矩（强度）来绕过组合复杂性[8]。在线性高斯模型中，这产生了高斯混合PHD（GM-PHD）滤波器[9]。如集数化PHD（CPHD）[10]和集数平衡多伯努利（CBMeMBer）[11]滤波器等扩展提供了具有不同集数建模权衡的替代近似方法。带标签的RFS滤波器，包括LMB和GLMB，显式维护轨迹标识[12]、[13]、[14]，尽管它们通常会带来更高的计算需求。
在传统雷达式或基于仿真的传感设置中，标准RFS递推通常假设相对稳定的统计模型。在此框架中，出生强度起着重要作用。当目标进入位置未知时，传统上采用全局均匀出生强度，但这种无信息先验在计算上是浪费的，且对动态变化不敏感。因此，自适应出生研究发展了检测引导的以及前扫描或当前扫描的PHD/CPHD公式[15]、[16]、[17]、[18]，测量历史、预滤波和递归RANSAC的GM-PHD构造[19]、[20]、[21]，以及自适应多伯努利、GLMB、多传感器和PMBM初始化方案[22]、[23]、[24]、[25]、[26]。这些方法通过不同的控制手段替换均匀先验，包括估计的出生率、存在概率、贝叶斯初始化和假设截断，而不是单一的通用测量驱动规则。然而，直接将原始测量转换为出生支撑可能在杂波急剧增加时导致冗余初始化。
最近，深度检测的进展使得检测器输出在视觉跟踪中越来越可靠和信息丰富。因此，一些研究探讨了在检测跟踪（TBD）流程中使用RFS滤波器处理检测器输出[27]、[28]、[29]、[30]。这些尝试展示了RFS滤波作为检测后无训练状态估计层的潜力，但简单地插入RFS递推并不能使其内部出生机制适应视觉检测的特征。深度检测器提供置信度分数和边界框几何信息，但其输出也包含虚警、质量波动和遮挡导致的漏检。因此，研究人员通过将出生强度置于高置信度检测处或根据场景统计调整模型可靠性，将测量驱动的出生[31]、[32]、[33]和参数调整策略[34]、[35]应用于视觉跟踪。这些适应方法改进了检测器信息的使用，但实际的检测器不确定性是空间结构的：虚警和漏检往往集中在特定区域[36]、[37]。无论是直接将检测转换为出生分量，还是在场景级别调整模型概率，都不能明确区分由此产生的局部预测-检测冲突。
我们认为这一局限性源于以场景范围的方式处理证据和计算资源，而在任何给定时刻，只有少数位置具有信息量。人类视觉注意机制很好地解释了这一现象[38]。如图1所示，人类注意是有限的资源[39]，意味着观察者无法以相同的精度监视每个坐标点。将注意力分散得太薄可能导致观察者错过新出现的物体或忽视逐渐从视野中消失的目标。相反，选择性地关注新目标可能出现的区域或已跟踪目标可能丢失的区域，使得这些事件在发生时就能被捕获，从而对环境噪声具有高度韧性。
受此资源有限聚焦原理的启发，我们提出了一个预算化的焦点注意（FA）出生框架，并将其实例化到PHD递推中以形成所提出的FA-PHD滤波器。与标准被动滤波器或无差别的测量驱动方法不同，FA-PHD引入了一个冲突感知的、预算化的选择性注意框架，将有限的出生强度重新分配到两个互补的分支：新目标注意分支用于在高概率区域初始化目标，再初始化分支用于在疑似遮挡区域恢复目标。这种结构实现了即时目标初始化和弥合漏检导致的轨迹间隙，同时固定资源预算防止了总出生质量随噪声检测增长，并限制了集数漂移。此外，为了解决这种主动注入引起的分量冗余，我们设计了一个精细的锚点引导结构感知提取模块，在FA锚点周围选择代表性的后验分量。最终，所提出的方法将视觉证据与滤波器递推相结合，并改进了深度检测器非平稳不确定性下的跟踪鲁棒性。
我们的主要贡献如下：
- (1)
我们提出了FA-PHD滤波器，集成了焦点注意（FA）出生框架。通过将出生强度视为有限资源，并结构化地重新分配到潜在新目标区域和疑似漏检位置，它提高了跟踪精度，同时防止了集数估计随检测噪声漂移。
- (2)
在FA-PHD滤波器中，设计了锚点引导结构感知提取（AGSE）模块来对抗由主动强度注入引起的分量冗余。它将自适应阈值与锚点引导优先级相结合，以抑制重叠的高斯分量，确保可靠的集数估计。
- (3)
所提出的滤波器在高动态和密集人群的挑战性基准上进行了全面评估。大量实验表明，FA-PHD在OSPA误差上始终优于代表性RFS滤波器，同时保持了实用的在线效率，建立了一个可扩展的预算化融合框架，用于稳定RFS滤波器以应对非平稳检测不确定性。
本文其余部分组织如下。第2节介绍问题表述和基线GM-PHD滤波器。第3节详细介绍了所提出的焦点注意（FA）出生框架。第4节描述了锚点引导结构感知提取（AGSE）模块。实验结果和分析在第5节中提供。最后，第6节总结了全文。
章节摘要
问题表述
在本节中，我们首先简要回顾了PHD（GM-PHD）滤波器的高斯混合实现，然后指定了本文中使用基于检测器的视觉GM-PHD跟踪模型。所有后续开发都基于此基线，通过重新设计出生和状态提取阶段来进行改进。
焦点注意出生模型（FA-birth）
为紧密耦合视觉检测和RFS滤波，我们开发了一种嵌入GM-PHD框架中的检测驱动双路径出生机制，形成了所提出的焦点注意PHD（FA-PHD）滤波器。核心流程如图2所示。在每一帧中，FA-PHD首先在检测和预测分量之间进行互斥匹配，将高置信度未解释的检测（潜在新目标）与未验证的预测（疑似漏检目标）分开。在
锚点引导结构感知状态提取
虽然FA-birth机制提高了响应性并减少了背景虚警，但其在公式(45)中的主动注入也可能将多个高斯分量集中在同一新目标或漏检目标锚点周围。因此，后验GM-PHD密度可能包含围绕同一物理目标的近似重复分量。因此，直接应用传统的固定阈值提取或仅根据估计的目标数选择最大权重分量可能会产生
测试场景与输入配置
为评估所提出的FA-PHD滤波器的有效性，我们基于标准基准建立了两个实验场景。这些场景被选择用于严格测试滤波器在两种不同传感极端条件下的鲁棒性：高速交通动态和密集人群遮挡。通过隔离这些属性，我们旨在验证所提出的深度学习-贝叶斯融合机制在特定压力条件下的有效性。
高动态交通场景。该场景源自
结论
借鉴选择性注意的认知原理，我们提出了FA-PHD滤波器，将被动出生模型转变为主动的、预算感知的深度学习-贝叶斯融合框架。具体而言，通过将出生强度重新定义为有限的计算资源，并结构化地重新分配到对应潜在新目标和疑似漏检位置的信息区域，所提出的方法明确解决了局部检测器误差与全局
CRediT作者贡献声明
王鹏：撰写初稿、可视化、验证、软件、方法论、调查、概念化。严丽萍：审阅与编辑、监督、资源、方法论、经费获取。夏元清：审阅与编辑、资源。
利益冲突声明
作者声明他们不存在任何已知的可能影响本文所报告工作的竞争性经济利益或个人关系。
王鹏|严丽萍|夏元清
