《Pattern Recognition Letters》：Spatio-Temporal Consistent Bird’s-Eye-View Representation for Multi-View Detection and Tracking
编辑推荐：
•通过基于可变形注意力的自适应空间融合增强BEV空间表征。•基于GRU的时间融合增强BEV跨帧时间表征。•对比学习稳定跨视角和跨时间的BEV表征。•优化的BEV解码器提升检测与跟踪性能。•在三个数据集上实现卓越的跟踪稳定性，同时保持有竞争力的检测精度。引言多目标多摄像头跟踪（
- •
通过基于可变形注意力的自适应空间融合增强BEV空间表征。
- •
基于GRU的时间融合增强BEV跨帧时间表征。
- •
对比学习稳定跨视角和跨时间的BEV表征。
- •
优化的BEV解码器提升检测与跟踪性能。
- •
在三个数据集上实现卓越的跟踪稳定性，同时保持有竞争力的检测精度。
引言
多目标多摄像头跟踪（MTMCT）旨在跨多个摄像头关联目标，在密集或杂乱环境下的智能视频监控、自动驾驶和体育分析中至关重要[1]。在许多实际部署中，摄像头的视场存在重叠，形成了一个丰富的场景，其中可以利用来自不同视角的互补信息。在这种重叠场景中，多视角检测与跟踪成为一种关键范式：它将跨视角的视觉信息整合到统一的场景表征中，从而提高检测精度和跟踪稳定性。
近年来，鸟瞰图（BEV）空间中的多视角检测与跟踪已成为主流范式。通过将重叠视角的图像特征投影到共享的地面上，BEV表征提供了一个共同的空坐标框架，能够自然地对齐多视角线索，从而实现鲁棒的空间推理、遮挡鲁棒性以及简化的跨视角关联，最终提升检测精度和跟踪稳定性。在多视角检测方面，MVDet [2]通过单应性投影构建BEV表征，但其刚性几何变换往往导致空间不对齐。MVDeTr [3]引入可变形注意力来改善跨视角对齐，但其对齐仍然依赖于单帧特征，在遮挡条件下性能可能退化。此外，这两种方法均未进行时间建模，限制了其处理动态场景的能力。对于联合检测与跟踪，EarlyBird [4]在BEV表征上联合学习检测特征和Re-ID嵌入，但它完全缺乏时间融合。TrackTacular [5]通过拼接历史BEV特征对此进行了扩展，但其静态拼接仅能捕捉短期上下文，且无法在缺乏可学习时间处理和固定窗口限制的情况下建模运动动态或长程依赖。此外，所有这些方法在学习Re-ID嵌入时，未显式地将同一目标跨摄像头和跨时间的特征拉近，使其容易受外观变化的影响。更关键的是，这些方法均未强制跨帧身份一致性，导致目标特征不稳定、轨迹碎片化，以及在严重遮挡或长时间跟踪下频繁的身份切换。
为解决上述局限性，我们提出了一个时空一致的BEV表征学习框架，该框架联合改善多视角空间对齐、时间动态建模和跨帧身份一致性，从而为检测和跟踪生成更有效的BEV特征。主要贡献如下：
- •
我们引入基于可变形注意力的自适应空间融合，将多视角特征整合到BEV表征中，改善空间对齐，从而提高检测精度。
- •
我们通过门控循环单元（GRU）融合历史BEV表征，以捕捉时间关系并减少轨迹碎片化。
- •
我们应用对比学习来增强跨帧和跨视角的身份一致性，进一步提升检测和跟踪的可靠性。
- •
我们设计了一个优化的BEV解码器，联合预测检测结果和Re-ID嵌入，提升定位和跟踪性能。
- •
我们在WildTrack、MultiviewX和Synthehicle数据集上实现了卓越的跟踪稳定性，同时保持有竞争力的检测精度。
章节摘要
多视角目标检测
使用多个同步且经过标定的摄像头来观察同一区域是应对严重遮挡下检测问题的常见方案。多视角检测系统依赖于融合重叠视场中的信息以提高精度。近年来，一系列工作聚焦于在共享的鸟瞰图（BEV）空间中融合多视角特征。在这些方法中，每个视角的图像特征被编码后投影到共同的地面上，然后合并生成统一的
整体架构
所提出的时空BEV表征学习框架联合优化空间特征融合、时间特征聚合和跨帧表征一致性，从而实现更准确的多视角检测与跟踪，如图1所示。多视角图像通过共享骨干网络编码并投影到统一的BEV空间中。基于可变形注意力的自适应空间融合对齐多视角特征，而基于GRU的时间特征融合则整合
数据集与评估指标
我们在WildTrack [26]、MultiviewX [2]和Synthehicle [27]上评估我们的方法。WildTrack覆盖一个12m × 36m的区域，有7个同步摄像头，平均每帧20名行人，每个位置由3.74个摄像头覆盖。MultiviewX是一个合成数据集，有6个摄像头覆盖16m × 25m的区域，平均每帧40名行人，每个位置有4.41个摄像头。Synthehicle是一个合成路边数据集，模拟城市交叉路口场景以进行多车辆跟踪。我们使用其场景特定的划分
结论
我们提出了一个时空一致的BEV表征学习框架，该框架联合增强多视角空间对齐、时间建模和跨帧身份一致性，以改进检测与跟踪。在WildTrack、MultiviewX和Synthehicle上的实验表明，该方法在行人和车辆跟踪场景中均展现出卓越的跟踪稳定性，同时保持有竞争力的检测精度。尽管如此，性能仍然对稀疏的摄像头覆盖和有限的视角重叠较为敏感，
数据可用性
WildTrack [26]、MultiviewX [2]和Synthehicle [27]。
CRediT作者贡献声明
胡康乐： 撰写——初稿、可视化、验证、软件、方法论、调研、形式化分析、概念化。 黄志清： 撰写——审阅与编辑、监督、资源、概念化。 张艳欣： 撰写——审阅与编辑。 张俊鹏： 资源、项目管理。
利益冲突声明
作者声明他们不存在可能影响本文所述工作的已知竞争性财务利益或个人关系。
胡康乐|黄志清|张艳欣|张俊鹏
