纯变压器在分离式和在线多目标跟踪中是否有效？

《ACM Transactions on Multimedia Computing, Communications, and Applications》：Is a Pure Transformer Effective for Separated and Online Multi-Object Tracking?

本文提出基于有向无环图（DAG）的Transformer架构（PuTR），有效解决多目标跟踪中的长时关联问题，实验表明其在多个数据集上表现优于传统在线方法，且支持实时应用。

　　

摘要

多目标跟踪（MOT）的最新进展在分离的基于检测的在线跟踪范式中取得了显著的成功，尤其是在短期关联任务上。然而，长期跟踪仍然是一个挑战。虽然基于图的方法通过将轨迹建模为全局图来解决这一问题，但由于它们的非在线特性，这些方法不适用于实时应用。在本文中，我们回顾了轨迹图的概念，并提出了一种新的视角，即将它们表示为有向无环图。这种表示可以使用按帧排序的对象序列和二进制邻接矩阵来描述。我们观察到，这种结构与Transformer注意力机制天然契合，使我们能够使用经典的Transformer架构来建模关联问题。基于这一见解，我们引入了一个简洁的Pure Transformer（PuTR）来验证Transformer在统一分离的在线MOT中的短期和长期跟踪方面的有效性。在四个不同的数据集（SportsMOT、DanceTrack、MOT17和MOT20）上进行的广泛实验表明，与现有的基础在线方法相比，PuTR有效地建立了一个坚实的基准，并表现出更强的领域适应能力。此外，分离的特性使得训练和推理更加高效，使其适用于实际应用。实现代码和训练好的模型可在https://github.com/chongweiliu/PuTR获取。