多目標跟踪(MOT)旨在保持跨視頻帧的目標身份一致性(Jiao, Wang, Bai, Chen, & Liu, 2023)。隨著人重新識別(ReID)技術的快速進步(Luo, Gu, Liao, Lai, & Jiang, 2019),最近的MOT方法(Aharon, Orfaig, & Bobrovsky, Huang, Yang, Sun, Kim, Kim, Lee, Huang, Hwang, 2024)利用深度模型(Zhou, Yang, Cavallaro, & Xiang, 2019)提取判別性視覺表示,同時結合來自對象檢測器輸出的空間提示(Ge, Liu, Wang, Li, & Sun, 2021),从而在多樣化場景中提高跟踪的魯棒性(Liu, Li, Zhou, Li, Duan, 2024, Ren, Hu, Xi, Li, Fan, Liu, 2025, You, Wang, Bian, Sun, Yu, Wu, 2025)。然而,在體育轉播視頻中,攝像機不斷調整其視角以跟蹤不可預測的球體運動,導致高度非線性的目標運動模式。傳統的在线跟踪器依赖于使用卡爾曼滤波器(Kalman, 1960)的線性運動預測,在建模由快速和不規則的攝像機運動引起的軌跡扭曲方面存在固有侷限。為了解決這一挑戰,最近的進步(Huang, Yang, Sun, Kim, Kim, Lee, Huang, Hwang, 2024, Yang, Odashima, Masui, Jiang, 2023)集中在改善空間匹配策略上,實現在動態攝像機視角下的穩定目標定位。
儘管最近的空間匹配策略可以在動態攝像機運動下改善目標定位,但它们仍然不足以解決以頻繁重新進入事件為主的體育轉播場景中的身份歧義問題。與一般MOT基准(Dendorfer, Rezatofighi, Milan, Shi, Cremers, Reid, Roth, Schindler, & Leal-Taixé, Milan, Leal-Taixe, Reid, Roth, & Schindler)不同,後者主要受到擁擠場景、密集交互和長時間遮擋的影響,而體育轉播的特點是頻繁的攝像機切換和球員在場地上的連續流動,導致多目標重新進入事件的反複發生。體育特有的重新進入模式使得多個運動員從相似的進入邊界和空間區域重新出現,使得空間接近性成為身份關聯的不可靠提示,增加了身份切換的风险。如图1(a)所示,當多個運動員在攝像機視野內重疊時,部分遮擋可能降低外觀特徵的可靠性並削弱空間區分度。遮擋後,當運動員從附近的邊界或重疊區域重新進入可觀測區域時,恢復的觀測可能具有高視覺和空間相似性。
此外,如图1(b)所示,可以觀察到連續可視性和重新進入條件之間的關鍵區別。當運動員保持連續可見且無遮擋時,嵌入分佈通常以時間平滑的方式演變,偏差最小,表明特徵行為穩定。相比之下,當運動員退出後再次進入畫面時,生成的嵌入可能與其歷史特征有显著偏差。這些偏差通常是由姿態變化、邊界遮擋或攝像機視角變化引起的。
為了解決由動態攝像機運動引起的體育轉播場景中頻繁重新進入所导致的身份碎片化和關聯挑戰,我們提出了SRITrack,这是一个具有重新進入身份增強功能的在線多目標跟踪框架。為了減輕由邊界遮擋引起的重新進入跟踪失敗,重新進入身份清理器(RIS)自适应地过滤在畫面進入和退出附近視覺不足的檢測,確保身份特徵僅從可靠的視覺證據中更新。此外,插件軌跡對齊器(PTA)通過身份一致的特征融合來增強ReID訓練,使模型能够學習身份內部的外觀變化並適應目標重新進入場景時的特征變化。最後,通過RIS保留更可靠的边界框並在訓練期間通過PTA強化外觀表示的學習,視覺主導的雙門關聯(VP-DGA)在空間提示不可区分時增加對視覺相似性的依賴,从而减少不同運動員在接近或重疊位置出現時的錯誤重新關聯。
我们在兩個廣泛使用的大規模體育基準测试集SportsMOT(Cui et al., 2023)和SoccerNet-Tracking(Cioppa et al., 2022)上進行了廣泛的評估,這兩個基準測集都以頻繁的攝像機運動和由動態轉播視角引起的目標重複進入為特點。在SportsMOT上,SRITrack實現了85.2%的HOTA(高階跟踪精度)(Luiten et al., 2021)、91.3%的IDF1(身份F1分數)(Ristani, Solera, Zou, Cucchiara, & Tomasi, 2016)和96.5%的MOTA(多目標跟踪精度)(Bernardin & Stiefelhagen, 2008),證明了它在頻繁重新進入的體育轉播中有效增強了身份連續性。在SoccerNet-Tracking上也觀察到了一致的改進,SRITrack實現了89.6%的HOTA、87.7%的IDF1和98.3%的MOTA,進一步展示了其在多樣化體育轉播場景中的魯棒性。SRITrack的源代碼和實現細節可在
https://github.com/kaoyuyukao/SRITrack獲得。
總之,所提出的方法提供了以下關鍵貢獻:
1.我們提出了SRITrack,这是一个用於體育轉播的在线多目標跟踪框架,明確解決了由動態攝像機運動引起的頻繁目標重新進入所导致的身份碎片化和ID切換問題。
2.我們引入了一個重新進入身份清理器(RIS),它在進入和退出時執行視覺感知的邊界篩選,防止被遮擋損壞的檢測誤導重新進入關聯。
3.我們提出了一个插件軌跡對齊器(PTA),它通過身份一致樣本之間的特征融合來規範ReID訓練,使模型能够捕捉身份內部的外觀變化並適應重新進入引起的特征變化。
4.我們開發了一種視覺主導的雙門關聯(VP-DGA)策略,它優先考慮視覺匹配,从而在運動員消失後再次出現在相同圖像邊界附近時減少錯誤的重新關聯。
5.在SportsMOT和SoccerNet-Tracking上的廣泛實驗證明了在動態攝像機運動和多目標重新進入場景下改善了身份連續性。