SRITrack:用于体育直播的在线多目标跟踪技术,具备重新进入物体的识别增强功能

《Expert Systems with Applications》:SRITrack: Online Multi-Object Tracking for Sports Broadcasting with Re-entry Identity Enhancement

【字体: 大 中 小 】 时间:2026年04月19日 来源:Expert Systems with Applications 7.5

编辑推荐:

  多目标跟踪系统SRITrack针对体育直播中动态相机运动和频繁目标重入问题,提出包含入口筛查模块、轨迹对齐模块和视觉优先双门控关联模块的解决方案,有效提升身份连续性并取得SportsMOT和SoccerNet-Tracking的高性能指标。

  
高宇鴻|周伯勇|林成鴻
國立臺灣師範大學電氣工程系,臺北,106,臺灣

摘要

在體育轉播視頻中保持身份一致性具有挑戰性,這是因為攝像機的動態運動和目標的頻繁重新出現,特別是當多個運動員從相似的位置重新出現時,會導致嚴重的數據關聯歧義。我們提出了SRITrack(Sports Re-entry Identity Tracking),这是一个用於體育轉播的在线多目標跟踪框架,整合了三個關鍵模块。首先,重新進入身份清理器在軌道進入和退出時執行視覺感知的邊界篩選,防止視覺證據不足的重新進入目標被錯誤關聯。其次,插件軌跡對齊器被用作訓練時的特征細化工具,它聚合了身份一致的嵌入以建模由重新進入引起的身份內部外觀變化,从而提高特征的可区分性。第三,視覺主導的雙門關聯模块優先考慮視覺相似性,以減輕由位置引起的歧義,特別是當運動員在相同的圖像邊界附近重新出現時,單純的空間接近性可能导致錯誤的關聯。在SportsMOT上,SRITrack實現了85.2%的HOTA、91.3%的IDF1和96.5%的MOTA,證明了在多目標重新進入场景中的強身份連續性。

引言

多目標跟踪(MOT)旨在保持跨視頻帧的目標身份一致性(Jiao, Wang, Bai, Chen, & Liu, 2023)。隨著人重新識別(ReID)技術的快速進步(Luo, Gu, Liao, Lai, & Jiang, 2019),最近的MOT方法(Aharon, Orfaig, & Bobrovsky, Huang, Yang, Sun, Kim, Kim, Lee, Huang, Hwang, 2024)利用深度模型(Zhou, Yang, Cavallaro, & Xiang, 2019)提取判別性視覺表示,同時結合來自對象檢測器輸出的空間提示(Ge, Liu, Wang, Li, & Sun, 2021),从而在多樣化場景中提高跟踪的魯棒性(Liu, Li, Zhou, Li, Duan, 2024, Ren, Hu, Xi, Li, Fan, Liu, 2025, You, Wang, Bian, Sun, Yu, Wu, 2025)。然而,在體育轉播視頻中,攝像機不斷調整其視角以跟蹤不可預測的球體運動,導致高度非線性的目標運動模式。傳統的在线跟踪器依赖于使用卡爾曼滤波器(Kalman, 1960)的線性運動預測,在建模由快速和不規則的攝像機運動引起的軌跡扭曲方面存在固有侷限。為了解決這一挑戰,最近的進步(Huang, Yang, Sun, Kim, Kim, Lee, Huang, Hwang, 2024, Yang, Odashima, Masui, Jiang, 2023)集中在改善空間匹配策略上,實現在動態攝像機視角下的穩定目標定位。
儘管最近的空間匹配策略可以在動態攝像機運動下改善目標定位,但它们仍然不足以解決以頻繁重新進入事件為主的體育轉播場景中的身份歧義問題。與一般MOT基准(Dendorfer, Rezatofighi, Milan, Shi, Cremers, Reid, Roth, Schindler, & Leal-Taixé, Milan, Leal-Taixe, Reid, Roth, & Schindler)不同,後者主要受到擁擠場景、密集交互和長時間遮擋的影響,而體育轉播的特點是頻繁的攝像機切換和球員在場地上的連續流動,導致多目標重新進入事件的反複發生。體育特有的重新進入模式使得多個運動員從相似的進入邊界和空間區域重新出現,使得空間接近性成為身份關聯的不可靠提示,增加了身份切換的风险。如图1(a)所示,當多個運動員在攝像機視野內重疊時,部分遮擋可能降低外觀特徵的可靠性並削弱空間區分度。遮擋後,當運動員從附近的邊界或重疊區域重新進入可觀測區域時,恢復的觀測可能具有高視覺和空間相似性。
此外,如图1(b)所示,可以觀察到連續可視性和重新進入條件之間的關鍵區別。當運動員保持連續可見且無遮擋時,嵌入分佈通常以時間平滑的方式演變,偏差最小,表明特徵行為穩定。相比之下,當運動員退出後再次進入畫面時,生成的嵌入可能與其歷史特征有显著偏差。這些偏差通常是由姿態變化、邊界遮擋或攝像機視角變化引起的。
為了解決由動態攝像機運動引起的體育轉播場景中頻繁重新進入所导致的身份碎片化和關聯挑戰,我們提出了SRITrack,这是一个具有重新進入身份增強功能的在線多目標跟踪框架。為了減輕由邊界遮擋引起的重新進入跟踪失敗,重新進入身份清理器(RIS)自适应地过滤在畫面進入和退出附近視覺不足的檢測,確保身份特徵僅從可靠的視覺證據中更新。此外,插件軌跡對齊器(PTA)通過身份一致的特征融合來增強ReID訓練,使模型能够學習身份內部的外觀變化並適應目標重新進入場景時的特征變化。最後,通過RIS保留更可靠的边界框並在訓練期間通過PTA強化外觀表示的學習,視覺主導的雙門關聯(VP-DGA)在空間提示不可区分時增加對視覺相似性的依賴,从而减少不同運動員在接近或重疊位置出現時的錯誤重新關聯。
我们在兩個廣泛使用的大規模體育基準测试集SportsMOT(Cui et al., 2023)和SoccerNet-Tracking(Cioppa et al., 2022)上進行了廣泛的評估,這兩個基準測集都以頻繁的攝像機運動和由動態轉播視角引起的目標重複進入為特點。在SportsMOT上,SRITrack實現了85.2%的HOTA(高階跟踪精度)(Luiten et al., 2021)、91.3%的IDF1(身份F1分數)(Ristani, Solera, Zou, Cucchiara, & Tomasi, 2016)和96.5%的MOTA(多目標跟踪精度)(Bernardin & Stiefelhagen, 2008),證明了它在頻繁重新進入的體育轉播中有效增強了身份連續性。在SoccerNet-Tracking上也觀察到了一致的改進,SRITrack實現了89.6%的HOTA、87.7%的IDF1和98.3%的MOTA,進一步展示了其在多樣化體育轉播場景中的魯棒性。SRITrack的源代碼和實現細節可在https://github.com/kaoyuyukao/SRITrack獲得。
總之,所提出的方法提供了以下關鍵貢獻:
  • 1.
    我們提出了SRITrack,这是一个用於體育轉播的在线多目標跟踪框架,明確解決了由動態攝像機運動引起的頻繁目標重新進入所导致的身份碎片化和ID切換問題。
  • 2.
    我們引入了一個重新進入身份清理器(RIS),它在進入和退出時執行視覺感知的邊界篩選,防止被遮擋損壞的檢測誤導重新進入關聯。
  • 3.
    我們提出了一个插件軌跡對齊器(PTA),它通過身份一致樣本之間的特征融合來規範ReID訓練,使模型能够捕捉身份內部的外觀變化並適應重新進入引起的特征變化。
  • 4.
    我們開發了一種視覺主導的雙門關聯(VP-DGA)策略,它優先考慮視覺匹配,从而在運動員消失後再次出現在相同圖像邊界附近時減少錯誤的重新關聯。
  • 5.
    在SportsMOT和SoccerNet-Tracking上的廣泛實驗證明了在動態攝像機運動和多目標重新進入場景下改善了身份連續性。
  • 小節片段

    人重新識別

    由於運動員之間的高視覺相似性、頻繁的遮擋以及轉播畫面中的有限視覺分辨率,人重新識別仍然具有挑戰性。為了解決這些挑戰,Spindle Net(Zhao et al., 2017)通過將人體外觀分解為基於姿態估計的結構化身體區域來引入身體級視覺描述符,从而提高了對遮擋和姿態變化的魯棒性。SportsReID(Comandur, 2025)進一步提高了細粒度身份識別

    提出的方法

    在本節中,我們介绍了所提出的SRITrack框架,該框架旨在解決體育轉播場景中由頻繁重新進入事件引起的身份不穩定性問題。为此,SRITrack整合了三個關鍵模块,即RIS、VP-DGA和PTA,以在目標在動態攝像機運動下退出並隨後重新進入攝像機視野時保持身份一致性。整個框架明確面向重新進入,強調魯棒的身份恢復,而不是假設

    實驗

    本節展示了所提出的SRITrack框架的實證評估。首先,我們描述了研究中使用的数据集和實驗協議。然后,我们将SRITrack與SportsMOT和SoccerNet-Tracking基準測集上的现有跟踪方法進行了比較。最後,我们对框架的關鍵模块进行了消融研究,并提供了分析性可视化來展示其有效性。

    討論

    儘管SRITrack在體育轉播場景中表现出強性能,但在應用到其他環境時仍存在一些限制。首先,在嚴重遮擋的場景中(Dendorfer, Rezatofighi, Milan, Shi, Cremers, Reid, Roth, Schindler, & Leal-Taixé, Milan, Leal-Taixe, Reid, Roth, & Schindler, Sun, Cao, Jiang, Yuan, Bai, Kitani, Luo, 2022),由於密集交互和快速視覺變化,可靠的身份關聯變得具有挑戰性。當外觀提示

    結論

    SRITrack整合了三個關鍵組件,以解決由動態攝像機運動和頻繁多目標重新進入引起的體育場景中的身份碎片化和ID切換問題。首先,RIS采用基於視覺的邊界篩選來抑制進入和退出區域附近的不可靠檢測,防止不可靠的邊界觀測誤導重新進入關聯。其次,PTA通過跨相同身份樣本的身份感知特征聚合來細化ReID訓練,使

    CRediT作者貢獻聲明

    以下是“SRITrack:具有重新進入身份增強功能的體育轉播在線多目標跟踪”的CRediT作者貢獻聲明:
  • •
    高宇鴻:概念化;方法論;軟件;形式分析;原始草稿的撰寫。
  • •
    周伯勇:數據策展;調查;驗證;可视化;撰寫——審查和編輯。
  • •
    林成鴻:監督;資金獲取;項目管理;資源;撰寫——審查和編輯。
  • 利益衝突聲明

    作者聲明他們沒有已知的競爭財務利益或個人關係可能影響本文報告的工作。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号