《Electronics》:An Adaptive Appearance Template Updating Method for Online Multi-Object Tracking
编辑推荐:
在线外观模板更新影响多目标跟踪中后续数据关联的稳定性。在StrongSORT中,外观模板采用固定系数的指数移动平均(EMA)进行更新。在遮挡、误检或特征噪声下,该策略会将异常观测写入历史模板,从而增加身份切换次数。本研究在不改变StrongSORT匹配架构或轨
在线外观模板更新影响多目标跟踪中后续数据关联的稳定性。在StrongSORT中,外观模板采用固定系数的指数移动平均(EMA)进行更新。在遮挡、误检或特征噪声下,该策略会将异常观测写入历史模板,从而增加身份切换次数。本研究在不改变StrongSORT匹配架构或轨迹管理规则的前提下,仅修改外观模板更新阶段,提出一种自适应外观模板更新方法。该方法从外观一致性、运动一致性、轨迹成熟度和检测置信度估计观测可靠性。将估计的可靠性用于动态调整历史外观模板的保留系数,使可靠观测能更快地被整合。此外,针对潜在不可靠观测引入软冻结弱更新机制,采用更高的历史模板保留系数以抑制异常特征对模板的污染。在MOT17消融数据集上的消融实验表明,在多目标跟踪准确率(MOTA)基本保持稳定的情况下,该方法将StrongSORT的身份切换次数从296降低至206,降幅约30.4%。因此,证据支持在评估的StrongSORT设置下能更好地抑制离散的身份切换事件,而非对所有跟踪指标产生均匀改进。
论文解读:基于观测可靠性的自适应外观模板更新方法研究
**研究背景与问题**
多目标跟踪(Multi-Object Tracking, MOT)是计算机视觉的基础任务,广泛应用于智能监控、自动驾驶、交通分析和机器人感知等领域。当前主流在线MOT方法多遵循基于检测的跟踪范式(tracking-by-detection),即逐帧生成检测结果,结合运动与外观线索进行帧间关联与轨迹维护。身份一致性(identity consistency)是稳定跟踪的关键指标,而身份切换(Identity Switch, IDSW)在严重遮挡、目标频繁交互及高外观相似度场景中尤为突出。StrongSORT作为这一范式的典型代表,采用固定系数的指数移动平均(Exponential Moving Average, EMA)更新外观模板。然而,在遮挡、误检或特征噪声等低质量观测条件下,该策略会将异常观测写入历史模板,导致模板污染,进而增加身份切换次数。现有研究多从检测利用策略、运动建模或外观关联角度改进,如ByteTrack保留低分检测、OC-SORT构建观测中心虚拟轨迹、BoT-SORT融合相机运动补偿等,但较少针对外观模板更新阶段本身进行优化。因此,本研究聚焦于在不改变StrongSORT匹配架构与轨迹管理规则的前提下,仅改进外观模板更新阶段,以抑制模板污染并减少身份切换。
**研究内容与结论**
研究人员提出一种基于观测可靠性的自适应外观模板更新方法。该方法从外观一致性、运动一致性、轨迹成熟度和检测置信度四个维度构建观测可靠性分数,并据此动态调整历史模板保留系数,使可靠观测更快写入模板。同时,针对潜在不可靠观测引入软冻结弱更新机制,抑制异常特征对模板的污染。消融实验在MOT17消融数据集上进行,结果表明,该方法在MOTA基本保持稳定的情况下,将StrongSORT的身份切换次数从296降至206(降幅约30.4%),但HOTA和IDF1改善有限,说明主要收益集中在IDSW抑制而非全局关联指标。在MOT20消融数据集上,IDSW从1010降至848(降幅约16.0%),但HOTA和IDF1略有下降,表明场景特征和误差持续时间会影响全局指标。该论文发表在《Electronics》。
**主要关键技术方法**
研究人员使用的主要关键技术方法包括:(1)观测可靠性建模:综合外观一致性(余弦相似度映射)、运动一致性(马氏距离的高斯核映射)、轨迹成熟度(累积成功匹配次数的指数映射)和检测置信度(线性映射),通过加权平均得到综合可靠性分数;(2)动态模板保留系数映射:根据可靠性分数在预设上下界之间自适应调整保留系数,实现EMA更新速度的动态调节;(3)软冻结弱更新机制:定义冻结可靠性(不含轨迹成熟度项),通过阈值判断是否激活软冻结,若激活则使用固定高保留系数进行弱更新,否则使用动态EMA更新。所有实验在MOT17和MOT20消融数据集上进行,均使用YOLOX-X检测器和LightMBN重识别网络,代码基于PyTorch和BoxMOT工具箱实现。
**研究结果总结**
**4.1 实验设置**:实验在配备Intel Core i7-14650HX处理器和NVIDIA GeForce RTX 4060 GPU的计算机上进行,软件平台为Ubuntu 20.04,使用Python 3.9、PyTorch 2.7.1和CUDA 12.6。评估指标包括HOTA、MOTA、IDF1和IDSW。在MOT17和MOT20消融数据集上,对比了StrongSORT基线及BoostTrack、BoT-SORT、ByteTrack、Deep OC-SORT、OC-SORT等方法。
**4.2 消融实验**:在MOT17消融数据集上,基线StrongSORT的IDSW为296。仅引入软冻结机制后,IDSW降至244;仅引入动态EMA(dynEMA)后,IDSW降至216;两者结合后,IDSW进一步降至206,较基线减少90次身份切换,降幅约30.4%。IDF1从80.86略升至80.88,HOTA从68.07升至68.49,说明IDSW抑制效果显著,但全局指标提升有限。
**4.3 模板更新参数分析**:在固定动态EMA配置下,引入软冻结可将IDSW从216降至206,IDF1从80.57升至80.88。较小的历史模板保留系数有利于快速整合可靠观测,而软冻结机制在低可靠性观测时保留更多历史信息,两者共同平衡模板适应性与污染抑制。
**4.4 对比实验**:在MOT17消融数据集上,所提方法将StrongSORT的IDSW从296降至206(降幅30.4%),HOTA提升0.42点,MOTA提升0.03点,IDF1提升0.02点。在MOT20消融数据集上,IDSW从1010降至848(降幅16.0%),但HOTA下降0.71点,IDF1下降1.05点,MOTA仅下降0.01点。这表明主要收益集中在IDSW抑制,而全局关联指标受场景特征和误差持续时间影响。与BoostTrack、BoT-SORT等方法相比,所提方法在IDSW上表现更优,但综合指标不及前者,因为后者修改了检测利用、运动建模或关联成本等更多环节。
**讨论与结论**
研究中,讨论部分指出,所提方法的主要证据是相对于StrongSORT基线在IDSW上的受控降低,而非对所有当代MOT系统的全面优越性。IDSW计数离散的身份切换事件,而IDF1和HOTA反映更长时间间隔内的身份正确性与关联质量。少量错误关联可能持续更长时间,产生较少离散切换但降低全局关联质量;此外,在MOT17上选择的超参数可能无法最优地迁移到更密集的MOT20场景。因此,优势集中在IDSW抑制,而非所有跟踪指标。
**研究结论**:本研究针对StrongSORT在低质量观测下固定系数EMA外观模板更新策略导致的模板污染问题,在不改变原始匹配架构或轨迹管理规则的前提下,提出了一种基于观测可靠性的自适应外观模板更新方法。该方法从外观一致性、运动一致性、轨迹成熟度和检测置信度构建观测可靠性,利用动态模板保留系数控制可靠当前观测的写入比例,并为潜在不可靠观测设计软冻结弱更新机制以抑制异常特征对历史模板的污染。实验结果表明,相对于StrongSORT,该方法能有效减少离散身份切换事件,同时MOTA基本保持稳定。在MOT17上,IDSW从296降至206(降幅约30.4%);在MOT20上,IDSW从1010降至848(降幅约16.0%),但HOTA和IDF1分别下降0.71和1.05点。这些发现表明,所提更新策略的主要观测收益是IDSW抑制,而其对全局关联指标的影响取决于场景特征和误差持续时间。未来工作将研究更鲁棒的可靠性建模、系统性参数分析、与数据关联策略的联合优化以及跨跟踪器评估。