编辑推荐：
人体跟踪在视频监控系统中发挥着关键作用。然而，监控视频中的人体跟踪仍然具有挑战性，因为目标通常被拍摄于远距离、仅占据少量像素并呈现显著的尺度变化。这些挑战不仅要求对小尺度、低纹理目标进行准确检测，还需要快速且鲁棒的数据关联以实现多目标跟踪（Multi-Obje
人体跟踪在视频监控系统中发挥着关键作用。然而，监控视频中的人体跟踪仍然具有挑战性，因为目标通常被拍摄于远距离、仅占据少量像素并呈现显著的尺度变化。这些挑战不仅要求对小尺度、低纹理目标进行准确检测，还需要快速且鲁棒的数据关联以实现多目标跟踪（Multi-Object Tracking, MOT）。研究人员提出了一种增强的人体跟踪方法，该方法将改进的目标检测与互补的外观和运动线索相融合。具体而言，研究人员通过引入大核可变形注意力（Deformable Large-Kernel Attention, DLKA）、动态卷积（Dynamic Convolution）和幻影卷积（Ghost Convolution）对YOLOv12进行了改进。这些组件增强了检测器在复杂背景和遮挡条件下感知小目标特征的能力，同时降低了其计算成本。将OSNet（Omni-Scale Network）外观嵌入纳入指数移动平均（Exponential Moving Average, EMA）更新框架中，构建了鲁棒的轨迹级时间外观表示，从而提高了跟踪阶段对不同个体的区分能力。大量实验表明，与包括StrongSORT和ByteTrack在内的最先进跟踪方法相比，所提出的方法实现了更准确的身份关联和更稳定的目标轨迹。
# StrongerSORT：面向鲁棒人体跟踪的增强型多目标跟踪方法——论文解读
## 一、研究背景与问题提出
人体检测与跟踪长期以来是视觉感知领域的重要研究课题，在视频监控、人员计数和事件识别等应用场景中发挥着关键作用。随着深度学习技术的发展，基于深度网络的检测与跟踪方法得到了广泛探索和应用。然而，在实际监控场景中，人体跟踪仍面临若干核心挑战：第一，传统检测器对于远距离、小尺度目标的召回率和定位精度往往不足，尤其在目标尺度变化剧烈时，检测的不稳定性会为后续跟踪提供不可靠的观测，进而增加人员计数和事件识别的误差。第二，现有模型在复杂场景下通常需要大量计算资源才能有效运行，简化模型以满足实时处理需求又常常以牺牲检测性能为代价，导致精度与计算效率之间的持续权衡困境。第三，在人群密集、交互频繁和严重遮挡的场景中，即便是微小的定位误差或短暂的漏检也可能破坏数据关联，导致轨迹碎片化（Fragmentation）和身份切换（ID Switch）增加。因此，在保证快速且鲁棒的多目标跟踪前提下，实现对远距离、小尺度、低纹理目标的准确检测，仍然是一个具有重要研究价值的难题。
## 二、研究内容与总体框架
针对上述挑战，研究人员提出了一种名为StrongerSORT的增强型人体跟踪方法。该方法遵循两阶段的多目标跟踪框架：第一阶段采用改进的YOLOv12检测器对每帧图像中的人体目标进行检测；第二阶段联合利用运动和外观信息进行数据关联，从而为各个目标生成连续的轨迹。研究人员从检测器结构改进、外观特征提取增强、运动状态估计优化以及数据关联策略调整四个维度对基准框架进行了系统性优化。具体而言，其贡献包括：（1）通过引入可变形大核注意力机制增强YOLOv12的特征提取能力，缓解因目标尺寸小、背景干扰和遮挡导致的漏检与定位不稳定问题；（2）引入动态卷积和幻影卷积（GhostConv）实现检测器的轻量化，在保持检测精度的同时降低计算复杂度，提升边缘设备部署的适用性；（3）采用OSNet作为外观特征提取器，提高视觉相似目标之间外观表示的鉴别能力，增强跨帧关联精度并减少身份切换；（4）将OSNet外观嵌入与指数移动平均（EMA）更新框架相结合，构建鲁棒的轨迹级时间外观表示。
## 三、关键技术方法
在检测器改进方面，研究人员基于YOLOv12基线模型，在C3k2模块中引入大核卷积与可变形卷积的联合机制，构建了可变形大核注意力模块（Deformable-LKA），将其部署于骨干网络（Backbone）和颈部网络（Neck），以扩展有效感受野并增强空间自适应建模能力。同时引入幻影卷积（GhostConv）和动态卷积（DynamicConv）实现轻量化特征提取，并采用加权交并比损失函数（WIoU）对边界框回归过程进行优化，利用距离注意力机制和动态非单调聚焦机制自适应地重新分配回归梯度。在外观特征提取方面，研究人员采用全尺度网络OSNet替代StrongSORT中原有的BoT外观特征提取器，通过在同一残差块内构建多尺度分支并由统一聚合门（Aggregation Gate, AG）动态融合多尺度特征，输出512维特征向量用于跨帧身份关联。在运动估计方面，引入基于噪声自适应的卡尔曼滤波器（NSA-KF），通过检测置信度驱动的测量噪声自适应调整机制，动态调节更新强度。在数据关联方面，采用EMA机制对轨迹外观状态进行在线更新，并结合线性全局匹配策略，将所有活跃轨迹与检测框同时构建二分图匹配问题，通过融合外观余弦距离与运动马氏距离的联合代价矩阵进行全局最优关联求解。实验在Windows 11操作系统上进行，使用Python 3.9.13和PyTorch 2.6.0框架，GPU加速采用NVIDIA RTX A6000（CUDA 12.4），训练和评估数据集为MOTChallenge系列中的MOT16、MOT17和MOT20。
## 四、研究结果
### 4.1 定性结果分析
研究人员在MOT17数据集上对StrongerSORT进行了可视化定性评估。结果表明，所提方法能够在多种场景条件下有效执行连续的多目标跟踪，并在复杂背景、尺度变化和部分遮挡条件下保持目标身份的一致性和连续性，展现出较强的鲁棒性和场景适应能力。在DeepSORT与StrongerSORT的直接对比实验中，研究人员选取同一视频序列进行定性比较。当目标经历短暂遮挡和部分消失后重新出现时，DeepSORT未能充分利用目标的历史外观信息和跨帧关联信息，导致目标身份从原始的ID-23切换为新的ID-86；而StrongerSORT在相同场景下始终能正确地将目标关联至原始身份ID-23，未产生错误的身份分配。此外，DeepSORT在场景中将一辆摩托车误检为行人目标并分配了检测框和身份信息，而StrongerSORT未出现此类误检，表明其提高了系统在识别真实行人目标方面的可靠性。
### 4.2 定量结果分析
研究人员将StrongerSORT与SORT、DeepSORT、ByteTrack、OC-SORT、StrongSORT、BoT-SORT、Hybrid-SORT和BoostTrack在MOT16、MOT17和MOT20三个数据集上进行了全面的定量对比。整体跨数据集趋势显示，MOT20由于人群密度更高、遮挡更严重且目标间交互更频繁，各方法的整体指标均明显下降，身份切换和轨迹碎片化显著增加。
在整体准确率方面，StrongerSORT在MOT16上取得了最高的MOTA（76.5）和HOTA（66.0）；在MOT17上IDF1提升至80.4，HOTA达到68.4，均优于对比方法；在最具挑战性的MOT20上仍取得了最高的HOTA（65.7）和最低的Frag（363）。在身份一致性方面，StrongerSORT在MOT16和MOT17上的IDF1分别达到78.1和80.4，均为各方法中的最高值，表明其跨帧身份关联的可靠性突出。在轨迹连续性方面，StrongerSORT在三个数据集上均取得了最低的Frag值，说明其轨迹断裂次数最少，目标丢失后的恢复能力更强。在身份切换控制方面，StrongerSORT在MOT17和MOT20上的IDs分别为386和476，均优于其他对比方法。
### 4.3 消融实验结果
研究人员在安全帽佩戴检测数据集（SHWD）上验证了改进YOLOv12各模块的贡献。基线模型（不含DLKA、CIoU和WIoU）的mAP
0.5和mAP
0.5:0.95分别为72.6%和42.6%。单独引入DLKA后，模型的精确率、mAP
0.5和mAP
0.5:0.95分别提升至92.3%、92.7%和60.2%，表明DLKA对增强特征表示能力的效果最为显著。当DLKA、CIoU和WIoU三者同时引入时，模型取得最佳综合性能，精确率、召回率、mAP
0.5和mAP
0.5:0.95分别达到92.6%、87.9%、93.1%和60.6%。
在MOT17数据集上的跟踪模块消融实验中，基线模型的MOTA、IDF1和HOTA分别为61.6%、62.0%和53.3%。单独引入NSA-KF后MOTA提升显著，IDs和Frag均明显下降；单独引入OSNet后IDF1和HOTA提升更为显著；EMA单独引入时增益相对有限但具有辅助作用。NSA-KF与OSNet组合的改进最为显著，体现了运动信息与外观信息的互补优势。当三个模块全部集成时，模型在所有指标上均取得最佳性能。
## 五、讨论与结论
综合上述结果，StrongerSORT在“整体准确率—身份一致性—轨迹连续性”三个维度实现了优越的综合平衡，其性能增益来源于改进YOLOv12检测器与跟踪增强模块的协同效应。检测器层面，DLKA增强了小目标和遮挡目标的特征表示，WIoU和CIoU优化了边界框回归精度；跟踪层面，NSA-KF通过置信度驱动的自适应噪声调节抑制了低质量观测下的轨迹抖动，OSNet的全尺度特征学习增强了外观区分能力，EMA机制则实现了轨迹级外观表示的时序平滑，三者协同显著提升了关联鲁棒性和身份保持能力。
研究结论如下：本文针对复杂场景下人体跟踪中人员身份确认和连续跟踪行为的关键挑战，在YOLOv12基线模型上引入可变形大核注意力和轻量化注意力模块以提升特征表示能力，同时结合幻影卷积和动态卷积实现轻量化设计，并采用改进的加权CIoU损失函数优化边界框回归精度。所提出的StrongerSORT方法通过OSNet提取全尺度外观特征，结合EMA特征移动平均机制增强时间维度的稳定性。相较于传统DeepSORT和StrongSORT，StrongerSORT在复杂遮挡、密集目标和相似外观场景中改善了身份保持和轨迹连续性。在MOT16、MOT17和MOT20数据集上的实验验证表明，StrongerSORT提供了具有竞争力的跟踪性能，满足实时性和可部署性需求，为复杂场景下的安全监管提供了可靠的轨迹基础。研究人员也指出，该方法采用两阶段跟踪-by-detection（TBD）范式，对逐帧检测结果依赖较强，漏检可能直接中断目标轨迹，误检可能产生虚假轨迹，且检测器与跟踪器无法进行端到端联合训练。未来工作将考虑将检测与时序关联整合至统一网络进行联合优化，通过利用跨帧的全局时序特征，有望在长时间遮挡和密集人群场景下进一步改善身份保持能力。
