《Array》：Soccer-DETR: A deep learning-based transformer model for soccer player and ball detection
编辑推荐：
足球比赛的动态场景对视觉感知技术的目标检测构成了巨大挑战。尽管传统的锚框（anchor box）方法能够确保实时性能，但当目标尺寸变化剧烈或存在遮挡时，其难以实现精确检测。为解决上述问题，本文提出了一种Soccer-DETR模型，主要在RT-DETR模型的骨干
足球比赛的动态场景对视觉感知技术的目标检测构成了巨大挑战。尽管传统的锚框（anchor box）方法能够确保实时性能，但当目标尺寸变化剧烈或存在遮挡时，其难以实现精确检测。为解决上述问题，本文提出了一种Soccer-DETR模型，主要在RT-DETR模型的骨干网络（backbone）上进行了创新性设计。本文的创新之处在于引入了一种全新的RepFaster模块，用以替换原始骨干网络中的部分残差连接块，在降低数据冗余的同时显著提升了计算资源的利用率。此外，在每个RepFaster模块之后引入了EMA注意力机制模块，以增强特征融合能力；同时，Inner-MPDIoU损失函数有效加速了边界框回归过程，进一步提升了模型的性能与稳定性。实验结果表明，与原始RT-DETR模型相比，所提出的Soccer-DETR模型参数量减少了14.9%，计算复杂度降低了5.3 GFLOPs，同时mAP@0.5提升了0.2%。本研究所提出的Soccer-DETR模型专门针对足球赛事检测而设计，不仅能够确保对足球和球员的精确识别，还为后续的目标跟踪、动作识别和行为分析等任务提供了可靠的技术支撑，从而推动了智能体育技术的发展。
Soccer-DETR模型研究解读：面向足球场景的轻量化Transformer检测框架
一、研究背景与问题
足球视觉感知技术是智能体育、机器人足球竞赛以及赛事数据分析的核心支撑。在足球场这一动态且复杂的环境中，球员的快速移动、激烈身体对抗、非结构化的光照变化以及足球本身的小尺度特征，给目标检测算法带来了多重挑战。传统检测方法主要依赖基于锚框的检测框架，如YOLO系列算法和改进的多尺度特征融合策略。尽管这些方法在实时检测方面表现优异，但仍面临两大局限：其一，锚框预设依赖先验经验，难以适应足球场景中目标尺寸的剧烈变化，例如前景球员与背景中足球的尺寸差异；其二，在复杂遮挡场景下局部特征丢失严重，导致漏检率上升。此外，基于轮廓或颜色阈值的方法对环境干扰敏感，鲁棒性不足。
近年来，基于Transformer的检测架构（如DETR）通过自注意力机制实现了全局建模，避免了锚框设计的主观性，展现出端到端检测的潜力。然而，当前方法在足球场景中仍然面临计算开销过大以及小目标特征提取能力有限等问题。为此，研究人员构建了专用于足球赛事球员与足球检测的Soccer-DETR轻量级Transformer检测框架。
二、研究内容概述
研究人员以RT-DETR模型为基准框架，对其骨干网络ResNet进行创新性改进。首先，借鉴FasterNet与RepVgg的设计理念，提出RepFaster模块，用以替换ResNet系列网络中的部分残差模块，采用轻量级架构设计，通过结构重参数化技术和特征复用机制优化传统残差模块的计算模式，降低了模型在训练和推理阶段的计算负担。其次，为了增强特征信息融合能力并生成更清晰的特征表示，在RepFaster模块中引入指数移动平均（Exponential Moving Average, EMA）注意力机制，进一步提升模型的特征表示性能。最后，引入Inner-MPDIoU损失函数，以缓解边界框漂移和回归不精确的问题，提升目标定位精度和鲁棒性。
实验基于自建的大规模足球赛事图像数据集以及Roboflow平台公开的Detect Players数据集。结果表明，与基线RT-DETR模型相比，Soccer-DETR模型参数量减少14.9%，计算复杂度降低5.3 GFLOPs，mAP@0.5提升0.2%，在足球与球员检测中表现出更优的精度与计算效率平衡。
三、关键技术与方法
研究人员采用的主要技术方法包括：（1）RepFaster模块：由部分卷积层与两个逐点卷积层构成，通过对输入通道的选定部分执行卷积实现空间特征提取，其余通道保持原特征表示，并利用结构重参数化技术将批归一化层与卷积层融合，以降低计算与内存开销；（2）EMA注意力机制：采用并行子结构，包含两个1×1卷积分支与一个3×3卷积分支，在保留通道信息完整性的同时建模多尺度空间特征，并通过跨通道信息交互实现通道重要性重标定；（3）Inner-MPDIoU损失函数：综合最小点距离交并比（MPDIoU）与Inner-IoU的设计思路，通过对边界框顶点坐标耦合关系的矩阵计算，将边界框匹配问题转化为多维空间中的点集匹配问题，以提升复杂运动场景下的定位精度。
四、研究结果
4.1 实验平台与参数设置
模型在Ubuntu 22.04系统下训练，使用PyTorch 1.8深度学习框架与Python 3.8编程语言。服务器端计算节点配备Intel Xeon E5-2650 v3处理器、64 GB DDR4 ECC内存及Nvidia V100 GPU（32 GB HBM2内存），支持CUDA 11.8与CUDNN 8.2。输入为归一化的640×640像素张量，批大小设为128，训练轮数为200轮。优化过程采用带Nesterov动量的随机梯度下降算法，初始学习率为0.01，动量系数为0.937，L2正则化项系数为0.005，并采用余弦退火动态学习率衰减策略。
4.2 消融实验
为系统验证各创新模块对模型性能的贡献，研究人员基于RT-DETR模型和自建数据集开展消融实验。实验设立了五个模型变体：模型A为RT-DETR基础模型；模型B在模型A基础上引入RepFaster模块；模型C在模型B基础上引入EMA注意力机制模块；模型D和模型E分别在模型C基础上加入MPDIoU和Inner_MPDIoU损失函数。实验评估涵盖参数量、精确率、召回率、平均精确率均值及计算复杂度等指标。结果表明，引入RepFaster模块后，参数量降低且计算效率提升，精度获得显著增益；对比模型C与模型B可知，注意力机制的引入使mAP@0.5相比模型A和模型B有所提升；模型D与模型E的实验结果显示，Inner_MPDIoU损失函数对模型精度提升贡献最大，各项参数表现相对均衡。因此，模型E即Soccer-DETR模型实现了参数量与计算量的双重缩减，同时大幅提升精度。
在损失函数的对比实验中，研究人员在Soccer-DETR基础上分别使用GIoU、CIoU、EIoU、Inner_CIoU、Inner_EIoU、Inner_GIoU和Inner_MPDIoU进行训练。结果显示，Inner_MPDIoU与Inner_GIoU在mAP@0.5指标上均达到93.5%，但Inner_MPDIoU在检测精确率上比Inner_GIoU高出0.9个百分点，显示出更为优越的综合性能。
4.3 对比实验
研究人员将Soccer-DETR与YOLOv5、YOLOv8、YOLOv11及RT18-DETR模型进行性能对比。结果表明，Soccer-DETR在检测精确率上达到95.3%，相比RT18-DETR降低14.5%的参数量并提升9%的计算效率，明显优于其他YOLO系列模型。此外，通过精确率-召回率（Precision-Recall, PR）曲线对比分析，Soccer-DETR在精确率与召回率之间取得了优于RT18-DETR的平衡，在足球与球员检测任务中均表现出一定程度的性能提升。
4.4 检测结果分析
在足球场景小目标检测任务中，研究人员对足球与球员两类目标进行比较实验。检测结果对比显示，RT-DETR存在多处缺陷：在图10(A)中将背景误检为球员；在图10(B)中将背景中的五角星误判为球员；在图10(C)中未能准确识别位于球场中央的足球，充分暴露了其在小目标检测方面的不足。相比之下，Soccer-DETR不仅在抗背景干扰方面表现出更强的能力，有效避免对背景元素的误判，而且在处理人员重叠问题时具有更高的识别精度，在多种场景下展现出更优异的检测效果。
五、讨论与结论
围绕RT-DETR框架，研究人员通过三项创新构建了Soccer-DETR模型：轻量级RepFaster模块替代传统残差结构以降低计算冗余；EMA注意力机制增强特征融合能力；Inner-MPDIoU损失提升边界框回归精度。这些改进显著增强了模型在复杂场景中的检测稳定性，同时避免了后处理延迟。尽管模型表现出色，但在极端遮挡或杂乱背景场景下检测精度仍有所下降；计算效率虽优于同类方法，但尚难满足极端资源受限环境的需求。未来研究拟从两方面推进：构建包含极端场景的足球专用数据集以提升泛化能力；探索自适应计算压缩技术以进一步降低能耗并保持精度。作为智能足球分析系统的核心组成部分，Soccer-DETR的高效检测能力为球员跟踪和战术分析等下游任务奠定了基础。
本文聚焦于基于RT-DETR框架设计并优化专门针对足球场景的目标检测模型，旨在应对足球环境中常见的小目标检测困难、目标尺寸动态变化以及复杂背景干扰等关键挑战。为实现上述目标，研究人员在RT-DETR框架基础上引入以下关键改进：其一，RepFaster模块替代传统骨干网络中的部分残差块，缓解特征冗余并降低参数量与计算复杂度；其二，在每个RepFaster模块后嵌入EMA注意力机制，加强信息交互与融合，显著提升检测性能；其三，创新性引入Inner_MPDIoU损失函数，优化边界框回归的监督机制，有效提高目标定位精度。与基线RT-DETR相比，Soccer-DETR减少了14.9%的参数量，降低了5.3 GFLOPs的计算成本，同时实现mAP@0.5指标0.2%的提升。虽然Soccer-DETR模型专为足球场景进行了优化，但其同样适用于其他体育场景，展现出广泛的适用性与扩展潜力。
