《Expert Systems with Applications》：Real-time Analysis of Indoor Sports Game Situations through Deep Learning-based Classification
编辑推荐：
实时游戏状态分类系统在室内运动中应用，以手球为主案例，篮球为验证场景。通过YOLO目标检测定位球员、球和裁判，结合运动矢量计算生成标准化2D合成帧，使用DenseNet分类器实现低延迟实时分析（<4ms/帧，总延迟34ms）。系统在20场手球和2场篮球数据上分别达到96.1%和92.5%宏F1分数，验证了跨项目泛化能力。无需额外硬件，适配资源受限的体育机构。
Bruno Cabado|Bertha Guijarro-Berdi?as|Emilio J. Padrón
拉科鲁尼亚大学，中信研究中心，拉科鲁尼亚，15071，西班牙
摘要
室内体育比赛的现场直播需要根据比赛中的关键情况（如罚球或暂停）动态调整摄像机视角，这一过程传统上依赖人工操作。本文提出了一种自动实时分类室内入侵类体育比赛状态的解决方案，以手球作为主要研究案例，篮球作为次要验证场景。我们的方法直接利用摄像机捕获的原始视频进行实时分析。系统持续处理视频帧，将每一帧归类为七种情况之一：左/右进攻、左/右反击、左/右罚球和暂停。通过合成每一帧的图像来标准化比赛动态的展示方式。所提出的流程包括使用经过微调的“你只看一次”（YOLO）模型进行目标检测，以定位球员、球和裁判；利用目标跟踪计算速度向量；生成代表当前比赛状态的合成帧；最后使用自定义的密集卷积网络（DenseNet）进行分类。使用20场手球比赛的数据集，该系统在训练期间未见过的数据集上评估时，获得了96.1%的宏观平均F1分数，单帧推理时间低于4毫秒。随后将该流程应用于篮球比赛，仅使用两场比赛的数据，获得了92.5%的F1分数，从而证明了该方法的可迁移性。整个流程在GPU加速下运行，处理速度超过每秒25帧。
引言
随着对体育赛事报道需求的增加，尤其是来自小型球队、联合会和地方机构的报道需求，高效广播解决方案的必要性日益凸显（Zhang, 2024）。在这种情况下，现场体育直播必须在有限的生产资源与专业级观看体验之间取得平衡（Biscaia, Ramos, Yoshida, Kim, 2024; Viswanathan, Shankar, Jackson, Binns, 2023）。传统上，现场直播资源消耗大，对非专业或较低级别的组织来说是一个重大障碍。然而，最近的技术进步（Zhao et al., 2025）提供了有希望的替代方案，实现了完全自动化的工作流程，减少了劳动力需求，并提高了更广泛观众的观看体验。
每种体育项目都有其关键的时刻，这些时刻对吸引观众至关重要，每个时刻都需要特定的处理方式以获得最佳呈现效果。对这些时刻进行分类有助于提升决策质量，从而提高整体广播质量。例如，精确的事件分类可以支持有针对性的制作决策，比如在罚球场景中的构图。除了直播之外，我们提出的解决方案还扩展到了分析比赛过程中的事件分布等任务，为理解比赛动态提供了宝贵的见解。
为应对这些挑战，我们提出了一种新的解决方案，用于分类室内入侵类体育比赛中的关键比赛情况，以手球为主要目标领域，篮球作为次要验证案例。我们的系统解决了多种特定领域的限制，包括由于许多比赛中某些情况较少而导致的数据集不平衡问题，以及与体育馆设施多样性和用于捕捉整个场地的不同摄像机设置相关的挑战。此外，系统必须实时运行，这对于现场直播至关重要，因为选择最佳摄像机角度和构图对于提升观看体验至关重要。重要的是，我们的方法仅依赖于标准广播摄像机的原始视频输入，无需在场地添加额外的传感器或设备，因此为资源有限的团队提供了一种成本效益高且干扰最小的解决方案。
考虑到所有上述要求，本研究的主要贡献包括：
•我们提出了一种合成2D图像表示方法，用于呈现比赛场地，该方法包括一个标准化空间，能够有效捕捉相应视频帧中球员和裁判的位置及速度向量，以及球的位置。与仅依赖静态位置的先前基于图像的方法不同，加入速度向量使我们的模型能够在单帧内捕捉时间动态。这种标准化表示方法将分类任务与真实视频图像的变异性和复杂性分离，解决了体育馆设施、照明条件、摄像机类型或设置变化等问题。这种基于真实比赛帧的表示方法已被证明在多种分类模型中非常有效，有助于降低模型复杂性。
•我们提出了一个基于DenseNet（Huang, Liu, Pleiss, van der, & Weinberger, 2022）的神经网络模型，该模型利用所提出的合成表示方法对手球比赛中的各种情况进行分析和分类。这个分类器是旨在实时分析和分类室内体育比赛原始视频帧的全面视频处理系统中的最终组成部分。
•我们设计并实现了一个完全自动化的端到端流程，能够实时运行。通过集成高效的目标检测、跟踪和轻量级分类器，该系统在标准硬件上每秒可处理超过25帧视频，满足了现场直播自动化的严格延迟要求。
•我们展示了所提出框架的多功能性和泛化能力。通过在两种不同的体育项目（手球和篮球）上验证该系统，证明了该流程不仅限于单一领域，而且可以通过最小化的重新配置扩展到其他入侵类体育项目，这得益于我们合成表示方法的统一性。
•我们对生成模型的可解释性进行了深入分析，采用了多种先进技术（Saleem, Yuan, Kurugollu, Anjum, & Liu, 2022）来验证我们提出的解决方案的有效性。
•整个系统已成功应用于实际生产环境1，从而提升了自动现场直播的质量。
本文的其余部分安排如下：第2节回顾了应用于体育领域的人工智能的最新进展。第3节介绍了研究领域和问题的基本原理。第4节展示了实现细节，第5节评估了性能、准确性和可解释性，第6节讨论了优势、系统局限性和未来工作。最后，在第7节中，我们得出了结论。
相关研究
近年来，深度神经网络，特别是卷积神经网络（CNN），在解决复杂的计算机视觉任务方面表现出了显著的能力。诸如AlexNet（Krizhevsky, Sutskever, & Hinton, 2017）、ResNet（He, Zhang, Ren, & Sun, 2016）和DenseNet（Huang et al., 2022）等架构推动了图像分类领域的发展，在ImageNet等大规模数据集上实现了高精度。这些网络利用深度层次化表示来学习
系统概述
图1展示了我们全面的视频处理系统的关键组件和基本数据流，该系统旨在实时分析和分类室内入侵类体育比赛中的比赛情况。系统通过持续处理视频帧，将每一帧分类为七种预定义的比赛情况之一：左/右进攻、左/右反击、左/右罚球和暂停。
图中的蓝色框代表我们系统中的主要概念或实体
材料与方法
本节提供了选择分类器和测试整个系统所采用的方法的全面指导，包括数据准备、实验程序和模型选择过程的见解。首先，我们描述了用于训练和测试各种CNN模型候选者的数据集，强调了其在确保模型性能稳健性方面的作用。然后，我们概述了数据集筛选和数据增强技术
结果
在本节中，我们展示了用于从原始视频素材中实时分类室内入侵类体育比赛情况的实验结果。我们的目标是评估每种架构在准确性和稳健性方面的表现，以找到最适合我们特定问题领域的方案，并证明我们提出方法在现实世界场景中的有效性。
讨论
所提出系统的成功之处在于它能够在保持低成本设计的同时满足实时体育分析的严格要求。这是通过第3节详细介绍的精心设计的流程实现的。选择使用合成2D图像空间来表示比赛动态，不仅将分类任务与原始视频帧的变异性分离，还简化了分类器的输入，从而实现了高效和稳健的性能。
结论
本研究提出了一种实时分类室内入侵类体育比赛情况的方法，以手球作为系统设计和验证的主要参考。为了同时满足速度和稳健性的要求，所提出的流程依赖于一个合成的、标准化的比赛场地表示方法，该方法编码了场上所有参与者的位置和速度（球员、裁判和球）。这种设计将分类阶段与
关于写作过程中生成式AI和AI辅助技术的声明
在准备本作品时，作者使用了ChatGPT来辅助写作。使用该工具/服务后，作者根据需要审查和编辑了内容，并对出版物的内容负全责。
利益冲突声明
作者声明他们没有已知的财务利益冲突或个人关系可能会影响本文报告的工作。
