一种基于区域引导的超分辨率重建算法,用于球员和球的检测
《Neurocomputing》:A region-guided super-resolution reconstruction algorithm for player and ball detection
【字体:
大
中
小
】
时间:2026年05月13日
来源:Neurocomputing 6.5
编辑推荐:
梁汀宇|张松源|冯仁飞|刘庆强|王畅
安徽机电工程职业学院基础教学部,芜湖241000,中国
摘要
运动员和球的检测是体育视频理解中的基本任务,但在远景场景中,其性能受到严重限制,因为目标只占据几个像素,并且还会因运动模糊、视频压缩和复杂的背景干扰而进一步降低。为了
梁汀宇|张松源|冯仁飞|刘庆强|王畅
安徽机电工程职业学院基础教学部,芜湖241000,中国
摘要
运动员和球的检测是体育视频理解中的基本任务,但在远景场景中,其性能受到严重限制,因为目标只占据几个像素,并且还会因运动模糊、视频压缩和复杂的背景干扰而进一步降低。为了克服这一挑战,本文提出了一种新颖的区域引导超分辨率重建(RGSRR)算法。该算法采用两阶段架构:首先,基于检测的超分辨率前端增强远景视觉证据;随后,轻量级检测器在重建后的输出上预测运动员和球的位置。具体而言,超分辨率重建网络基于低分辨率特征空间的深度残差细化构建,并利用动态上采样来提高高分辨率恢复能力,同时增强几何对齐。此外,为了减少通用重建损失中背景占主导的偏差,引入了区域引导的监督策略,以加强对标注目标及其边界邻域的学习信号。此外,设计了一种质量感知的特征调制机制,根据退化程度调整特征响应,从而在不同模糊和压缩条件下提高重建稳定性。最后,检测器使用LeYOLO实现,以满足长时间体育视频分析的效率要求。实验结果表明,所提出的方法在重建质量和端到端检测性能方面均显著优于现有超分辨率基线方法。
引言
运动员和球的检测是体育视频分析和现场监控中的基本任务。该任务涉及使用边界框定位运动员和球,并支持多种下游应用,包括多目标跟踪、轨迹分析和阵容恢复[26][31][36][37][43][51]。然而,在长期视频分析中,检测阶段的错误会传播到后续模块并随时间累积,直接影响跟踪稳定性和比赛统计的可靠性[2][12][19][23][27][39][45][47]。
与一般的对象检测场景相比,体育视频具有更具挑战性和动态性的成像条件。频繁的缩放和摄像机切换会导致显著的比例变化,在远景场景中,运动员和球通常显示为非常小的目标。快速移动和摄像机平移会导致运动模糊,而身体对抗则会导致遮挡和密集互动。此外,球员制服的视觉相似性和观众看台及广告牌的复杂纹理进一步降低了特征的可分性。这些因素共同导致检测中出现假阴性、假阳性和位置漂移,尤其在连续视频分析中更为明显。
随着深度学习的发展,运动员和球的检测已经从手动设计的方法转变为现代对象检测模型[3][4][9][10][11][22][24][28][29][30][34][41][48][52]。例如,两阶段检测器通过提案细化提高定位精度,单阶段检测器实现实时分析的高吞吐量,基于Transformer的检测器引入了端到端的集预测和全局上下文建模。尽管有这些进步,远景中的小目标仍然是一个重大瓶颈。当运动员或球只占据几个像素时,输入阶段的判别信息已经不足。运动模糊和视频压缩会进一步降低边缘、局部对比度和轮廓连续性。在这种情况下,单纯增加检测器能力往往效果有限,因为缺失的结构证据无法由检测器单独恢复。
一个自然的替代方法是在检测前增强视觉证据。超分辨率重建学习了从低分辨率观测到高分辨率输出的映射,有望恢复对定位至关重要的边界和细微结构线索。特别是,高保真残差重建网络提供了稳定的优化和可控的重建行为,使其适合作为检测的前端增强模块[6][7][8][20][21][25][44][46][49][50]。然而,直接将通用超分辨率应用于远景中的运动员和球检测存在三个关键限制:
1. 通用超分辨率方法通常针对全局重建质量进行优化,导致训练信号主要由大面积背景区域主导。相比之下,对检测性能至关重要的区域没有得到足够的重视。在远景体育视频中,目标只占据图像的一小部分,判别证据集中在局部轮廓、边界连续性和有限的局部对比度上。当目标和背景区域被赋予相同的优化权重时,优化目标往往会优先考虑背景纹理的恢复,而未能充分增强运动员的轮廓和球的边界。因此,重建后的图像看起来均匀平滑,但未能提高关键检测区域的区分度。
2. 有效恢复远景中的小目标不仅需要更高的空间分辨率,还需要重建结构与真实空间位置之间的更强几何一致性。对于极小的目标,有效特征通常集中在弱边缘和有限形状周围。如果重建过程不能灵活适应局部内容以生成高分辨率特征,轮廓扩散可能会影响检测器识别对象边界和几何形状的能力。此外,在重建过程中引入的局部位移现象可能会放大为更明显的定位错误。
3. 体育视频中的退化严重程度并非在所有镜头中都是一致的。压缩水平和细节衰退会随着摄像机视角、运动状态和编码条件的变化而持续变化。通用超分辨率网络通常依赖于固定的特征响应和重建行为,难以均匀处理轻微和严重的退化输入。这导致实际比赛视频中的重建结果极不稳定,即在严重退化的情况下,输出图像常常过度平滑,无法恢复有意义的边界;相反,在相对轻微的退化场景中,网络可能会产生过度的锐化或放大无意义的细节。对于长期体育视频分析,这种跨镜头的不一致性进一步削弱了检测器输入分布的稳定性。
为了克服这些挑战,本文提出了一种新颖的区域引导超分辨率重建(RGSRR)算法。该算法采用两阶段优化框架:首先,专用重建网络增强远景帧;随后,轻量级检测器在重建后的输出上预测运动员和球的位置。具体而言,重建网络基于低分辨率空间的深度残差细化和动态上采样实现高分辨率恢复。为了在不同退化程度下提高鲁棒性,引入了质量感知的特征调制机制,根据输入帧的退化状态调整特征响应。此外,提出了一种区域引导的监督策略,以加强对标注目标及其边界邻域的学习信号,确保重建明确对齐于对检测性能至关重要的区域。本文的主要贡献总结如下:
1. 提出了一种新的体育视频检测范式,即在检测前进行超分辨率重建。该过程采用两阶段架构:第一阶段增强远景视觉证据,然后应用轻量级检测器基于重建后的输出预测运动员和球的位置。
2. 设计了一种基于检测的超分辨率重建网络,结合了低分辨率特征空间中的深度残差重建和动态上采样。为了在不同模糊和压缩强度下稳定重建,引入了质量感知的特征调制。
3. 本文提出了一种区域引导的监督策略,利用运动员和球的注释信息在重建过程中优先处理目标区域及其边界邻域。这种方法有效确保了关键检测区域的结构质量,从而显著提升了运动员和球的检测性能。
本文的其余部分组织如下:第2节回顾了运动员和球检测的相关工作。第3节介绍了所提出的RGSRR算法的设计和实现。第4节提供了实验结果和分析。最后,第5节总结了本文。
**章节摘录**
体育视频中的运动员和球检测
体育视频中的运动员和球检测通常被定义为目标检测任务,但与一般检测基准相比具有显著的特征差异,包括更大的比例变化、频繁的运动模糊、身体对抗过程中的遮挡以及来自观众看台和广告牌等强背景纹理的干扰。
当前的对象检测技术通常分为两阶段和单阶段检测器。
**模型概述**
本文采用两阶段架构解决远景中的运动员和球检测问题,在检测前增强视觉证据。给定一个低分辨率帧,首先根据以下公式重建高分辨率帧:
其中表示超分辨率重建网络,表示上采样因子。然后在第二阶段对重建后的帧进行检测:
其中表示检测器,表示预测的运动员和球的位置集。
**数据预处理**
本文使用SoccerNet-v3 H250作为运动员和足球球检测的基准数据集[1],其中仅包含两类注释:足球球和人。该数据集专门关注远景帧,保留了人边界框高度不超过250像素的样本,特别适合评估广播足球视频中的小目标检测和重建质量。
**结论**
本文提出了一种新颖的运动员和球检测算法RGSRR,通过在检测前进行超分辨率重建来处理体育视频。整个框架由三个紧密耦合的组件构成:首先,设计了一种基于检测的超分辨率重建网络,通过低分辨率特征空间中的深度残差细化和动态上采样恢复高分辨率结构;其次,提出了区域引导的监督策略。
**CRediT作者贡献声明**
梁汀宇:撰写——原始草案、验证、监督、软件、方法论、概念化。
张松源:撰写——审阅与编辑、软件、调查、形式分析、数据管理。
冯仁飞:可视化、验证、软件、项目管理。
刘庆强:撰写——审阅与编辑、验证、监督、资源管理。
王畅:可视化、验证、监督、软件。
**利益冲突声明**
作者声明没有已知的财务利益或个人关系可能影响本文报告的工作。
梁汀宇出生于中国安徽省。她于2003年在安徽师范大学获得体育教育学士学位,2012年在同一所大学获得体育教育与训练硕士学位。她目前是安徽机电工程职业学院基础教学部的副教授兼俱乐部中心主任。她的主要研究领域是轻量级运动员检测。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号