具有全球背景信息和球员位置识别的密集型足球视频字幕

《Scientific Reports》：Dense soccer video captioning with global context and player position awareness

　　

摘要

体育视频的字幕在理解和描述动态视觉内容方面发挥着重要作用，尤其是在长时足球转播中。现有的密集字幕生成方法通常依赖于局部片段，可能会遗漏比赛级别的时间背景或球员位置的线索，从而导致字幕在空间和事件顺序上缺乏细节。为了解决这些问题，我们提出了时空上下文重采样器（Spatio-Contextual Perceiver Resampler，简称SCPR），这是一个用于单一锚点密集足球视频字幕生成的框架。SCPR结合了三个组成部分：（1）全局-局部特征集成，用于结合每个字幕锚点周围的长距离视频背景；（2）基于球员绝对二维位置的空间位置编码；（3）跨模态特征融合，将全局、局部和空间特征与可训练的语言解码器对齐。在SoccerNet-Caption协议下的评估中，SCPR改进了多个字幕指标，尤其是CIDEr指标，并在识别阶段提高了召回率和F1分数，尽管一些严格的定位和ROUGE风格的指标在竞争基线中仍然表现更优。这些结果表明，全局时间背景和明确的球员位置线索有助于生成更详细的足球评论，同时也揭示了在精确时间戳定位方面仍存在的权衡。