摘要
长期体育赛事的评估在视频理解领域是一项具有挑战性的任务，因为它需要判断几分钟内微妙的动作变化，并评估动作与音乐的协调性。然而，在许多体育活动中，背景音乐与实际动作之间的关联较弱，对于同步性而言重要的线索往往是时间上的或结构上的，例如在关键时刻出现的小幅度相位或节奏偏差，而不是音频内容与动作类别之间的语义对应关系。以往的方法通常依赖于对密集序列的隐式跨模态融合来学习这种微弱的关联，这种方法可以平滑近乎完美的对齐情况，但在节奏或相位发生变化时容易失效。为了解决这个问题，我们提出了BEATSCORE，这是一个基于节拍的音视频学习框架，它能够在节拍层面明确地对动作和音乐进行对齐，并对长视频进行以事件为中心的稀疏评分。在我们的框架中，我们首先将音频和动作转换为与节拍同步的标记，从而可以在统一的节奏时间线上直接进行比较。然后，我们引入了一个基于节拍的对比目标，并使用近似偏移的硬负例来提高对不对齐的敏感度。为了处理关键时刻的稀疏性，我们进一步设计了一个事件提案和评分模块，该模块会对一小部分关键片段进行评分，并通过可学习的多实例池化方法将这些评分汇总为最终的评估分数。我们在公开的长期体育赛事基准测试中对BEATSCORE进行了评估，证明了其在保持竞争效率的同时提高了准确性。
