TWCRAC：基于时间周期一致性和动态阈值的鲁棒重复动作计数

《Pattern Recognition》：TWCRAC: Leveraging temporal cycle consistency and dynamic thresholding for robust repetitive action counting

　　

• •
  TWCRAC：一种仅依赖极少视频级监督的动作计数框架。
• •
  通过视频内时间周期一致性（Temporal Cycle Consistency）实现自监督周期学习。
• •
  自适应双窗口算法有效处理节奏漂移和信号衰减问题。
• •
  在 RepCount、Countix 和 UCFRep 基准测试上取得最先进的性能。
• •
  高效的实时推理（43+ FPS），适用于边缘设备部署。

引言

模式识别和视频分析领域的进步推动了众多以人为中心的应用，涵盖从医疗康复到互动健身监测等多个领域。近期以人为中心的视频研究还探索了微动作识别与检测 [1]、[2]、[3] 以及远程生理测量 [4]，通过对细微的非语言运动和面部线索建模来实现社交、情感和健康相关分析。相比之下，重复动作计数专注于从全身运动中估计周期性动作的发生次数。在这些系统中，准确计数重复动作是分析时间动态和行为模式的基础原语。然而，现实中的动作很少是完美周期的，它们通常是非平稳信号，具有节奏漂移、幅度变化和中断等特征。虽然基于视频的方法 [5] 和基于骨架的方法 [6] 已取得显著进展，但它们在缺乏密集时间标签的情况下，往往难以解构这些复杂的时间动态。

近期模式分析领域的研究越来越多地转向骨架表示 [7]、[8] 和基于能量的挖掘 [9]。然而，现有系统通常依赖固定的决策边界，这限制了其在多样化运动模式中的可扩展性。我们认为，一个有效的模式识别系统应将重复计数视为一个周期表示学习问题。通过利用动作的内在周期性来自监督，模型可以将变频率输入映射到拓扑封闭的嵌入空间中，从而有效地解构非平稳运动信号。这一视角与模式识别社区近期向自监督视频表示学习发展的趋势相一致，例如自回归预训练 [10] 和特征解耦学习 [11]，这些方法强调在无需穷尽人工标签的情况下提取鲁棒的时间特征。

基于学习到的周期表示，我们的框架生成一条一维周期性分数曲线，其峰值对应候选重复动作。在真实场景中，该曲线仍表现出周期间的幅度变化和本地形状变化。这些变化源于被试的力量、执行风格和摄像机视角。因此我们认为，动作计数不应依赖于单一固定阈值，决策边界必须自适应于信号的循环统计特征。在 TWCRAC 中，我们将每个时间步周围的邻域视为近似局部周期，在该邻域内计算分数曲线的简单统计量——该分数曲线经我们的 TCC 目标塑造具有周期性——并从中推导出动态阈值。这一设计将学习到的周期结构与计数模块直接关联，从而在大强度变化下仍能产生鲁棒的重复估计结果。

图 1 清晰地展示了我们的方法与传统方法的对比概览，突出了在标注需求和计数策略方面的根本性创新。我们的贡献总结如下：

• •
  我们对重复动作计数中的主要挑战进行了全面分析，并提出了一种新颖的自监督学习范式用于模式分析。通过将 TCC 损失函数适配于视频内序列，TWCRAC 用视频级标签替代了成本高昂的关键帧标注，从而提高了数据效率。
• •
  我们提出了一种自适应计数算法，该算法利用从局部特征动态计算的统计阈值。这一设计克服了复杂运动下固定阈值的局限性，增强了鲁棒性，并支持在非平稳模式识别场景中实现可靠性能。
• •
  大量实验表明，TWCRAC 优于先前方法，在广泛使用的基准测试中取得了最先进的性能。此外，它还缓解了帧级标注稀缺的问题，促进了在自主视频分析系统中的实际部署。

章节摘要

相关工作

重复计数已从手工特征和信号处理 [12] 发展至深度表示学习。现代方法主要在运动表示、学习策略和计数机制方面有所不同。

方法

在无约束的真实视频场景中，重复动作计数主要面临节奏变化显著和严重依赖大规模标注数据集的挑战。监督方法需要使用密集标签进行训练，但收集涵盖所有运动速度、摄像机视角和被试风格的标签成本高昂且往往不可能实现。因此，在窄标注数据上调优的模型在测试时面对节奏模式或外观变化时往往缺乏鲁棒性。为应对这些

实验

我们通过实验设置、最先进方法对比、跨数据集测试、消融实验、可重复性检查和定性分析对 TWCRAC 进行了评估。

结论

本研究探讨了实际约束条件下的重复动作计数问题：密集时间标签成本高昂，且真实视频中存在节奏漂移、幅度变化、中断和不完美姿态估计等问题。TWCRAC 通过将视频内 TCC 表示学习与自适应双窗口计数相结合来应对这些问题。其主要优势在于将弱监督循环特征学习与局部数据依赖的计数规则相关联，从而实现了视频级训练，并在竞争基准中取得了

作者贡献声明（CRediT）

李军：撰写——初稿，软件，方法论，概念设计。高世昭：验证，数据管理。胡天问：调查，形式化分析。谢银辉：资源。刘中华：指导。李启明：撰写——审阅与编辑，项目管理，资金获取。

利益冲突声明

作者声明，他们没有已知的竞争经济利益或个人关系可能影响本文所述工作的客观性。

致谢

本工作部分得到了泉州市科技计划项目（项目编号 2024QZC001R）的资助，部分得到了国家自然科学基金福建省项目（项目编号 2025J01248）的资助，以及部分得到了福建省科技计划项目（项目编号 2024T3055）的资助。

李军 | 高世昭 | 胡天问 | 谢银辉 | 刘中华 | 李启明