UniTCL：用于细粒度视频表征学习的统一时序对比学习框架

《Information Processing & Management》：UniTCL: Unified Temporal Contrastive Learning framework for fine-grained video representation learning

　　

摘要
细粒度动作识别通常需要密集的帧级标注，这使得无监督学习显得尤为宝贵。然而，该方向面临两大挑战：(1) 现实视频中的重复动作破坏了可靠的跨视频语义对齐；(2) 现有方法通常侧重于语义对齐或时间一致性，而以一种隐式方式建模另一个方面，使得难以有效兼顾两者。为了解决这些问题，我们提出了 UniTCL，一个用于无监督细粒度视频学习的统一时间对比学习框架。UniTCL 包含两个关键组件：多峰时间循环一致性 (MP-TCC) 和语义引导的时间对比学习 (SG-TCL)。MP-TCC 通过计算视频间帧的相似性分布，显式建模跨视频对齐，并通过前向和后向时间映射强制循环一致性，鼓励每个帧与语义一致的对应帧相关联，从而确保可靠的时间重建并改善跨视频语义对齐。此外，它采用多邻域软匹配来缓解由重复动作模式引起的语义错位。SG-TCL 进一步融入来自 MP-TCC 的语义先验，并应用基于时间距离的高斯加权对比策略。这实现了时间平滑性，同时强制视频内时间上相距较远的帧之间的语义一致性，特别是在动作重复的情况下。这两个组件共同作用，在无监督设置下实现了跨视频语义对齐和视频内时间一致性。大量实验表明，UniTCL 在多个细粒度视频基准测试中取得了强劲且具有一致竞争力的性能。具体来说，UniTCL 在 PennAction 上达到了 94.61% 的分类准确率和 0.940 的推进得分，并在 EgoProceL 上实现了 81.2% 的分类准确率。在具有挑战性的 FineGym 基准上，UniTCL 相比之前的方法取得了最佳分类性能，同时在较小规模的 Pouring 数据集上也保持竞争力。

引言
动作识别一直是计算机视觉中的一个重要研究主题 (Yin 等人，2025；Zhang 等人，2025；Zhou 等人，2025)，应用于体育分析、监控和人机交互等领域。在 Kinetics-400 (Kay 等人，2017) 等粗粒度数据集上，由于背景信息具有判别性，通常可以使用帧级线索取得较强的性能。相比之下，细粒度数据集 (Li 等人，2018；Shao 等人，2020) 关注细微的阶段或子动作差异，视觉线索有限，如图 1 所示，这使得精确的帧级标注尤为重要。然而，此类标注成本高昂且需要专业知识。最近，自监督视频表示学习 (Dave 等人，2022；Feichtenhofer 等人，2022；Qian 等人，2021；Schiappa 等人，2023；Selva 等人，2023) 作为一种有前途的替代方案应运而生，它能够在无标签的情况下从原始视频中学习语义判别性强且时间连贯的表示，从而造福于动作阶段分割 (Sigurdsson 等人，2016；Zhang 等人，2013)、帧级检索 (Dwibedi 等人，2019) 和跨视频对齐 (Cao 等人，2020) 等任务。

在此背景下，许多研究试图使用无监督策略从视频中学习时间和语义表示。Dwibedi 等人 (2019) 引入了一种可微循环一致性约束，以无监督方式学习视频间的语义对应关系。通过最大化不同视频帧之间的循环一致性，他们的方法使网络能够自动发现语义相似的动作阶段，并生成跨视频对齐的帧级嵌入，从而支持无监督视频对齐和阶段建模。Chen 等人 (2022) 提出了一种用于长视频中帧级动作表示学习的自监督框架。该方法不依赖显式监督，而是通过对两个序列嵌入进行对比来强制时间连贯性。具体而言，通过将对帧嵌入相似性分布与距离感知先验的对齐来制定时间感知的对比目标，鼓励表示保持帧间的时间结构。更近期的研究从不同角度进一步探索了细粒度视频表示学习。Zhang 等人 (2023) 将视频建模为随机过程，并引入了一种基于过程的对比学习框架，通过强制帧序列在潜在空间中遵循目标导向的随机过程来捕获时间动态，从而改善时间连贯性和表示质量。Walmer 等人 (2025) 提出了一种多实体视频 Transformer，将每帧表示为多个实体并建模它们跨时间的相互作用，实现了更丰富的时空特征学习并改善了细粒度视频任务的性能。尽管取得了这些进展，仍然存在两个核心挑战：1. 现实视频中的重复动作阻碍了动作语义结构的有效对齐。2. 现有方法在语义对齐或时间一致性方面取得了进展，但有效地整合这两个方面仍然是一个挑战，特别是在具有重复动作的视频中。

为了解决上述挑战，我们提出了一种用于细粒度视频学习的自监督框架 UniTCL，它在统一架构下联合建模跨视频语义结构对齐和视频内时间一致性。UniTCL 由两个核心组件组成：多峰时间循环一致性 (MP-TCC) 和语义引导的时间对比学习 (SG-TCL)。首先，MP-TCC 针对跨视频语义结构对齐。与假设单一主导对应关系并通过单一路径进行对齐的传统 TCC 不同，MP-TCC 显式建模由重复动作引起的多峰匹配分布，并允许多个可能的语义对应关系参与对齐过程。通过利用多邻域软匹配策略，它充分利用了重复动作的多峰分布，并有效缓解了由动作重复引起的结构错位。其次，SG-TCL 专注于建模视频内时间一致性。与主要依赖时间邻近性来定义正关系关系的现有时间对比学习方法不同，SG-TCL 融入了由 MP-TCC 学习的语义先验，使得语义相关但时间上相距较远的动作阶段能够在表示学习过程中贡献正向作用。该组件采用基于时间距离的高斯加权对比策略以保持时间平滑性，同时纳入从 MP-TCC 学习的语义匹配先验。因此，模型即使在长时间跨度和多阶段动态场景中的重复动作下，也能捕获跨时间的语义关系。这两个组件互为补充，使框架能够在无监督条件下联合强制跨视频语义结构对齐和视频内时间一致性，从而增强细粒度动作表示。虽然 UniTCL 建立在既有的学习技术之上，但我们的贡献在于针对重复动作歧义、跨视频语义结构对齐和视频内时间一致性对其进行特定问题的重构和统一优化，而不是简单地组合现有模块。实验结果表明，UniTCL 在多个细粒度视频数据集上取得了强劲且具有竞争力的性能，凸显了其实际潜力。我们的主要贡献总结如下：
1. 我们提出了一个统一的自监督框架 UniTCL，在统一架构内联合优化跨视频语义结构对齐和视频内时间一致性。
2. 我们设计了多峰时间循环一致性模块，利用多邻域软匹配有效处理重复动作模式并提高跨视频对齐的鲁棒性。
3. 我们引入了语义引导的时间对比学习模块，在保持时间平滑性的同时整合语义先验，实现了视频内重复动作的时间一致性建模。
4. 大量实验表明，UniTCL 在多个细粒度视频数据集上取得了强劲且具有竞争力的性能，特别是在大规模数据集上，同时在较小数据集上也保持竞争力，展示了其在细粒度视频理解方面的强大潜力。

章节片段
细粒度视频学习
细粒度视频学习旨在为视频对齐、逐帧动作分类和细粒度帧检索等任务学习密集的帧级表示。大量工作专注于自监督或弱监督学习，以减少对人工标注的依赖。Sermanet 等人 (2018) 提出了时间对比网络 (TCN) 并构建了 Pouring 数据集，以建模动作阶段的时间顺序。Dwibedi 等人 (2019) 引入了时间循环...

概述
UniTCL 是一个用于细粒度视频学习的统一自监督框架，旨在联合建模跨视频语义结构对齐和视频内时间一致性，特别是在具有重复或多阶段动作的视频中。这种联合建模至关重要，因为在存在重复动作时，时间邻近性并不总是语义相似性的可靠指标，而纯粹的语义对齐可能导致违反时间...

数据集
我们在四个具有代表性的视频数据集上评估 UniTCL：PennAction (Zhang 等人，2013)、Pouring (Sermanet 等人，2018)、EgoProceL (Bansal 等人，2022) 和 FineGym (Shao 等人，2020)。这些数据集涵盖了多样化的细粒度动作场景，包括人体运动、手物交互、第一人称程序性活动和专业体育。重要的是，EgoProceL 和 FineGym 包含频繁的重复动作模式和复杂的多阶段时间结构...

主要结果
PennAction。如表 1 所示，所提出的模型在 PennAction 数据集的所有四项评估指标上均取得了极具竞争力的性能。与现有的最先进方法 MVF (Walmer 等人，2025) 相比，UniTCL 在大多数评估指标上表现一致更优。在阶段分类 (Phase Classification) 上，UniTCL 将分数从 94.21% 提高到 94.61%，提升了 0.40%。对于阶段推进 (Phase Progression)，UniTCL 以 0.940 的分数优于 MVF 的 0.931...

理论启示
这项工作提供了若干关于细粒度视频表示学习潜在假设的见解，超越了所提方法的具体设计。首先，我们的结果表明，通常假设的单调时间对齐在许多现实视频中并不成立。细粒度动作通常表现出重复或循环模式，其中相同的语义阶段可能出现多次。在这种情况下，强制执行一对一的时间对应过于限制...

结论
这项工作解决了无监督细粒度视频理解中的两个基本挑战：由重复动作引起的语义结构错位以及联合建模时间和语义信息的困难。我们提出了一个统一的自监督学习框架 UniTCL，它集成了两个互补模块，多峰时间循环一致性 (MP-TCC) 和语义引导的时间对比学习 (SG-TCL)，以实现跨视频...

CRediT 作者贡献声明
Jirui Di：写作 – 审稿与编辑，写作 – 原稿撰写，可视化，方法论。
Zhengping Hu：写作 – 审稿与编辑，项目管理。
Hehao Zhang：可视化，验证。
Qiming Zhang：监督，软件，形式化分析。
Zhe Sun：资源，项目管理。

利益冲突声明
作者声明，他们没有已知的与本文所报告工作相冲突的财务利益或个人关系。

致谢
本工作得到了国家自然科学基金（批准号 61771420 和 62001413）、河北省自然科学基金（批准号 F2020203064 和 F2024203069）以及河北省教育厅科技项目（批准号 BJK2023117）的支持。

Jirui Di 目前是燕山大学信息科学与工程学院的博士候选人。他的研究兴趣集中在视频理解。他的电子邮件是 [e-mail]。
Jirui Di|Zhengping Hu|Hehao Zhang|Qiming Zhang|Zhe Sun