面向基于视频动作识别的类增量开集场景

《Neural Networks》：Towards Class-Incremental Open-Set Scenarios for Video-Based Action Recognition

　　

摘要

动作识别领域的最新进展在类增量和开放集学习设置中都取得了显著成果。然而，类增量开放集动作识别 (COAR) 仍然具有挑战性，因为模型必须同时保留以前学习的动作知识，学习新到达的动作类别，并拒绝不属于任何已知类别的未见动作。在这项工作中，我们通过开发一种增量识别器来解决 COAR 问题，该识别器在每个阶段分类闭集样本，同时有效区分开放集样本。我们确定了现有解决方案的两个主要局限性：仅使用闭集数据进行训练会削弱已知动作表示和未知动作表示之间的分离，而阶段性判别能力转移不足会加剧遗忘。为了克服这些问题，我们提出了一个基于皮尔逊距离的框架，由判别性增强和 Logit 对齐组成。判别性增强模块约束闭集动作表示与其类中心之间的皮尔逊距离，从而提高类间可分性并降低开放空间风险。Logit 对齐模块转移相邻阶段之间的批次级和类级关系，在增量学习过程中保留识别和拒绝能力。在 UCF101、HMDB51 和 Something-Something V2 上的全面实验证明了所提出方法的有效性。例如，在使用 UCF101 作为已知类别、HMDB51 作为未知类别的五阶段 COAR 设置下，所提出的方法实现了 73.26% 的 ACC、82.40% 的 AUROC 和 64.52% 的 AUPR，优于相同协议下的竞争性基线。

引言

近几十年来，计算机视觉任务领域经历了显著的增长。在计算机视觉社区中，动作识别旨在理解和分类视频序列中的人类动作。由于其在人机交互 (Kim et al., 2025)、视频监控 (Omarov et al., 2022) 和体育分析 (Xu et al., 2025) 等许多实际应用中至关重要，动作识别任务引起了越来越多的关注。随着深度学习的成功，动作识别取得了显著的进展。特别是，基于 RGB、骨架或其他模态的动作识别方法几乎可以满足实际应用中行为识别的需求。然而，不断变化的现实场景给传统动作识别带来了重大挑战。

现有的动作识别基准假设测试期间遇到的所有类别均可用于训练，并且模型能够立即学习所有知识，这与人类随时间增量获取新知识不同。因此，人类动作的可识别类别保持不变，而训练期间未见到的未知类别动作在这些基准下会被错误分类为已知动作。图 1 展示了一个示例，其中动作类别（例如两个）随时间顺序出现，而未知动作可能随时发生。在这种情况下，模型需要渐进式地学习新动作类别，同时保留以前的知识，并避免未知动作的干扰。在严谨的应用中，这可能导致不可估量的损失。然而，在现实世界中，动作类别不断增加，同时存在无数的未知类别。显然，模型在每个增量阶段表现出两种关键能力至关重要：准确分类训练和测试中都存在的已知类别样本，以及拒绝训练不存在的未知类别样本。现有的动作识别方法由于其固定的闭集假设，无法有效应对这种不断变化的情况，这阻碍了向动态开放集场景的进步。

为了确保像人类一样持续学习同时保留先前知识，提出了类增量学习 (CIL) (Kang, Park, Han, 2022, Zou, Ma, Zhao, 2025) 来解决一系列任务。在类增量动作识别中，人工智能系统必须处理各种动作，从未见数据中持续识别新动作很重要。尽管当前方法 (Feng, Gao, Xu, 2024, Park, Kang, Han, 2021, Villa, Alhamoud, Escorcia, Caba, Alcázar, Ghanem, 2022) 在 CIL 问题上取得了重大进展，但它们的适用性仅限于闭集场景。传统识别器在开放集场景中面临巨大困难。由于动作的复杂性，当前模型无法在训练期间捕捉我们世界中所有动作类别的特征。然而，在实际应用中，未见动作可能在测试期间发生，但在训练期间未发生。因此，当前模型应将它们视为未知类别而不是已知类别，以增强其鲁棒性。

开放集识别 (OSR) 方法 (Huang, Wang, Hu, Cheng, 2022a, Wang, Alamayreh, Tondi, Barni, 2023) 已被提出以解决模型分类闭集样本的同时识别开放集样本的挑战。虽然现有的动作识别 OSR 方法 (Cen, Zhang, Wang, Pei, Qing, Zhang, Chen, 2023, Zhai, Liu, Wu, Wu, Zhou, Doermann, Yuan, Hua, 2023) 显示出显著的性能，但它们未能有效解决类增量开放集问题，该问题结合了 CIL 和 OSR 但提出了更具重大挑战。在类增量开放集动作识别 (COAR) 设置中，模型不仅检测与已知类别不同的新颖类别，而且增量地将它们纳入已知类别。挑战在于有效地将这两种能力整合到一个任务中。尽管已有广泛的研究 (Cui, Yu, Peng, Tian, Liu, 2024, Joseph, Khan, Khan, Balasubramanian, 2021, Ma, Cong, Ren, 2023)，COAR 仍然是一个探索不足的区域，主要是由于其复杂的时间特性。

为了解决上述挑战，我们提出了一种类增量开放集识别器，它包括两个关键组件：判别性增强模块和 Logit 对齐模块。在基于视频的动作识别领域，动作尺度和相对运动的复杂时空特性带来了重大挑战。具体而言，通过在特征空间中忽略动作尺度和相对运动，我们的判别性增强模块专注于动作的内在特征，以增强闭集动作类别之间或闭集与开放集动作类别之间的独特性。此外，在获取新知识时，增量动作识别的背景下普遍存在迅速遗忘先前知识的困境。我们的 Logit 对齐模块能够基于类关系，以批次方式实现从前一阶段到当前阶段动作识别能力的知识转移，旨在维持新类别的学习，同时减轻对先前类别识别能力的遗忘。因此，我们的方法有效地处理了与当前场景无关的未知动作，同时增强了动作识别算法的整体性能和鲁棒性。

总之，我们工作的贡献如下：

• •
  我们制定并研究了基于视频的 COAR，其中识别器必须分类跨阶段累积的所有已知动作类别，并在训练期间不使用未知样本的情况下拒绝未知动作。
• •
  我们提出了一种基于皮尔逊距离的判别性增强模块，该模块明确约束动作原型与其中心点之间的关系，在不引入额外推理网络的情况下，提高已知类别的紧凑性和开放集的可分性。
• •
  我们设计了一种阶段性 Logit 对齐策略，将前一识别器到当前识别器的批次级样本关系和类级预测关系进行转移，减轻了增量开放集评估下的灾难性遗忘。
• •
  我们在 UCF101、HMDB51 和 Something-Something V2 上进行了大量实验，采用二阶段、五阶段和十阶段 COAR 协议，结果表明相对于代表性的开放集和类增量基线，具有持续的增益。

章节片段

开放集识别

由于训练集和测试集共享相同的类别，闭集识别已经取得了卓越的性能。然而，为了拒绝未知类别并分类已知类别，开放集识别 (Jiang, Zhu, Wang, Hu, 2023, Tan, Jing, Zhu, Liu, 2025) 已被探索了几年，它仍然是一个极具挑战性的任务，需要拒绝训练集之外从未见过的类别。开放集识别主要分为判别性

方法

在本节中，我们首先介绍预备知识，包括问题定义和皮尔逊距离的回顾。接下来，我们介绍对开放和封闭类别之间判别性的增强以及跨阶段的 Logit 对齐。

如图 2 所示，我们提出了一种 COAR 识别器，该识别器基于 CLAR (Park et al., 2021) 增量学习新类别，同时减轻未见动作类别的干扰。我们通过展示一个 Q 阶段 COAR 任务来说明我们的方法。在

数据集与实现细节

使用 UCF101 (Soomro et al., 2012)、HMDB51 (Kuehne et al., 2011) 和 Something-Something V2 (SSTH V2) (Goyal et al., 2017) 数据集来评估所提出的方法。UCF101 作为闭集增量训练和测试的已知类别来源。HMDB51 和 SSTH V2 被用作未知类别来源以模拟开放集测试。为了避免已知和未知类别之间的语义泄漏，在开放集测试期间排除 UCF101 和 HMDB51 之间重叠的动作类别。

讨论与局限性

尽管所提出的方法提高了 COAR 性能，但仍存在几个局限性。首先，在训练期间，未知样本不可用，因此开放集拒绝仍然依赖于从已知动作表示中学习的可分性以及在评估期间使用的阈值。其次，当前的协议主要使用 UCF101 作为已知类别来源，使用 HMDB51/SSTH V2 作为未知类别来源。这些数据集提供了代表性的基准，但在更大规模的

结论

在本文中，我们探讨了类增量开放集动作识别问题，该问题在基于视频的动作识别中仍然探索不足。为了解决已知类别分类、未知动作拒绝和灾难性遗忘的联合挑战，我们提出了一种基于皮尔逊距离的 COAR 识别器。判别性增强模块提高了已知动作表示的紧凑性和可分性，而 Logit 对齐模块转移了批次级和

CRediT 作者贡献声明

郭远帅: 写作 – 初稿。 钟承辰: 可视化，形式分析，调查，写作 – 初稿。 龚勋: 写作 – 审阅与编辑。

竞争性利益声明

作者声明，他们没有已知的竞争性财务利益或个人关系，可能会不当影响他们在这篇论文中的工作。

致谢

这项工作部分得到了国家自然科学基金 (62576296,)、绵阳科技计划 (2025ZYDF076)、四川省自然科学基金 (2026NSFSC0418)、中央高校基本科研业务费 (2682025ZTPY052)、唐山市路南区科技计划的支持。

郭远帅|钟承辰|龚勋