面向开放集群体活动识别的层级因果感知重构

《Pattern Recognition Letters》：Hierarchical Causal-Aware Reconstruction for Open-Set Group Activity Recognition

　　

• •
  提出了一种基于因果推断的开放集群体活动识别框架。
• •
  格朗杰因果关系模型在个体和子群体层面建模交互关系。
• •
  来自不确定性和重建的双重证据提升了判别能力。

引言

群体活动识别旨在识别一组个体所执行的活动。该任务在体育视频分析和社交场景理解中具有广泛的应用。与个体动作识别相比，群体活动识别更加强调参与者之间的交互和关系。

主流的群体活动识别方法从所有个体中提取特征，建模它们之间的时空交互，并使用分类器来识别群体活动。根据不同的时空建模策略，这些方法可以分为基于图的方法[1]、[2]、[3]和基于Transformer的方法[3]、[4]、[5]。图结构对于建模多个实体之间的关联依赖关系是有效的[6]。基于图的方法将每个个体的特征视为图的节点，将个体之间的关系视为边，并通过对邻近节点聚合时空信息来更新节点特征。自注意力机制使Transformer能够捕获序列表示中的长程依赖关系[7]、[8]。因此，基于Transformer的方法利用自注意力机制来建模个体在时间和空间维度上的特征依赖关系，从而学习群体活动表示。然而，在群体活动识别中，参与者之间的所有交互并非同等重要。上述建模所有交互的方法往往会引入冗余信息，从而影响群体活动识别的性能。

由于实际应用场景通常运行在开放集环境中，群体活动的测试样本可能包含属于未知类别的样本[9]、[10]。然而，现有方法主要建立在封闭集假设之上，即假设所有测试样本都属于已知类别[11]。这些方法无法有效检测来自未知类别的样本。因此，本研究探讨了开放集群体活动识别，图1展示了群体活动识别任务中封闭集分类与开放集分类之间的差异。开放集群体活动识别旨在正确识别已知类别，同时检测出未见的类别[12]、[13]。这需要模型学习能够区分已知类别和未知类别的表示，在开放环境中仍具有挑战性[14]。

现有的群体活动识别方法主要建模个体之间的时空依赖关系，而未知类别可能表现出与已知类别部分相似的时空依赖模式，使得模型容易将未知活动误分类为已知活动。在已知的群体活动类别中，个体和子群体之间的时间因果关系通常表现出稳定和可预测的模式。例如，某个动作的执行者会持续影响协作个体的状态转换。因此，我们旨在利用因果推断来学习已知群体活动背后的时间因果模式，并据此重建群体活动特征。由于未知活动类别偏离了学习到的因果结构，其特征无法在提出的重建框架中有效重建，从而使已知类别和未知类别更具可区分性。

在本研究中，我们提出了一个层次因果感知重建模型，用于从个体和子群体两个层面捕获群体活动中的时间因果依赖关系。具体来说，首先提取个体特征并将其编码为潜在表示。基于格朗杰因果原理，该模型通过建模历史潜在表示与当前潜在表示之间的方向性依赖关系，构建个体层面和子群体层面的因果图。然后，利用学习到的层次因果图来指导特征重建，获得已知类别和未知类别之间具有显著重建差异的增强群体活动表示。最后，将分类置信度和重建误差联合利用作为互补判据，并采用基于阈值的决策方法来区分已知类别和未知类别以实现开放集群体活动识别。

本文的主要贡献总结如下：

• •
  针对现有群体活动识别方法在开放集场景中的局限性，我们提出了一种基于因果推断的框架，称为层次因果感知重建模型，用于开放集群体活动识别。在两个公开数据集上的大量实验表明，该模型的性能优于最先进的同类方法。
• •
  我们引入了受格朗杰因果原理启发的时间因果建模策略，用于估计模型中的方向性预测依赖关系。通过同时在个体层面和子群体层面建模这些依赖关系，所提出的框架能够实现更有效的层次特征重建。
• •
  我们进一步表明，结合不确定性估计和特征重建误差可以为样本判别提供互补证据，从而显著增强模型区分已知类别和未知类别的能力。

各章节摘要

群体活动识别中的开放集识别

开放集识别旨在识别已知类别的样本，同时识别并拒绝未知类别的样本[15]、[16]。近期的开放集识别方法探索了不同的策略来区分已知类别和未知类别。一些方法专注于多层次或多粒度特征表示，利用不同层次的互补信息来增强已知样本与未知样本之间的可分离性[17]、[18]。基于原型的方法

问题定义

在开放集群体活动识别任务中，训练集记为$S_{\text{train}}=\{(x_i,y_i)\mid y_i\in C_{\text{known}}\}$，其中x_i是第i个群体活动训练样本，y_i是其类别，$C_{\text{known}}=\{C_1,C_2,\dots ,C_k\}$是所有已知类别的集合，k是已知类别的数量。测试集定义为$S_{\text{test}}=\{(x_j,y_j)\mid y_j\in (C_{\text{known}}\cup C_{\text{unknown}})\}$，其中x_j是第j个群体活动测试样本，C_unknown表示在训练阶段未出现的类别集合。开放集群体活动识别的目标是确定

数据集与评价指标

由于不同群体活动识别数据集之间存在显著差异，我们通过将每个数据集中的群体活动类别划分为已知类别和未知类别来构建评估基准。

开放集排球数据集：该数据集基于排球数据集[24]构建。该数据集包含八个群体活动类别，按照[20]中的协议，我们将其均匀划分为已知类别和未知类别：已知类别包括左侧扣球、右侧扣球、

结论

本文提出了一种基于层次因果推断与重建的模型，用于开放集群体活动识别。具体来说，层次因果推断在个体和子群体两个层面挖掘预测因果关系，以指导判别性特征的重建。基于重建后的特征，该模型联合利用重建误差和置信度分数来识别开放集环境中的未知类别。在两个数据集上的大量实验证明了

CRediT作者贡献声明

梁世科：原创草稿撰写、验证。谢伟：监督指导。孙浩：方法论、形式化分析。

利益冲突声明

作者声明不存在已知的利益冲突或个人关系可能影响本文内容。

梁世科|谢伟|孙浩