自适应Koopman对比学习：基于骨架动作识别的动态建模创新

本文提出自适应Koopman对比学习（AKCL）框架，通过Koopman算子将骨架动作序列的非线性动态系统映射为线性特征空间，结合动态加权机制聚焦关键动态区域，并创新性提出动态区域感知对抗（DRA2）样本生成策略。实验表明该方法在NTU RGB+D等数据集上达到SOTA性能，为复杂场景下的动作识别提供新思路。

　　

Section snippets

Contrastive learning for skeleton recognition

作为无监督学习的有效方法，对比学习旨在拉近相似样本对的同时推远不相似样本对。它在计算机视觉领域取得了显著成功，例如在人体解析任务中。Wang等人提出了一种像素级对比学习方法，通过度量学习增强属于同一类别像素嵌入的相似性，显式挖掘结构关系。

Classic koopman theory

Koopman理论为分析非线性动态系统提供了数学框架。其核心思想是通过引入高维空间，将原始非线性系统动态映射为线性演化过程。具体而言，考虑一个离散时间非线性动态系统，其描述如下：

[数学公式表示系统状态转移]

其中$$表示时间步长$$的系统状态，$$代表非线性状态转移函数。在原始状态空间中进行直接建模通常会导致复杂动态特性难以捕捉。

Method

首先在第4.1节中，我们详细阐述自适应加权Koopman时序框架（AWKT），通过引入动态加权机制聚焦动作序列中的关键动态区域。然后在第4.2节中，我们提出动态区域感知对抗（DRA2）样本生成策略。接着在第4.3节讨论模型的整体损失计算。最后在第4.4节解释所使用的数据增强策略。

Experiments

我们在三个大规模数据集上全面评估方法的有效性：NTU RGB+D 60、NTU RGB+D 120和PKUMMD。

Conclusions

本工作中，我们提出自适应加权Koopman对比学习方法，通过建模时序动作中的线性动态实现高效的自监督表征学习。为更好捕捉动作中的阶段性动态，我们引入基于时序差分的动态加权机制，引导模型在时序演化过程中关注关键片段。此外，为解决Koopman建模在复杂条件下鲁棒性有限的问题，我们提出针对性解决方案。