通过轮廓序列分离和细粒度可视化技术理解步态识别

《Pattern Recognition》：Understanding Gait Recognition through Silhouette Sequence Disentanglement and Fine-grained Visualization

本文提出一种可解释的基于silhouette序列的步态识别框架，通过引入Koopman理论构建的线性动态约束分离步态特征为静态、动态和残差成分，并设计DisRec可视化方法分析像素级贡献，在OU-MVLP和Gait3D数据集上验证了该方法对识别机制的可视化解释能力。

　　

张少雄|刘一秀|郑金凯|曲良雄|李明|严成刚

中国杭州电子科技大学通信工程学院

摘要

步态识别旨在通过分析行人轮廓序列来识别个体。尽管基于深度学习的最新模型已经取得了令人印象深刻的准确率，但其可解释性仍然有限。传统的可视化方法只能提供粗略的洞察，无法揭示驱动识别的细粒度运动模式，因为步态主要依赖于形状和运动，而不是纹理或颜色线索。为了解决这一限制，我们提出了一个可解释的框架，该框架结合了轮廓序列解耦和细粒度可视化。首先，我们设计了GDN，它基于Koopman理论引入了线性动态约束，将步态特征分为静态、动态和残差三个部分，实现了步态信息的物理意义分解。接下来，我们开发了DCRN来分析每个成分对身份识别的贡献。此外，我们还提出了DisRec，这是一种基于梯度的可视化方法，它在解耦的成分空间内运行，以识别对识别决策有贡献的细粒度像素区域。在OU-MVLP和Gait3D上的案例研究表明，我们的方法产生了清晰且可解释的视觉解释，从而提供了对基于轮廓的步态识别系统的更详细和深入的理解。

引言

步态识别是一种生物识别技术，它根据个人的行走模式来识别他们。与其他生物识别技术（如指纹、虹膜或面部识别）不同，步态可以使用常规相机从远处捕获，几乎不需要被识别者的配合，并且很难被模仿。这些特性使得步态识别在监控和安全应用中特别有用[1]。此外，在准确表征病理步态模式方面也取得了显著进展[2]。

近年来，深度学习在步态识别方面取得了显著进展，在多个基准数据集上取得了出色的性能。例如，开源基线模型GaitBase[3]在包含超过一万个人的OU-MVLP数据集上的平均准确率超过了90%[4]。此外，DeepGaitV2[5]在两个真实世界的步态数据集上的准确率分别为79.4%和74.4%。同时，无监督领域适应[6]和多模态学习[7]等领域的研究进一步强调了深度学习方法在提高步态识别性能方面的有效性。

尽管识别准确率很高，但仍有几个基本问题尚未解决。基于轮廓的步态识别为何有效？它捕捉并利用了哪些具体的视觉模式来进行身份识别？这些问题之所以出现，是因为区分性步态模式可能源于个体之间的解剖学和机械差异，以及独特的肌肉协调策略[8]。然而，将这些模式与可靠的识别联系起来的机制仍然不清楚[9]。大多数基于深度学习的方法仍然将步态识别视为计算机视觉中的传统图像识别任务。这种框架忽略了重要的生物力学因素，从而导致模型可解释性受限。因此，提高步态识别模型的可解释性仍然是一个关键且未解决的挑战。

从计算机视觉的角度来看，有三个主要因素导致了可解释性的缺乏。(1) 步态识别是一个高级视觉任务，它依赖于人类难以察觉的微妙特征，因此很难结合足够的先验知识来提高可解释性。(2) 深度学习模型通常作为黑箱系统运行，使得基于物理原理解释提取的特征变得困难。尽管像Grad-CAM[10]和注意力图[11]这样的可视化方法可以突出区分性区域，但它们往往无法揭示对步态识别至关重要的细粒度模式。(3) 步态识别依赖于轮廓在时间维度上的变化，而不是静态信息。大多数现有的可视化方法专注于分析单帧，从而限制了它们解释时间动态轮廓演变的能力（见图1）。

为了提高步态识别模型的可解释性并解决步态识别为何有效的问题，我们专注于轮廓序列的解耦。这一过程旨在将步态轮廓转换为可解释的成分，因为它可以阐明物理意义。然而，有效的序列解耦仍然很困难，主要是因为(1) 动态信息本质上依赖于静态轮廓表示，以及(2) 不同序列之间的步态周期不同步导致监督信号不足。因此，传统的步态轮廓解耦方法主要依赖于统计独立性约束[12]或姿势相似性假设[13]，而缺乏动态约束。这一限制阻碍了静态和动态信息之间的真正分离，从而限制了对步态识别为何有效的理解。

为了解决步态轮廓序列解耦中的监督不足问题，我们应用了来自深度Koopman模型的线性约束[14]来指导动态成分在Koopman线性空间内的演变，从而表现出线性时间动态。基于这一原理，我们提出了一种新的步态轮廓序列解耦网络，称为GDN。GDN将步态轮廓序列解耦为两个主要成分，即静态成分和动态成分，以及一个额外的残差成分。它不需要额外的监督标签，如姿势注释或周期同步的步态数据，而是仅利用标准步态识别数据集中可用的原始轮廓和身份标签。这种设计能够有效地、可解释地分离不同成分，提供了对步态识别潜在物理因素的更清晰洞察。在获得解耦特征后，我们设计了一个简单的网络，使用低维解耦成分进行定量步态识别。通过分析识别准确率的变化，我们进一步探索了步态区分性的主要来源。图2展示了上述流程的示意图。

在获得步态解耦网络GDN之后，我们设计了一种名为DisRec的新步态识别可视化方法。DisRec扩展了传统的可视化技术（如Grad-CAM[10]），以分析解耦成分内部反向传播梯度的细粒度效应。通过比较梯度优化前后的特征表示，DisRec提供了对对身份识别贡献最大的像素的直接视觉解释。利用提出的GDN和DisRec，我们可以通过可视化对每个识别结果有贡献的区分性特征来分析实际的步态识别案例。我们进一步在GaitBase[3]和DeepGaitV2[5]上使用OU-MVLP[4]和Gait3D[15]数据集进行了案例研究，证明了我们的方法产生了可解释的视觉解释，从而提供了对基于轮廓的步态识别系统的更详细和深入的理解。

总结来说，我们做出了以下主要贡献：

•

我们采用基于Koopman理论的线性约束来捕捉动态成分，使得行人行走模式的表示更加结构化和可解释。

•

我们设计了一个名为GDN的步态序列解耦框架，它有效地将步态轮廓序列分为静态、动态和残差三个成分，从而实现了步态特征的更物理可解释的表示。

•

我们利用从GDN获得的解耦成分设计了一个名为DCRN的基线网络，用于身份识别的定量实验，允许定量分析每个成分对识别的贡献。

•

我们提出了一种名为DisRec的新可视化方法，该方法建立在GDN的解耦和重建框架之上，它显示了对身份识别有贡献的细粒度像素区域。

•

我们在两个代表性的步态识别模型和两个基准数据集上进行了案例研究，以确定影响身份识别的关键因素，从而提供了对基于轮廓的步态识别系统的更详细和深入的理解。

小节片段

基于轮廓的步态识别

基于轮廓的步态识别方法使用卷积神经网络（CNN）从二值行人轮廓中提取区分性特征。根据它们处理时间信息的方式，这些方法可以大致分为基于模板的方法、基于集合的方法和基于序列的方法。

基于模板的步态识别通过将整个步态周期聚合为单个代表性图像来降低时间建模的复杂性。

理论基础

给定一个包含帧的步态轮廓序列$X=\left\{x_t\right\}$，其中∈{1, 2, ..., T}，我们提出的方法将解耦为两个主要成分：静态成分(U)和动态成分(V)，以及一个额外的残差成分(W)。具体来说，对于第t帧的轮廓x_t，解耦方法将x_t表示为三个成分的组合：$x_t=[u_t,v_t,w_t]$静态成分U编码了跨帧保持不变的信息，主要反映了

步态解耦网络

我们提出的步态轮廓序列解耦网络GDN的流程如图3所示。GDN由两个编码器Φ、一个解码器Ψ和三个MLP模块组成。编码器Φ和解码器Ψ基于Deep ResUnet架构[40]。

步态识别实验

在本节中，我们进行了步态识别实验，以进一步验证所提出方法的合理性，并分析解耦成分的识别作用。

DisRec可视化

虽然直接比较探针样本和图库样本图像可以直观地显示样本间的差异，但这种比较往往不可靠，因为视角变化、步态阶段的时间不对齐以及静态和动态线索的纠缠可能会主导观察到的视觉差异。同时，传统的深度学习可视化方法在步态识别场景中无法提供足够细粒度的可解释性，因为它们难以

结论

本文提出了一个可解释的步态识别框架，增强了人们对深度模型如何通过步态识别个体的理解。所提出的解耦方法将步态特征分为物理上有意义的成分，提高了可解释性，并揭示了各成分对识别的贡献。通过案例研究，我们进一步识别了深度模型学习的常见识别模式，为步态区分机制提供了新的见解。在未来的

CRediT作者贡献声明

张少雄：撰写 – 审稿与编辑，撰写 – 原稿，可视化，验证，软件，资源，项目管理，方法论，调查，形式分析，数据管理，概念化。刘一秀：撰写 – 审稿与编辑，监督，软件，资源，方法论，调查，形式分析，概念化。郑金凯：可视化，验证，方法论，资金获取，数据管理。曲良雄：可视化，验证。李明：

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

致谢

本工作得到了中国国家自然科学基金（U21B2024）、浙江省省级高校基本研究基金（GK259909299001-044）、浙江省的“先锋”和“领头雁”研发计划（2024C01107, 2023C01030, 2023C03012）以及杭州电子科技大学研究基金（KYS085624281）的支持。