HEGait：基于端到端框架优化热图，以实现更高精度的步态识别

《Neural Networks》：HEGait: Optimizing Heatmaps with an End-to-End Framework for Higher-Accuracy Gait Recognition

　　

Baojun Han|Jinyan Chen|Yucheng Jin|Letian Zhao|Furan An|Ziyue He

• •
  一种利用热图表示的端到端框架。
• •
  一种用于提升热图质量的优化模块。
• •
  一种新的研究思路：优化中间表示形式。
• •
  该方法为基于姿态的方法带来了新的最佳性能。

引言

步态是人类的重要特征，能够反映一个人的行走模式。由于其天然的不可伪装性、无侵入性以及唯一性，步态在嫌疑人追踪、身份识别以及其他安全监控系统中具有巨大应用潜力（Sivarathinabala等人，2016年）。

随着深度学习的发展，基于深度学习的方法逐渐成为步态识别领域的主流。现有的步态识别方法大致可分为两类：基于外观的特征方法和基于模型的方法。由于能够传递详细的人体形状信息，基于外观的特征方法往往能取得最佳性能。而基于模型的方法则可以进一步排除与步态无关的因素，如携带物和衣物，从而获得更纯净的步态表示，具备更大潜力。

在所有基于模型的方法中，基于姿态的方法最为常见，这类方法通常以人体关键点序列作为输入。但由于离散点提供的信息有限，基于姿态的方法的整体性能通常低于基于外观的特征方法。为了解决这一局限，近期的一些研究（Fan, Ma, Jin, Shen, Yu, 2024；Fu, Hou, Meng, Hu, Cao, Liu, Huang, 2024）开始尝试使用热图而非离散的关键点坐标，其性能已可与基于外观的特征方法相媲美。此外，热图作为一种基于网格的步态表示形式，其数据维度与轮廓图和RGB图像相似，因此更易于与现有的模型实现方式结合。综合考虑性能与兼容性，并在保持姿态表示固有优势的前提下，我们选择热图作为中间表示形式。不过，即便是最先进的基于热图的方法（Fu等人，2024年），仍然依赖预训练的姿态估计器直接生成的热图，这就带来了一个问题：**用于姿态估计的热图往往侧重于人体的静态解剖结构，而非步态特有的特征，因此并不总是适合用于步态识别模型。**

为了解决这一问题，我们提出了一种基于热图的端到端步态识别框架（**HEGait**）。同时，我们还引入了一种关键点回归损失函数，用以保留热图中的关键点语义。这样一来，一方面，姿态估计器能够学习到隐含在身份标签中的步态信息；另一方面，多损失监督机制则能够减轻关键点回归损失对热图数值分布的限制。最终，我们得到了更适用于步态识别的热图。

此外，Teepe等人（2022年）的研究表明，不同身体部位对步态识别性能的贡献程度各不相同。因此，**研究热图中不同关键点及位置的影响具有重要意义**。为此，受SENet中通道注意力机制的启发（Hu等人，2018年），我们提出了一种新的热图优化模块（**HRM**），该模块同时结合了关键点级注意力和像素级注意力。它以17个关键点的热图作为输入，首先通过关键点级注意力模块为每个关键点通道分配不同的权重，随后将17幅热图融合为一幅综合热图，再通过像素级注意力重新调整每个像素的权重，最终得到一幅更侧重于最具信息量区域的热图表示。

以往的大多数步态识别方法都集中在优化下游识别模型或探索新的中间表示形式上，很少有研究将中间表示的优化作为核心目标。**在这方面，我们明确提出了一个新的研究思路：将优化中间表示作为核心目标**。而且，这样的研究也可以与现有的上下游模型相关研究无缝整合。

最后，我们在三个基准数据集——CASIA-B（Yu等人，2006年）、SUSTech1K（Shen等人，2023年）和CCPG（Li等人，2023年）上进行了大量实验，以验证所提方法的有效性。如图1所示，我们的方法不仅优于现有的基于姿态的方法，而且在单域和跨域评估中都取得了新的最佳性能。在跨域实验中，模型需要在捕获环境、数据分布和条件设置都存在差异的两个数据集上进行训练和评估，这样的环境要求模型具备更高的鲁棒性和泛化能力。在这种条件下，我们的方法在大多数评估指标上都显著优于其他基于姿态的方法（见图1右侧），进一步凸显了其优越性。

综上所述，本文的主要贡献有三点：

• •
  我们提出了一种端到端框架，能够有效利用先进的热图表示形式，实现高性能的步态识别。
• •
  我们设计了一种新的热图优化模块，用于提升热图的质量。
• •
  我们明确提出了以优化中间表示为核心目标的新研究思路，并通过大量实验证明了该方法的有效性。

章节节选

步态识别

根据上游任务和中间表示形式的不同，步态识别方法一般可分为基于模型的方法和基于外观的特征方法两类。

方法

如图3所示，HEGait由三个部分组成：用于生成热图的上游姿态估计器、用于优化热图的热图优化模块，以及负责执行度量学习的下游步态识别模块。整个流程采用端到端的方式进行训练。

数据集

为了确保评估的全面性，我们在三个广泛使用的数据集——CASIA-B、CCPG和SUSTech1K上进行了大量实验。表1列出了这些数据集的详细信息。这些数据集涵盖了不同的场景，包括视角、服装风格以及室内/室外环境等变化，并且都提供了完善的评估方案。在我们的实验中，我们严格遵循官方的评估标准。

我们对所有评估指标的说明如下：NM

讨论

尽管我们的端到端框架和热图优化模块显著提升了热图的表现能力，但该方法仍存在一些局限性：

• •
  目前热图优化还处于初步的注意力分配阶段，未来我们期待有更多关于热图优化的研究出现。
• •
  传统的步态损失函数在同时监督姿态估计和步态识别模块时可能效果不佳。为了解决这个问题，我们将展开进一步研究。

关于写作过程中生成式AI和AI辅助技术的声明

声明：在撰写本文的过程中，作者使用了ChatGPT来提升文本的可读性。在使用该工具后，作者对内容进行了必要的审阅和修改，并对文章的内容负完全责任。

CRediT作者贡献说明

Baojun Han：写作——审阅与编辑，写作——初稿撰写，项目管理，方法设计，形式分析，数据整理，概念构思。Jinyan Chen：写作——审阅与编辑，结果验证，监督工作，软件开发。Yucheng Jin：可视化处理，资源获取，项目管理。Letian Zhao：结果验证，形式分析，概念构思。Furan An：结果验证，监督工作，形式分析。Ziyue He：软件开发，资源获取。

利益冲突声明

作者声明，他们不存在任何可能影响本文研究成果的已知财务利益关系或个人关系。

致谢

本研究未获得公共部门、商业机构或非营利组织所提供的任何专项资助。