基于跨域知识迁移的步态健康评估

《Image and Vision Computing》：Gait-based health assessment via cross-domain knowledge transfer

　　

摘要

近期，基于视觉步态的健康评估研究引起了广泛关注。然而，由于需要专业标注，该领域面临严重的数据资源短缺问题。另一方面，传统应用于监控场景的步态识别取得了显著进展。基于此，我们假设传统步态识别模型中的知识可以迁移至健康评估，以解决后者的数据稀缺问题。在本文中，我们提出了一种新颖的基于步态知识迁移的健康评估框架，名为 GaitTrans，旨在探讨传统步态识别与基于视觉步态的健康评估之间的联系。特别地，我们设计了一个基于投票的步态 - 健康对齐（VB-GHA）模块，能够在有限标注的情况下，有效利用传统步态识别模型中的有用步态信息进行健康评估。在脊柱侧凸评估（即 Scoliosis1K）和抑郁症评估（即 D-Gait）上的广泛实验表明了我们所提方法的有效性。此外，还获得了一些有趣的发现和结论。

引言

基于视觉步态的健康评估（VGHA）通过步态信息（如轮廓序列）来评估行人的健康状况，特别是在脊柱侧凸 [1], [2], [3], [4], [5] 或抑郁症 [6], [7], [8], [9] 方面。与传统基于步态的健康评估方法不同，VGHA 无需额外的可穿戴传感器，从而提供了低成本、最小化受试者配合以及增强的隐私保护等优势。因此，VGHA 在辅助疾病诊断、预测老年人跌倒风险以及识别青少年心理问题方面表现出广泛的适用性。

近年来，VGHA 受到了许多学者的关注和研究。例如 Zhou 等人 [10] 提出了 Scoliosis1K，一个基于纯视觉步态的脊柱数据集，并设计了一种增强模型 ScoNet-MT，集成了多任务学习。Liu 等人 [11] 提出了 D-Gait 抑郁症数据集，并通过特征融合方法验证了基于轮廓的步态信息在抑郁症识别中的有效性。然而，由于需要专业标注，该领域严重缺乏数据资源，这阻碍了其发展。

另一方面，应用于监控场景的传统步态识别（GR）领域取得了显著进展。GR 指的是利用从视频素材中提取的人类步态特征（如轮廓序列）在各种监控摄像头上识别目标行人的过程。最近，该领域取得了重大进展。例如，GaitGL [12] 在 CASIA-B [13] 上达到了 97.4% 的 Rank-1 准确率。DeepGaitV2 [14] 在 GREW [15] 真实场景数据集上也达到了 81.6% 的识别准确率。

基于上述洞察和分析，我们大胆假设 GR 和 VGHA 中的步态信息表现出不可忽略的相关性。前者在一定程度上可以辅助后者。相关假设已在其他跨任务迁移学习 [16], [17], [18], [19] 中得到验证。该迁移过程如图 1 所示。因此，本文旨在探讨 GR 模型与 VGHA 模型之间的联系，以及跨任务迁移的可行性。虽然两种方法都使用轮廓序列作为输入，但它们的核心目标是根本不同的。GR 侧重于通过跨视角时空特征学习来学习身份的可区分表示。相比之下，VGHA 旨在从相同输入中提取与病理相关的细微运动异常。这种任务目标的差异给从 GR 到 VGHA 的跨域迁移带来了重大挑战。

为此，我们提出了一种新颖的健康评估方法，即 GaitTrans，基于 GR 到 VGHA 的常见步态知识迁移。首先，为了使模型具备基本的步态识别能力，步态识别模型首先在源域上进行预训练，即 CASIA-B [13]、CCPG [20]、Gait3D [21] 和 GREW [15]，并将训练好的模型保存为 VGHA 的原始模型。随后，为了挖掘目标域（即健康评估）中与病理相关的潜在步态知识，我们利用原始模型提取步态特征。然后，使用聚类算法迭代优化聚类中心以生成高置信度的伪标签，从而过滤出可迁移的与病理相关的步态知识。特别地，为了在伪标签和真实健康状态之间建立可靠的联系，我们引入了一个基于投票的步态 - 健康对齐（VB-GHA）模块，该模块有效地将聚类步态模式映射到具有临床意义的类别。最后，我们采用水平金字塔映射（HPM）的头部并结合伪标签来实现参数更新，增强模型的健康评估能力。实验表明，我们的方法有效地将有用的步态知识从 GR 迁移到 VGHA，显著提高了健康评估性能。

综上所述，本文的主要贡献简要如下：

• •
  据我们所知，我们是首次探索用于监控场景的步态识别模型与健康评估场景之间的关系，在此期间，我们还揭示了几项有趣的发现，为该实用方向的未来研究提供了宝贵经验。
• •
  我们提出了一种简单而有效的健康评估框架，即 GaitTrans，通过迭代优化聚类中心生成高置信度伪标签，从而有效地迁移有用步态知识，并释放 GR 模型在 VGHA 任务中的潜力。
• •
  我们进行了广泛实验并获得了许多有趣的发现。同时，实验结果验证了我们提出的方法能有效提高 GR 和 VGHA 之间的跨域性能。

章节摘要

步态识别

基于视觉的步态识别技术发展了二十多年，并形成了一套以身份验证为中心的技术体系，在智能安防领域实现了成熟应用。其核心任务是通过分析行人行走模式的空间时间特征，在不同视角和场景下识别个体。

当前的步态识别大致可分为两种主要研究方法：基于模型的和基于外观的步态识别。基于模型的

方法

在本节中，我们首先概述所提出的框架。随后，我们描述了我们方法的关键组件，包括模型预训练和 GR 到 VGHA 的迁移学习。最后，我们详细解释了模型的自适应训练优化。

数据集

对于源域数据的选择，我们采用了多个具有场景多样性的步态识别基准数据集：用于实验室场景的 CASIA-B，覆盖复杂现实环境的 GREW 和 Gait3D，以及支持服装变化场景的 CCPG。这种跨场景和跨条件（服装变化/视角变化）数据的组合有效地验证了方法的跨域泛化能力。GR 数据集的详细信息如下：

(1) CASIA-B [13]

讨论

作为首次探索 GR 到 VGHA 迁移的尝试，这项工作取得了初步进展，并产生了几项有趣的见解，有助于确认这种迁移的合理性。然而，这项工作也存在一些局限性。首先，我们的研究主要关注轮廓数据，尚未涉及其他模态数据的系统验证。然后，基于投票的对齐依赖于 VGHA 数据集中的一小部分（10%）真实标签。此外，尽管

结论

在本文中，我们首次系统调查了从步态识别（GR）到基于视觉步态的健康评估（VGHA）的任务间知识迁移，揭示了几项有趣的发现。基于这些见解，我们提出了一种新颖的基于步态知识迁移的健康评估框架，即 GaitTrans。GaitTrans 旨在探讨传统步态识别与基于视觉步态的健康评估之间的联系。它能有效利用

CRediT 作者贡献声明

Ce Yu: 写作 – 原稿撰写，验证，方法论。 Jinkai Zheng: 写作 – 审阅与编辑，监督，概念化。 Xinxiang Jin: 可视化，数据整理。 Yaoqi Sun: 监督，调查。 Yuhan Gao: 验证，形式分析。 Ming Li: 监督，形式分析。 Liangqiong Qu: 监督，数据整理。 Yuantong Gao: 验证，数据整理。 Xinchen Liu: 写作 – 审阅与编辑，数据整理。 Jiyong Zhang: 写作 – 审阅与编辑。

利益冲突声明

作者声明，他们没有已知的竞争性经济利益或个人关系可能影响本文中报告的工作。

致谢

这项工作由浙江省“尖兵”和“领雁” 研发计划（编号：2023C01046）和浙江省高校基本科研业务费（GK259909299001-044）共同支持。

Ce Yu|Jinkai Zheng|Xinxiang Jin|Yaoqi Sun|Yuhan Gao|Ming Li|Liangqiong Qu|Yuantong Gao|Xinchen Liu|Jiyong Zhang

杭州电子科技大学通信工程学院，中国杭州 310000