用于识别伪装个体的步态的多模态特征学习

《Expert Systems with Applications》：Multimodal feature learning for gait recognition of camouflaged individuals

步态识别通过分析伪装个体在复杂环境中的行走模式实现，传统方法存在轮廓或骨骼特征提取不全面的问题。本文提出MTGait框架，采用多分支结构融合轮廓和骨骼特征，其中轮廓分支通过多尺度卷积和金字塔注意力机制捕捉动态特征，骨骼分支利用残差图卷积网络提取关节关系，并通过跨模态Transformer实现深度特征交互。实验表明在GCI-150、CASIA-B和OUMVLP数据集上达到89.2%、96.5%和90.6%的准确率，尤其在服装变化场景中表现优异。

　　### 解读：基于多模态特征学习的步态识别框架MTGait

步态识别是一种重要的视频监控技术，其核心在于通过远距离观察个体的行走模式来识别身份。随着技术的发展，步态识别方法通常被分为基于轮廓（silhouette）和基于骨架（skeleton）两种类型。然而，在复杂环境中识别穿着迷彩服的个体仍然是一个挑战。轮廓数据容易受到环境因素或服装变化的影响，只能提供外部形态信息；而骨架数据虽然包含了人体的内部结构信息，但忽略了身体的整体形状。因此，为了更全面地捕捉步态特征，本文提出了一种基于多模态特征学习的新型步态识别框架MTGait，旨在通过融合轮廓和骨架两种模态的信息，提高识别的准确性和鲁棒性。

#### 多模态融合的意义与挑战

在实际应用中，识别穿着迷彩服的个体需要应对多种复杂因素，如背景环境的干扰、服装颜色和纹理的变化、以及个体行走姿态的多样性。这些问题使得传统的单一模态识别方法在处理这类任务时存在局限。例如，基于轮廓的方法虽然能够提取外部形态特征，但在面对服装遮挡或变化时，容易丢失关键信息；而基于骨架的方法虽然可以捕捉人体关节的动态变化，但对服装的改变较为敏感，难以准确识别身体整体的运动特征。

为了解决这些挑战，研究人员开始探索多模态融合方法，即将轮廓和骨架两种模态的信息结合起来，以获取更全面的步态特征表示。目前，多模态融合主要分为早期融合、晚期融合和混合融合三种方式。早期融合方法直接在特征提取阶段融合不同模态的数据，但由于模态间的差异较大，难以充分发挥其互补性；晚期融合方法则先分别训练不同模态的模型，再在决策阶段进行融合，虽然可以避免模态间的干扰，但忽略了低层次特征之间的交互作用。因此，本文提出了一种混合融合策略，结合早期和晚期融合的优点，实现对不同模态特征的高效整合。

#### MTGait框架的设计与实现

MTGait框架由三个主要分支组成：轮廓分支、骨架分支和融合分支。轮廓分支通过多尺度卷积操作提取不同接收域的外观特征，并结合金字塔注意力机制，突出关键信息。骨架分支则利用图卷积网络（Graph Convolutional Network, GCN）高效捕捉骨架节点之间的依赖关系，从而提取更精确的步态特征。融合分支则引入了跨模态Transformer结构，用于交互不同模态的浅层特征，进一步丰富步态特征表示，提升识别性能。

在轮廓分支中，多尺度卷积操作能够提取不同尺度下的特征，从而适应不同环境下的个体行走情况。金字塔注意力机制则用于关注不同水平轮廓中的关键区域，提高对复杂背景和服装变化的鲁棒性。在骨架分支中，图卷积网络能够捕捉骨架节点之间的空间关系和动态变化，从而提取更精确的步态信息。融合分支则通过Transformer结构实现跨模态的交互，将不同模态的浅层特征进行融合，形成更全面的步态特征表示。

#### 实验结果与性能评估

为了验证MTGait框架的有效性，本文在多个公开数据集上进行了实验，包括CASIA-B、OUMVLP以及本文构建的GCI-150数据集。实验结果表明，MTGait在这些数据集上的识别性能优于其他先进方法。例如，在CASIA-B数据集上，MTGait在无服装变化（CL）的条件下达到了96.5%的Rank-1准确率，在有服装变化（如穿外套）的条件下也达到了94.5%的准确率，显示出其在复杂环境下的强大适应能力。在GCI-150数据集上，MTGait达到了89.2%的Rank-1准确率，进一步验证了其在识别穿着迷彩服个体方面的有效性。

此外，本文还构建了一个新的步态数据集GCI-150，该数据集由无人机（Unmanned Aerial Vehicle, UAV）采集，涵盖了不同位置和高度下的个体行走情况。每个被试者沿一条长约10米的直线路径行走或跑步，路径起点和终点附近的区域被定义为加速和减速区，以减少外部因素对步态特征的干扰。该数据集的构建为研究穿着迷彩服个体的步态识别提供了新的资源和实验基础。

#### 方法的优势与创新点

MTGait框架在多个方面具有创新性和优势。首先，它采用多分支结构，能够同时提取轮廓和骨架的特征，并通过多模态特征学习，整合不同模态的信息，从而获得更丰富的步态表示。其次，该框架在轮廓分支中引入了金字塔注意力机制，能够有效捕捉不同水平轮廓中的关键区域，提高对复杂背景和服装变化的识别能力。在骨架分支中，图卷积网络被用于高效提取骨架节点之间的依赖关系，从而获得更精确的步态信息。融合分支则通过跨模态Transformer结构，实现不同模态特征的交互，进一步提升步态识别的性能。

此外，MTGait框架在融合策略上进行了优化，结合早期和晚期融合的优点，实现对不同模态特征的高效整合。这种混合融合策略能够充分发挥轮廓和骨架两种模态的互补性，从而提高整体识别性能。实验结果表明，MTGait在多个数据集上的识别准确率均优于其他方法，特别是在面对服装变化等复杂情况时，其性能表现更为突出。

#### 实际应用与军事意义

步态识别在军事领域具有重要的应用价值。由于迷彩服能够有效隐藏个体的外形特征，使得传统的视觉识别方法在识别穿着迷彩服的个体时面临巨大挑战。而步态识别具有一定的不可伪装性，能够通过分析个体的行走模式来识别身份，因此成为识别穿着迷彩服个体的重要手段。MTGait框架的提出，不仅提高了步态识别的准确率，还增强了其在复杂环境下的鲁棒性，为军事侦察和安全监控提供了新的技术支持。

此外，本文构建的GCI-150数据集为研究穿着迷彩服个体的步态识别提供了重要的实验基础。该数据集涵盖了不同高度和位置下的个体行走情况，能够更真实地反映复杂环境下的步态特征变化。通过在该数据集上的实验，可以更全面地评估步态识别方法在实际应用中的性能表现。

#### 未来研究方向

尽管MTGait框架在步态识别方面取得了显著成果，但仍有一些问题需要进一步研究。例如，在面对极端环境条件（如强风、雨雪等）时，如何提高步态识别的鲁棒性仍然是一个挑战。此外，如何在不同模态之间实现更高效的特征交互，以进一步提升识别性能，也是未来研究的一个重要方向。未来的研究可以结合更多先进的深度学习技术，如自监督学习、迁移学习等，以提高步态识别的泛化能力和适应性。

同时，本文构建的GCI-150数据集为后续研究提供了新的数据支持。未来的研究可以进一步扩展该数据集，涵盖更多复杂环境和不同类型的服装变化，以更全面地评估步态识别方法的性能。此外，还可以探索其他数据模态（如深度图像、光流等）在步态识别中的应用，以进一步提高识别的准确性和鲁棒性。

#### 总结

本文提出了一种基于多模态特征学习的步态识别框架MTGait，旨在通过融合轮廓和骨架两种模态的信息，提高识别穿着迷彩服个体的准确率和鲁棒性。该框架由三个主要分支组成，分别负责提取轮廓、骨架和融合特征，并通过混合融合策略实现对不同模态特征的高效整合。实验结果表明，MTGait在多个数据集上的识别性能优于其他方法，特别是在面对服装变化等复杂情况时，其性能表现更为突出。本文构建的GCI-150数据集为研究穿着迷彩服个体的步态识别提供了新的实验基础，为军事应用和安全监控提供了重要的技术支持。未来的研究可以进一步探索多模态融合的优化方法，以及如何在不同环境条件下提高步态识别的适应性和泛化能力。