LGMFN：一种用于鲁棒且高效人类动作识别的局部 - 全局多模态融合网络

《Journal of Visual Communication and Image Representation》：LGMFN: A local-global multimodal fusion network for robust and efficient human action recognition

　　

# 论文内容翻译

---

**摘要要点：**
• 一种骨骼引导的预处理方法将视频转换为信息丰富的图像。
• 一个高效的识别流水线以低计算成本实现了高精度。
• 一个轻量级辅助模型增强了多种基于骨骼的方法。

---

## 1. 引言

人类动作识别（HAR）已成为计算机视觉领域中一个快速发展的方向，受到了广泛的学术关注，并应用于视觉监控系统、自动导航和人与计算机交互等多个领域[1]、[2]。随着经济实惠的传感器的广泛普及以及不同模态的明显优势，人类动作识别方法已从单模态范式转向多模态范式。

多模态数据引入了互补的特征模式并提高了人类动作识别的精度。然而，它也带来了进一步的问题和挑战。例如，RGB和深度等模态通常包含大量无关信息。因此，现有工作通常不直接输入这些模态的完整视频数据，而是探索人体外观特征的不同表示方式。从人体描述的角度来看，局部表示（针对若干关键部位的表示）和整体描绘（整个人体的描绘）是两种对应的方法。如图1(a)所示，聚焦于几个关键身体部位可以检测肢体以及与人类交互的物体的细微运动变化。相比之下，评估人体整体姿态可以反映整个人体姿态的变化以及躯干不同部位的相对位置变化。对于图中所示的"脱鞋"动作而言，该动作主要涉及手和脚的运动，因此局部表示更适合聚焦这些判别性模式。同时，该动作也包含全身弯曲运动，这由编码全身整体姿态变化的全局表示更好地捕捉。通过观察图1(b)可以看出，这两种描述具有强互补性，可以相互增强以实现更精确的人类动作识别。然而，现有方法通常只关注局部或全局表示，而未能同时利用两组信息。

与此同时，单模态基于骨骼的人类动作识别也面临其自身的局限性。尽管现有最先进的（SOTA）基于骨骼的方法取得了显著的整体性能，它们在区分相似类别和从多个视角识别动作方面仍面临重大挑战。这些挑战主要源于骨骼数据的稀疏性和有限的表示特征，这些可以通过RGB和深度等其他模态来补充。在此基础上，MMNet[4]引入了一种多模态融合的教师-学生模型，该模型首先将RGB帧序列转换为RGB时空感兴趣区域（ST-ROI）图像。随后，它利用骨骼模态的中间特征来促进RGB流的学习。虽然MMNet取得了显著性能并大幅提高了RGB流的学习效率，但在某些方面仍有进一步改进的空间。首先，MMNet生成的ST-ROI图像只关注几个局部特征，缺乏人体的整体特征。此外，MMNet中RGB和骨骼模态之间的强耦合使得其难以迁移到其他模态。此外，模态之间的知识转移还带来了额外的计算成本。总之，多模态融合具有协同增强人类动作识别鲁棒性的潜力。然而，有效融合多模态互补信息仍然是一个值得研究的挑战。

> 图1. 人体局部特征与全局特征的表示与性能比较。
> (a) 五帧等间隔采样下人体局部特征与全局特征的演变。
> (b) 在NTU RGB+D数据集[3]的两个基准上，LGMFN中局部特征与全局特征组合相比单独使用时带来的性能提升。

---

为解决上述问题，我们提出通过利用两种互补信息——局部与全局身体表示，以及RGB与深度模态——来增强基于骨骼的人类动作识别，如图2所示。我们分别从RGB和深度模态中生成人体局部图像（HLI）和人体全局图像（HGI）。这些图像提供了几个关键关节的特定局部细节以及整个人体的一致性全局特征。在此基础上，我们提出了局部-全局多模态融合网络（LGMFN）。通过利用RGB模态的纹理和颜色特征以及深度模态的丰富轮廓和距离模式，LGMFN能够充分提取多个模态的动作模式。此外，LGMFN可以与基于各种骨干模型的骨骼方法进行整合，以增强其在区分相似类别和视角不变性方面的鲁棒性。更重要的是，作为辅助模型，LGMFN可以以极小的时间开销显著提升骨骼方法的性能。与现有的SOTA多模态融合方法相比，我们的方法创新性地提出了一种简洁而极具表现力的特征表示方法，并保持了轻量级架构。与SOTA方法MMNet相比，我们的模型与各种骨骼方法的耦合度低，并且与基于不同骨干架构的骨骼模型集成具有强大的潜力。整个框架非常适合部署在边缘设备上。总体而言，我们的方法代表了人类动作识别的一个独特、高效且轻量级的解决方案，既可作为有效的多模态框架，也可作为广泛的基于骨骼方法的互补增强。

> 图2. 多模态HLI和HGI的简明概述。前者强调几个关节的局部特征，而后者捕捉整体特征。

本文的贡献如下：

• 我们提出了一种骨骼引导的预处理方法，将RGB和深度模态转换为人体局部图像（HLI）和人体全局图像（HGI）。该过程有效捕捉了人体局部和全局两个视角的信息，同时最大限度地减少背景干扰。

• 我们提出了一种局部-全局多模态融合网络（LGMFN）。LGMFN能够同时高效提取多模态流中的特征，并以低计算成本和快速推理速度取得出色的性能。这些特性使其非常适合实时动作识别任务。

• 当与骨骼方法集成时，LGMFN进一步提高了这些基线模型在区分相似动作和实现视角不变性方面的鲁棒性。在NTU RGB+D[3]和NTU RGB+D 120[5]数据集上的综合实验表明，我们的方法优于几种SOTA多模态方法，在NTU数据集的四个基准上分别达到了97.6%、99.5%、96.5%和97.5%的准确率。代码已公开发布，以支持未来研究并促进交流。

本文其余部分组织如下：第2节介绍相关工作。第3节详述所提出的LGMFN。第4节提供与SOTA方法的对比和全面的消融研究。第5节对论文进行总结。

---

## 2. 相关工作

计算机视觉领域见证了从单模态人类动作识别到多模态人类动作识别的发展。本节从两个角度呈现主流的人类动作识别方法：单模态方法和多模态方法。

### 2.1 单模态人类动作识别

由于本工作主要关注三种模态——RGB、深度图和骨骼数据——的人类动作识别，我们回顾了这些模态在该领域的最新进展。

**基于RGB模态的人类动作识别。** 基于RGB的人类动作识别已逐渐从简单的特征提取发展到时空模式挖掘。这一转变包括两种主要方法，即基于CNN的方法和基于Transformer的方法。[6]提出了一种双流CNN模型，包含空间网络和时序网络，使传统2D-CNN能够有效提取视频数据中的特征。随后，这种双流CNN模型成为广泛研究的经典模型[7]。同时，3D-CNN被用于同时建模视频中的时空信息。[8]首先分割视频中的人体序列，然后将其输入3D-CNN。[9]、[10]引入了3D卷积（C3D）和膨胀3D卷积网络（I3D）以进一步探索3D-CNN。

同时，Transformer在长序列中展现出了特征提取能力，并已被应用于人类动作识别任务[11]、[12]。

RGB模态提供了丰富的纹理和颜色细节，对人类动作识别模型有益。然而，大量的RGB数据导致计算复杂度高且背景噪声显著，因此需要简洁地表示人体动作特征。虽然MMNet[4]通过强调特定关键关节采用局部表示，但许多现有工作仍主要依赖人体的整体特征。相比之下，我们提出了一种骨骼引导的预处理方法，从局部和全局两个视角简洁地提取人体必要动作特征表示。该方法在减少背景噪声的同时保留了个体特征。

**基于深度模态的人类动作识别。** 深度模态提供了丰富的人体几何形状和距离模式。基于CNN和RNN的方法也已在基于深度的人类动作识别中得到广泛探索[13]、[14]、[15]。

其中，[13]将加权层次深度运动图输入三通道深度卷积神经网络，增强了在深度图小数据集上的识别性能；而[14]使用3D全卷积神经网络架构，以端到端的方式提取深度图中的时空信息。

深度模态的优势在于提供三维结构特征，并且不易受背景干扰。然而，它也存在数据量大的挑战，往往消耗大量计算资源。因此，我们仍将深度模态转换为HLI和HGI表示。

**基于骨骼模态的人类动作识别。** 人体骨骼简洁地捕捉了人体运动轨迹和身体姿态。在本部分，我们主要讨论两种主流基于骨骼的方法，即基于GCN的方法和基于CNN的方法。

基于GCN的方法将骨骼解释为图结构，其中关节作为节点，关节之间的连接作为边。自ST-GCN[16]将空间骨骼表示为时空图结构以来，GCN在基于骨骼的人类动作识别领域取得了显著进展[17]、[18]、[19]。

基于CNN的方法通常采用各种预处理技术将骨骼表示为伪图像，以包含骨骼序列的时空特征[20]、[21]。其中，PoseConv3D[21]将骨骼骨和关节流处理为3D热图堆栈，然后输入3D-CNN以构建不受识别人数影响的端到端人类动作识别模型。

骨骼模态的优势在于不受背景噪声影响，使其成为人类动作识别研究的一个焦点。然而，由于骨骼固有的局限性（如稀疏性以及对变形和位移的敏感性），准确分类相似动作和从不同观察视角识别动作仍存在显著挑战。因此，多模态融合方法引起了越来越多的关注。通过整合RGB和深度等其他模态的信息，多模态方法将宝贵的互补见解注入基于骨骼的模型中。

### 2.2 多模态人类动作识别

多模态人类动作识别旨在传递和利用来自不同模态的信息，可分为融合和协同学习两类。

**融合方法。** 融合是指在推理过程中将两个或多个模态的特征进行整合[22]、[23]、[24]。特别地，[22]将RGB帧和骨骼序列的token表示聚合为多类token，并采用Transformer学习其特征。[23]引入了一种时空解耦后多阶段耦合的视频建模方法。

**协同学习方法。** 协同学习探索不同模态之间的知识传递[4]、[25]。在[25]的研究中，深度模态充当教师，通过知识蒸馏框架将知识传递给RGB模态学生。MMNet[4]利用从GCN骨骼关节流中提取的特征来引导RGB流的学习。

值得注意的是，虽然协同学习可以建立教师-学生系统，但它往往导致模态之间的强耦合，这可能阻碍模态间的信息传递。在本研究中，我们引入了一种多模态特征融合网络LGMFN。我们的方法能够同时从多个模态中学习，并实现多源数据的全面整合。此外，当与基于骨骼的模型集成后，LGMFN显著提升了它们的性能，并能在相似类别区分和视角不变性方面提供改进。

---

## 3. 方法

所提出的方法主要分为两个阶段，即原始数据预处理和模型训练。数据预处理阶段如图3所示。为了高效提取RGB和深度模态中的特征，原始数据首先被转换为人体局部图像（HLI）和人体全局图像（HGI）。骨骼数据也会根据所使用的具体基于骨骼的方法以不同方式进行预处理。随后，所有模态生成的中间特征被输入网络以进行模型优化。

第 3.1 节概述了 HLI 和 HGI 的构建过程，第 3.2 节展示了时空骨架图和 3D 热图体积的构建，第 3.3 节描述了 LGMFN 的整体架构，第 3.4 节解释了模型的目标函数。下载：下载高分辨率图片 (716KB) 下载：下载全尺寸图片 图 3. 数据预处理的总体流程。它涉及基于骨架序列生成骨架引导的多模态人体局部图像、人体全局图像，以及 3D 热图体积（用于 3D-CNN）或时空骨架图（用于 GCN）。

3.1. 构建 HLI & HGI
虽然一些现有方法为基于 RGB 的 HAR 提供了高度有效的技术，但它们通常需要大量的计算资源，这可能限制了其在实时或资源受限场景中的适用性。我们的方法将 RGB 视频帧序列转换为 HLI 和 HGI。HLI 从人体几个局部关节的角度提供补充信息，而 HGI 则从全身的角度提供补充见解。同时，构建深度模态的 HLI 和 HGI 以提供更鲁棒 HAR 的 3D 结构信息。图 4 展示了 RGB 模态下单人和双人场景的 HLI 和 HGI，深度模态类似。

构建 HLI。构建 HLI 的过程涉及在时间域和空间域对视频帧序列进行采样。在时间域中，均匀选择几帧，以确保生成的 HLI 能有效捕捉人体姿态的动态变化。在空间域中，选择特定的骨架关节作为关键参考点，围绕它们提取大小一致的方形区域，称为关键局部区域。具体来说，假设 RGB 视频由 T 帧组成，其对应的深度图也包含 T 帧。然后，单个视频可以表示为 R={rt|t=1,…,T}（RGB 模态）和 D={dt|t=1,…,T}（深度模态）。以构建 RGB HLI 为例，我们定义一个转换函数 f 来构建时间 t 时第 j 个关节的 HLI：
(1) Lt(j)=f(rt,st(j)),t∈{intervall×a|a=1,…,ML},intervall=T/ML,j∈{m1,…,mMJ},MJ≤MS
下载：下载高分辨率图片 (649KB) 下载：下载全尺寸图片 图 4. RGB 模态下单人和双人场景的 HLI 和 HGI 示意图。rt 代表时间 t 的帧，通过以 intervall 为间隔对 T 帧进行均匀采样获得。ML 代表长度为 T 的每个视频中采样的帧总数。基于 MMNet [4] 的穷尽实验，我们将 ML 设置为 5。st(j) 表示帧 t 时的第 j 个关节，m1 到 mMJ 代表我们考虑的 MJ 个关键参考关节，不超过骨架关节总数 MS。

经过时间和空间采样后，我们获得 ML 帧，每帧捕捉 MJ 个关键参考关节。在本研究中，关键参考关节包括头部、手部和脚部。因此，MJ 设置为 5。单帧的 HLI 通过垂直拼接围绕每个帧中获取的关键参考点裁剪的 MJ 个关键局部区域获得。随后，通过水平拼接这些逐帧 HLI，生成整个视频的 HLI。当涉及两个人时，首先垂直拼接每个人头部、手部和脚部的关键局部区域。随后，这些垂直拼接的区域被水平组合以创建单帧的 HLI。此过程对每一帧重复以获取整个视频的 HLI。值得注意的是，在双人场景中，每个人的关键局部区域宽度比单人场景减半。因此，HLI 的整体尺寸与单人情况保持一致。

构建 HGI。构建 HGI 和 HLI 都涉及骨架引导的数据融合。然而，关键参考区域的建立方式存在显著对比。HLI 选择 MJ 个独立的关键参考关节并提取它们周围相应的关键局部区域，而 HGI 利用均匀包含所有 MJ 个关键参考关节的关键全局区域。HGI 的构建不涉及隔离每个关节周围的小区域，然后将它们组合成更大的区域。相反，它专注于人体动作的整体模式，补充 HLI 强调的若干关节周围的局部特征。

在时间上，构建 HGI 时仍然采用均匀采样。在空间上，生成 HGI 的过程涉及在采样帧上划定一个矩形区域，该区域方便地包围了所有选定的 MJ 个关键参考关节。随后，该矩形框被用作边界以提取特定帧的关键全局区域。当我们确定关键参考关节为头部、手部和脚部时，可以设想某帧中包含这些关键参考关节的区域是某帧中个人的活动区域。

以构建 RGB HGI 为例，我们定义一个转换函数 g 来构建时间 t 时 J 个关键点的 HGI，其中 J 包含所有关键点：
(2) Gt(J)=g(rt,st(J)),t∈{intervalg×a″|a″=1,…,MG},intervalg=T/MG,J={m1,…,mMJ},MJ≤MS
rt 代表时间 t 的帧，通过以 intervalg 为间隔对 T 帧进行均匀采样获得。MG 代表长度为 T 帧的每个视频中采样的帧总数。基于大量的对比实验，我们始终将 MG 设置为 5。st(J) 表示帧 t 时的一组成 J 关节，m1 到 mMJ 代表我们考虑的 MJ 个关键参考关节。在构建 HLI 的过程中，我们保持 MJ 设置为 5，关注头部、手部和脚部。

每帧的 HGI 通过共同裁剪所有五个关节点（头部、手部和脚部）获得，旨在捕捉该帧中个人的整体身体特征，同时最小化背景噪声。然后将每帧的 HGI 水平拼接以获得整个视频的 HGI。在两人的情况下，分别获得每个人的 HGI。然后分别水平拼接它们的 HGI，并在每帧进行水平连接以获得整个视频的 HGI。

通过构建 HLI 和 HGI 将视频帧序列转换为图像，我们的方法显著减少了模型 RGB 流和深度图流的输入量，从而降低了计算开销。此外，它在保留人体纹理特征、轮廓信息和距离模式的同时，最小化了背景干扰，并展示了采样帧之间的运动特征。

3.2. 构建骨架中级特征
由于我们的 LGMFN 能够与不同架构的骨架网络集成，我们展示了两种代表性骨架融合网络所需的中间特征构建。基于 GCN 的方法（例如 MS-G3D [26]）将骨架数据转换为时空骨架图，而基于 3D-CNN 的方法（例如 PoseConv3D [21]）将骨架数据转换为 3D 热图体积。

构建时空骨架图。人体骨架自然形成图结构，关节代表节点，骨骼代表边。骨架图可以表示为 G={V,E}，其中 V 表示骨架中的关节集合，E 表示骨骼。在 3D 骨架图中，关节 V 可以表示为 V={v1,…,nb}。GCN 擅长从非欧几里得结构数据中提取时空信息，特别适合于骨架图结构。基于 2s-AGCN [27] 提供的示例，每根骨骼由两个关节连接。如果源关节点表示为 vs={xs,ys,zs}，目标关节点表示为 vt={xt,yt,zt}，则对应的骨骼可以表示为 e=vt?vs={xt?xs,yt?ys,zt?zs}。帧序列中每个人的骨架可以表示为 (C,T,V) 时空骨架图结构，这描述了 T 帧中 V 个 C 维关节点的特征。当考虑执行动作的人数时，结构 (C,T,V,M) 可以描述 M 个人的时空骨架图。在 NTU RGB+D 和 NTU RGB+D 120 数据集中，Kinect v2 传感器捕获的骨架维度 C 为 3，单人骨架关节点 V 为 25，数据集最大人数 M 为 2。关于 T 的设置，由于每个视频的帧数不同，在本工作中，我们将 T 设置为 300，并将视频重复至 300 帧。最后，对于 MS-G3D [26] 等基于 GCN 的方法，骨架的中间特征，即时空骨架图，表示为 (C,T,V,M)。

构建 3D 热图体积。在 PoseConv3D [21] 的工作中，从 RGB 视频提取的 2D 骨架被重新配置为 3D 热图体积，然后输入到 3D-CNN 中进行特征提取。在时间上，采用均匀采样策略，首先将所有帧均匀划分为若干等长部分，然后从每部分中随机选择一帧。在空间上，为了在人体活动范围内准确构建 3D 热图体积，首先识别一个包含所有骨架关节的小正方形以框定人体。随后，单个骨架图可以表示为 (K,H,W)，其中 K 代表关节数，H 和 W 表示帧骨架图的高度和宽度。此外，骨骼通过直接连接关节形成，表示策略与关节类似。最后，对于 PoseConv3D 等基于 3D-CNN 的方法，骨架的中间特征，即 3D 热图体积，表示为 (K,T,H,W)。

下载：下载高分辨率图片 (944KB) 下载：下载全尺寸图片 图 5. 测试阶段我们 LGMFN 的总体框架。

3.3. 网络 LGMFN 的整体架构
如图 5 所示，LGMFN 的总体网络架构主要由基于 CNN 的图像分类子模型组成。作为辅助模型，图像分类子模型从 RGB 和深度模态的 HLI 和 HGI 中提取特征，为基于骨架的子模型提供有价值的补充信息。基于骨架的子模型是可以互换的。基于 3D-CNN 的子模型从 3D 热图体积中提取模式，而基于 GCN 的子模型从时空骨架图中提取特征。

LGMFN 的详细优化策略如图 1 所示。在训练阶段，每个子模型独立学习参数，相应的子模型根据输入数据模态确定。在测试阶段，每个模态的训练集输入到子模型中以获得每个流的预测分数。对分数向量应用 Softmax 处理后，使用权重分数融合来预测动作类别。

算法 1：LGMFN 优化。
输入：
RL: RGB HLI
RG: RGB HGI
DL: 深度 HLI
DG: 深度 HGI
J: 骨架关节的中级特征
B: 骨架骨骼的中级特征
过程：
1. 分别使用训练数据集的 RL, RG, DL 和 DG 训练不同的图像分类子模型。
2. 分别使用训练数据集的 J 和 B 训练选定的基于骨架的子模型。
3. 将测试数据集的 RL, RG, DL 和 DG 输入到训练好的图像分类子模型中，并分别获取分数 SRL, SRG, SDL 和 SDG。
4. 将测试数据集的 J 和 B 输入到训练好的基于骨架的子模型中，并分别获取分数 SJ 和 SB。
5. 对 SRL, SRG, SDL, SDG, SJ 和 SB 应用分数融合，获得最终分数。
输出：来自最终分数的动作预测结果

3.4. 优化策略和目标函数
在模型训练过程中，我们的工作采用交叉熵损失函数作为优化目标。通过最小化损失，最大化所有类别的预测准确性。具体来说，设 N 表示训练集，其中 i 代表特定样本，i 是 N 的元素。C 代表数据集中存在的类别，c 表示属于 C 的个体类别。Θ 表示每个子模型的参数，y(i)∈R^C 和 y?(i)∈R^C 分别表示样本 i 的真实标签和预测标签。因此，类别 c 中单个样本 i 的损失函数可以表示为：
(3) LΘ(yc(i),y?c(i))=yc(i)logy?c(i),
随后，训练阶段的优化目标可以表述为：
(4) argminΘL(Θ)=argminΘ(?1N∑i=1N∑c=1CLΘ(yc(i),y?c(i)))

4. 实验
在本节中，我们展示了在两个广泛使用的 HAR 数据集 NTU RGB+D [3] 和 NTU RGB+D 120 [5] 上对提出的 LGMFN 模型进行的详细消融研究和对比分析。总体而言，结果表明 LGMFN 表现出鲁棒性，并提高了 RGB-D HAR 的计算速度。第 4.1 节介绍了使用的数据集和实验设置。随后，第 4.2 节详细阐述了消融实验，展示了模型在区分相似类别、处理多个视角及其推理速度方面的功效。

最后，第4.3节提供了与SOTA方法的对比分析，展示了我们模型在HAR中的竞争性性能。

**4.1. 数据集与实现细节**

在本研究中，我们选择了两个最大的室内HAR数据集——NTU RGB+D [3]和NTU RGB+D 120 [5]，以进行全面的消融实验和对比。NTU RGB+D 60和NTU RGB+D 120被广泛认为是大规模、全面的多模态动作识别基准。它们提供了多样化的主体、丰富的动作类别和标准化的评估协议，非常适合评估多模态HAR模型的有效性。此外，NTU RGB+D数据集中的动作以自然方式执行，背景环境呈现出真实的变异和噪声，而非过度简化。

NTU RGB+D（也称为NTU 60）被广泛认为是HAR中最常用的数据集之一。它包含60个动作类别和由40个主体执行的56,880个样本，使用3个Kinect V2摄像头捕获。NTU 60提供四种模态：RGB视频、3D骨架、深度图（完整和掩码）以及红外数据。在我们的研究中，我们专注于RGB、骨架和深度模态。NTU 60提供两种训练和测试的基准设置：跨主体（C-Sub）和跨视角（C-View）。在C-Sub基准下，40个主体被分为两半，分别作为训练集和测试集。在C-View基准中，三个摄像头分别位于-45度、0度和45度，由camera1捕获的样本作为测试集，另外两个摄像头的样本用于训练。

NTU RGB+D 120（也称为NTU 120）是NTU 60的扩展，包含114,480个样本，跨越120个动作类别。这些动作由106个主体执行，在32种摄像头设置下捕获。与NTU 60类似，NTU 120也提供两种基准设置：跨主体（X-Sub）和跨设置（X-Set）。在X-Sub基准下，106个主体被分为两半，其中53个主体用于训练，其余53个用于测试。相反，X-Set基准使用偶数编号摄像头设置捕获的样本进行训练，其余用于测试。

所有训练和测试均使用配备RTX 3090 GPU的设备进行。ResNet18 [28]和EfficientNetB7 [29]分别作为RGB和深度模态HLI与HGI的骨干模型。前者适用于任务量级特别轻量化的需求，后者在保持速度的同时实现了卓越的动作识别精度。在构建HLI时，我们遵循了MMNet [4]的方法，设置每个视频的采样帧数为5，并考虑每帧5个关键参考关节，包括头部、手部和脚部。在HLI缩放方面，我们通过考虑摄像头与主体之间的距离来确定关键局部区域的大小。如图6所示，在NTU 60数据集呈现的日常场景中，摄像头到主体的距离范围为2米到4.5米，其中3米和3.5米占据了大多数样本。NTU 120数据集进一步引入了从2.7米到3.4米的五种额外距离设置，同时与NTU 60保持高度一致的整体外观。经过仔细检查，我们发现当关键局部区域设置为96×96时，五个选定的关键参考关节得到了有效强调，同时在不同摄像头到主体的距离设置下保留了足够的周围轮廓和纹理信息。因此，每个视频的HLI大小为480×480。同样地，对于HGI，我们在详细比较研究后保留了每个视频5个采样帧，每帧仍包含5个关键参考关节。每个视频的采样范围设置为480×96，从而为每个视频生成480×480的HGI。对于基于GCN和基于3D-CNN的骨架子模型的融合，我们分别采用了MS-G3D [26]和PoseConv3D [21]，输入张量大小分别为3×300×25×2和17×32×56×56。在训练过程中，我们采用Adam优化策略，每条流训练200个epoch。

**图6.** NTU 60中5种摄像头距离设置的RGB HLI。关键局部区域设置为96×96。

**4.2. 消融实验**

表1展示了LGMFN中每条单独流带来的性能提升、HLI和HGI的贡献、RGB和深度模态的有效性，以及在两个数据集上融合它们所获得的互补增益。

从整体来看，每条单独流（#1、#2、#3、#4）都表现出一定效果。其中，RGB模态优于深度模态，RGB HLI取得了最高性能。此外，这些流在融合后都表现出不同程度的改进。接下来，我们比较它们在不同融合条件下的表现。

**表1. LGMFN在NTU 60（C-Sub/C-View）和NTU 120（X-Sub/X-Set）上的消融实验。** RL、RG、DL和DG分别代表RGB HLI、RGB HGI、深度HLI和深度HGI。+表示分数融合。加粗的准确率表示最佳。

| 编号 | 输入 | 骨干 | C-Sub (%) | C-View (%) | X-Sub (%) | X-Set (%) |
|------|------|------|-----------|------------|-----------|-----------|
| #1 | RL | EfficientNetB7 [29] | 91.7 | 95.9 | 88.4 | 88.9 |
| #2 | RG | EfficientNetB7 | 89.8 | 95.2 | 87.2 | 87.8 |
| #3 | DL | EfficientNetB7 | 88.5 | 88.6 | 85.6 | 85.6 |
| #4 | DG | EfficientNetB7 | 90.1 | 90.2 | 84.4 | 86.7 |
| #5 | RL+DL | #1+#3 | 95.2 | 97.7 | 94.0 | 94.7 |
| #6 | RG+DG | #2+#4 | 95.2 | 97.8 | 93.5 | 94.6 |
| #7 | RL+RG | #1+#2 | 95.1 | 98.2 | 93.0 | 93.9 |
| #8 | DL+DG | #3+#4 | 93.0 | 94.1 | 90.5 | 91.6 |
| #9 | RL+DL+RG+DG | #1+#2+#3+#4 (LGMFN) | 96.8 | 98.9 | 95.9 | 96.8 |

在HLI层面，RGB HLI流（#1）在NTU 60和NTU 120数据集的C-Sub、C-View、X-Sub和X-Set基准上取得了令人满意的结果，而深度HLI（#3）略有落后。RGB和深度HLI的组合（#5）在四个基准上分别比仅使用RGB HLI流（#1）的结果提高了3.5%、1.8%、5.6%和5.8%。在HGI层面，单独使用RGB模态的HGI（#2）已取得了令人满意的结果。通过引入深度HGI流（#6），在四个基准上都观察到了识别准确率的提升，与仅使用RGB HGI流（#2）相比，分别提高了5.4%、2.6%、6.3%和6.8%。我们推断这些改进源于深度HLI和HGI提供的人体3D结构和形状信息，为HAR提供了更全面、层次化的特征支持。

关于RGB和深度不同模态，每种模态的HLI和HGI流做出了不同的贡献。在RGB层面，RGB HLI和RGB HGI的融合（#7）在所有四个基准上都表现出优于单独使用RGB HLI（#1）的性能，分别在各基准上提高了3.4%、2.3%、4.6%和5.0%。在深度层面，尽管深度HLI和深度HGI的融合（#8）产生的结果略低，但仍比单独使用深度HLI（#3）在所有四个基准上分别高出4.5%、5.5%、4.9%和6.0%。我们推测这主要是由于RGB和深度模态的HGI能够提供充分的人体全局特征，提供全面、连贯的人体动作信息和帧间运动变化，从而补充两种模态中的人体局部运动特征，实现更精确的HAR。

当融合两种模态的四条流时，LGMFN（#9）取得了最佳性能，通过人体局部和整体特征的协同作用，展现了稳健的HAR性能。值得注意的是，无论采用何种融合策略，在NTU 120数据集的两个基准上观察到的改进都是显著的。这突显了引入RGB和深度模态以及融合人体局部和全局表征对于处理更多类别和更具挑战性的HAR任务的好处。

值得注意的是，LGMFN在不融合骨架流的情况下（#9）也能取得令人印象深刻的分类准确率。这可能归因于该方法将复杂的视频理解转化为精细的图像分类，有效保留了人体表征和运动变化，同时缓解了背景噪声。此外，如表2所示，当与SOTA骨架方法结合时，LGMFN能够进一步提升这些基线的性能。

对于骨架流，基于GCN和基于3D-CNN的方法在关节流和骨骼流上都表现出优异性能。通常，我们将关节流和骨骼流进行融合以获得基于骨架的子模型最终结果（#12、#15）。

**表2. LGMFN与基于骨架的子模型在NTU 60（C-Sub/C-View）和NTU 120（X-Sub/X-Set）上融合的消融实验。基线以下划线标出。**

| 编号 | 输入 | 骨干 | C-Sub (%) | C-View (%) | X-Sub (%) | X-Set (%) |
|------|------|------|-----------|------------|-----------|-----------|
| #10 | Skeleton Joints | MS-G3D [26] | 89.3 | 95.0 | 81.5 | 82.3 |
| #11 | Skeleton Bones | MS-G3D | 90.1 | 95.3 | 85.0 | 86.4 |
| #12 | Skeletons | #10+#11 | 91.5 | 96.2 | 86.3 | 87.4 |
| #13 | Skeleton Joints | PoseConv3D [21] | 93.7 | 96.5 | 85.9 | 89.7 |
| #14 | Skeleton Bones | PoseConv3D | 93.4 | 96.0 | 85.9 | 89.7 |
| #15 | Skeletons | #13+#14 | 94.1 | 96.7 | 86.6 | 90.2 |
| #16 | Skeletons+RL+RG | #7+#12 (EfficientNetB7 + MS-G3D) | 97.3 | 99.4 | 95.6 | 96.5 |
| #17 | Skeletons+RL+RG | #7+#15 (EfficientNetB7 + PoseConv3D) | 97.0 | 99.1 | 94.5 | 95.8 |
| #18 | Skeletons+RL+RG+DL+DG | #9+#12 (EfficientNetB7 + MS-G3D) | 97.6 | 99.5 | 96.5 | 97.5 |
| #19 | Skeletons+RL+RG+DL+DG | #9+#15 (EfficientNetB7 + PoseConv3D) | 97.5 | 99.3 | 95.9 | 96.9 |

在整合骨架流后（#18、#19），观察到进一步的性能提升。与MS-G3D融合（#18）在四个基准上分别比单独使用MS-G3D骨架方法（#12）的准确率提高了6.1%、3.3%、10.2%和10.1%。类似地，与PoseConv3D融合（#19）在四个基准上分别比单独使用PoseConv3D骨架方法（#15）的性能提高了3.4%、2.6%、9.3%和6.7%。我们推测这些改进归因于LGMFN利用了HLI与HGI之间以及RGB与深度模态之间的互补性。通过将这两种模态中的人体局部和整体模式引入基于骨架的HAR模型，LGMFN作为辅助模型增强了基于骨架基线的识别性能和鲁棒性。

此外，当基于骨架的子模型与LGMFN的RGB流结合时（#16、#17），可以观察到即使不涉及深度模态，骨架与RGB模态的组合已能实现强劲的性能。这突显了模型在仅有RGB数据可用场景中的实用性。此外，引入深度模态（#18、#19）带来了额外的性能增益，尤其是在NTU 120数据集上。这突显了深度数据中编码的丰富轮廓和距离信息的价值，显著提升了模型区分众多动作类别的能力。

我们进一步展示了LGMFN的HLI和HGI部分分别为基于骨架的方法带来的改进。在本节中，我们利用最先进的基于骨架的模型PoseConv3D [21]作为基线，以展示LGMFN各组件所带来的改进。

**图7**对比了与LGMFN集成的PoseConv3D与单独使用PoseConv3D在NTU 60数据集两个基准上的召回率差异。在这里，我们展示了三种融合方法能为基于骨架的基线带来的提升：融合两条HLI流、融合两条HGI流以及将整个LGMFN与基线结合。通过逐步、增量式的性能提升，我们旨在展示当基于骨架的模型引入LGMFN的不同部分以及整个LGMFN集成时所能实现的改进。

在图7(a)中，浅红色和红灰色条形分别代表在C-Sub基准上，通过融合HLI流（#5）和HGI流（#6）相对于PoseConv3D本身（#15）获得的性能提升。很明显，集成HLI流和HGI流已经在大多数类别上提升了PoseConv3D的性能。此外，如图7中深红色条形所示，在集成完整的LGMFN（#9）后，PoseConv3D配合LGMFN表现出更为显著的提升。这表明HLI和HGI流在模型中都起着关键作用。具体来说，在集成LGMFN（#9）后，38个类别的召回率得到了提升，占所有类别的63.3%。其中，6个类别的召回率显著提高（超过5%），占所有类别的10%。

此外，我们观察到某些类别仅在融合HLI或HGI时会出现轻微下降。然而，在融合另一种模态后，这些类别的召回率反弹甚至有所改善。这进一步说明了LGMFN各组件之间的互补和强化能力。例如，在"eat meal"、"stand up"、"punch/slap"和"touch pocket"等类别中，仅集成HLI流时改进不明显或略有下降，但融合的HGI流仍能提升准确率，在这些类别上可能超过原始PoseConv3D。

这表明HGI适当地捕捉了人体的整体特征，补充了由HLI提供的局部人体信息，并从整体视角补充了人体局部图像未关注的人体部位之外的明显特征。对于少数准确率略有下降的类别，我们将其归因于融合HLI和HGI所引入的潜在噪声。

类似地，图7(b)说明了在C-View基准上将HLI和HGI流集成到基于骨骼的模型本身所实现的逐步增强。浅蓝色、灰蓝色和深蓝色的柱状图分别代表HLI（#5）、HGI（#6）以及整体LGMFN（#9）为基线带来的变化。在C-View基准上的融合同样取得了良好的结果，准确率提高的类别占所有类别的61.7%。其中，提升幅度超过5%的类别占总数的13.3%。与在C-Sub基准上的观察结果类似，HLI和HGI的逐步集成在C-View基准上展示了逐步的性能提升，这需要跨视角评估。

此外，在NTU 120数据集的两个基准上，LGMFN的融合也为基于骨骼的HAR模型在大多数类别中带来了显著提升。如图8所示，在X-Sub基准上有28个类别表现出超过5%的性能提升，占所有类别的23.3%；而在X-Set基准上有20个类别表现出超过5%的准确率提升，占所有类别的16.7%。这种大幅度的性能提升突显了LGMFN在处理宽类别场景时的鲁棒性。同时，如图8所示，将LGMFN集成到基于骨骼的方法中带来的最大性能提升出现在整体人体姿态相似而细微手部动作差异显著的动作中。典型的例子包括“剪纸”、“剪指甲”、“数钱”、“做胜利手势”、“做OK手势”、“在键盘上打字”以及“玩手机/平板”等动作。我们假设这些动作在骨骼表示上高度相似，仅使用骨骼模态很难加以区分。通过引入精确且简洁的RGB和深度信息，特别是细粒度的手部纹理和外观细节，LGMFN提供了互补的判别线索，使模型能够更好地区分这些视觉上细微的动作。

4.2.1 更好地区分相似类别

除了强大的整体识别性能之外，我们的LGMFN还展示了区分相似类别的能力，这些类别通常会让基于骨骼的模型混淆。通过检查表3和表4，可以明显看出，无论是代表性的GCN方法（即MS-G3D）还是3D-CNN骨骼方法（即PoseConv3D），其最难区分的十大动作都涉及细微的身体动作和极小的差异。

鉴于骨骼难以辨别细微动作并提供局部外观特征来支持判别，像“做胜利手势”、“剪纸”和“玩手机/平板”等动作对基于骨骼的模型构成了显著困难。然而，在集成LGMFN之后，在NTU 60和NTU 120数据集的四个基准上，这些动作的识别性能均显著提升。

表3. LGMFN通过分数融合在NTU 60（C-Sub/C-View）上的改进，与基于骨骼的方法MS-G3D的十大混淆动作相比。Action (Action No.) 代表混淆类别及其在NTU 60数据集中的编号。基线以下划线标注。召回率的变化在括号中指示。LGMFN结果基于ResNet18作为骨干网络。

| 基准 | 动作（动作编号） | MS-G3D (#12, %) | LGMFN + MS-G3D (%) |
|------|------------------|------------------|----------------------|
| C-Sub | 写字 (12) | 57.4 | 88.6 (+31.2) |
| | 吃饭 (2) | 71.6 | 81.1 (+9.5) |
| | 阅读 (11) | 72.5 | 73.6 (+1.1) |
| | 打喷嚏/咳嗽 (41) | 77.2 | 80.1 (+2.9) |
| | 玩手机/平板 (29) | 78.9 | 90.9 (+12.0) |
| | 在键盘上打字 (30) | 79.3 | 94.9 (+15.6) |
| | 伸手进口袋 (25) | 85.8 | 88.0 (+2.2) |
| | 颈部疼痛 (47) | 85.9 | 95.3 (+9.4) |
| | 喝水 (1) | 86.1 | 91.2 (+5.1) |
| | 头痛 (44) | 86.2 | 90.6 (+4.4) |
| C-View | 写字 (12) | 72.1 | 95.6 (+23.5) |
| | 在键盘上打字 (30) | 82.9 | 98.1 (+15.2) |
| | 阅读 (11) | 83.8 | 86.3 (+2.5) |
| | 玩手机/平板 (29) | 88.3 | 95.6 (+7.3) |
| | 脱鞋 (17) | 90.5 | 92.7 (+2.2) |
| | 打喷嚏/咳嗽 (41) | 93.0 | 94.6 (+1.6) |
| | 头痛 (44) | 93.0 | 97.8 (+4.8) |
| | 吃饭 (2) | 93.7 | 97.8 (+4.1) |
| | 触摸口袋 (57) | 94.3 | 98.4 (+4.1) |
| | 胸部疼痛 (45) | 94.3 | 96.2 (+1.9) |

表4. LGMFN通过分数融合在NTU 120（X-Sub/X-Set）上的改进，与基于骨骼的方法PoseConv3D的十大混淆动作相比。Action (Action No.) 代表混淆类别及其在NTU 60数据集中的编号。基线以下划线标注。召回率的变化在括号中指示。LGMFN结果基于ResNet18作为骨干网络。

| 基准 | 动作（动作编号） | PoseConv3D (#15, %) | LGMFN + PoseConv3D (%) |
|------|------------------|----------------------|------------------------|
| X-Sub | 做胜利手势 (72) | 37.0 | 61.2 (+24.2) |
| | 数钱 (74) | 39.1 | 57.4 (+18.3) |
| | 做OK手势 (71) | 39.7 | 54.8 (+15.1) |
| | 订书装订 (73) | 39.8 | 37.7 (?2.1) |
| | 剪纸 (76) | 48.9 | 76.4 (+27.5) |
| | 玩魔方 (84) | 53.3 | 78.0 (+24.7) |
| | 竖大拇指 (69) | 55.0 | 73.4 (+18.4) |
| | 玩手机/平板 (29) | 56.0 | 86.5 (+30.5) |
| | 剪指甲 (75) | 58.9 | 78.0 (+19.1) |
| | 阅读 (11) | 59.3 | 71.4 (+12.1) |
| X-Set | 做胜利手势 (72) | 40.4 | 57.8 (+17.4) |
| | 做OK手势 (71) | 41.0 | 63.9 (+22.9) |
| | 订书装订 (73) | 48.4 | 52.0 (+3.6) |
| | 剪纸 (76) | 50.4 | 66.4 (+16.0) |
| | 数钱 (74) | 51.6 | 57.0 (+5.4) |
| | 玩手机/平板 (29) | 62.9 | 91.2 (+28.3) |
| | 竖大拇指 (69) | 63.1 | 77.8 (+14.7) |
| | 玩魔方 (84) | 63.4 | 85.3 (+21.9) |
| | 写字 (12) | 67.3 | 82.7 (+15.4) |
| | 阅读 (11) | 67.6 | 82.6 (+15.0) |

值得注意的是，如图3所示，集成LGMFN后，MS-G3D在C-Sub和C-View两个基准上的十大最易混淆类别均有所改进。其中，“写字”、“在键盘上打字”和“在键盘上打字”的召回率提高了超过15%。同时，如图4所示，基于骨骼的SOTA模型PoseConv3D在NTU 120数据集中最具挑战性的类别上的识别性能令人不满意。这可能是由于类别数量更多，导致仅凭骨骼难以区分的细微动作数量增多。然而，在集成LGMFN之后，几乎所有具有挑战性的类别性能都显著提升，仅有一个类别出现轻微下降。在X-Sub基准的十大最易混淆类别中，有8个类别的召回率提高了超过15%，占所有最具挑战性类别的80%。类似地，在X-Set基准上，有7个类别的性能提高了超过15%。这些大幅提升突显了LGMFN在各种类别中准确识别多样化人类行为的鲁棒性。我们推断，与基于骨骼的方法相比，LGMFN能够学习更多的视觉特征。例如，RGB模态提供了丰富的表示信息，不仅包括详细的肢体动作，还包括与个人交互的物体信息。同时，深度模态提供了人体轮廓和距离信息，也为辨别相似动作提供了关键特征。这两种模态的HLI和HGI可以整合这些信息，同时在一定程度上减少背景噪声干扰，从而更有效地利用这些数据。

4.2.2 对多视角更鲁棒

除了能够辨别细微动作并改善具有挑战性类别的分类之外，LGMFN还展示了对不同视角的鲁棒性。在本研究中，我们使用MS-G3D [26] 作为基线，以展示我们的模型具有很强的视角不变性。具体而言，我们将实验扩展到NTU 60的C-View基准，该基准原本使用camera2和camera3进行训练，使用camera1进行测试，记为CV231。我们将C-View实验扩展到三种变体：CV231、CV132和CV123，其中camera2和camera3分别作为测试集。

如图5所示，虽然基线（#12）在不同视角下表现出良好的判别能力，但与LGMFN融合后，在CV231、CV132和CV123基准上分别提高了2.4%、6.1%和7.8%。平均而言，有显著的5.3%的提升。这展示了LGMFN在处理视角变化时的鲁棒性。

经过更细致的分析，可以明显看出RGB和深度模态，以及HLI和HGI单独都对改善视角不变性做出了贡献。

表5. NTU 60 (C-View) CV231、CV132和CV123的消融实验。+ 表示分数融合。基线以下划线标注。加粗的准确率表示最佳。

| 编号 | 输入 | 骨干网络 | CV231 (%) | CV132 (%) | CV123 (%) | 平均 (%) |
|------|------|----------|-----------|-----------|-----------|----------|
| #1 | RL | ResNet18 [28] | 89.2 | 78.4 | 72.4 | 80.0 |
| #2 | RG | ResNet18 | 89.0 | 83.3 | 81.4 | 84.6 |
| #3 | DL | ResNet18 | 76.6 | 74.8 | 71.0 | 74.1 |
| #4 | DG | ResNet18 | 72.4 | 73.4 | 66.3 | 70.7 |
| #5 | RL+DL #1+#3 | | 92.7 | 85.3 | 81.0 | 86.3 |
| #6 | RG+DG #2+#4 | | 92.7 | 89.6 | 86.7 | 89.7 |
| #7 | RL+RG #1+#2 | | 95.2 | 89.7 | 87.3 | 90.7 |
| #8 | DL+DG #3+#4 | | 82.8 | 82.4 | 78.4 | 81.2 |
| #9 | RL+DL+RG+DG #1+#2+#3+#4 (LGMFN) | | 95.9 | 92.4 | 90.4 | 92.9 |
| #10 | 骨骼关节点 | MS-G3D [26] | 95.0 | 86.7 | 83.4 | 88.4 |
| #11 | 骨骼骨骼线 | MS-G3D | 95.3 | 87.4 | 84.1 | 88.9 |
| #12 | 骨骼 #10+#11 | | 96.2 | 89.4 | 86.2 | 90.6 |
| #18 | 骨骼+RL+DL+RG+DG #12+#9 (LGMFN + MS-G3D) | | 98.6 | 95.5 | 93.6 | 95.9 |

从模态角度来看，我们的LGMFN结合了两个HLI流和两个HGI流（#9），在三个基准上的准确率分别比两个RGB流（#7）高出0.7%、2.7%和3.1%。平均高出2.2%。这表明虽然RGB提供了丰富的颜色和纹理信息用于多视角下的HAR，但深度模态凭借其丰富的三维信息提供了大量补充特征，可以进一步提高多视角下的识别性能。

从局部和全局角度来看，LGMFN（#9）在三个基准上分别比两个局部流（#5）高出3.2%、7.1%和9.4%。平均高出6.6%。此外，它在三个基准上分别比两个整体流（#6）高出3.2%、2.8%和3.7%。平均高出3.2%。这说明全局流和局部流都对LGMFN的鲁棒视角不变性做出了重要贡献。我们推测这是因为HLI和HGI分别从不同角度学习整体和局部信息，共同为不同角度的HAR提供支持。

值得注意的是，即使不融合基于骨骼的网络，LGMFN（#9）也展现了优秀的视角不变性，在三个视角上的平均识别准确率比基线高出2.3%。

4.2.3 更快的推理速度和更高的推理效率

除了强大的HAR性能之外，LGMFN还展示了快速的推理速度，适合实际应用。表6和表7展示了NTU 60数据集C-Sub和C-View基准上LGMFN时间复杂度的消融实验结果。

当使用ResNet18作为骨干网络时，两个RGB流的推理速度略高于两个深度流。在结合两个深度流后，LGMFN（#9）在两个基准上分别比仅使用两个RGB流（#7）提高了2.6%和0.7%，每个样本仅需额外增加6.6毫秒的推理时间。值得注意的是，LGMFN（#9）以仅13.6毫秒的推理时间实现了高HAR性能。这一惊人的速度归功于我们采用的将复杂且耗时的视频理解转化为相对简单的图像分类的方法。通过将RGB帧和深度图序列转化为HLI和HGI，我们不仅在很大程度上保留了人体的外观和动作信息，还显著降低了计算复杂度。

表6. NTU 60上时间复杂度的消融实验。骨干网络为ResNet18。推理时间基于我们的实现计算，代表对每个单独样本进行推理的平均时间。

| 编号 | 输入 | 骨干网络 | 参数量 | FLOPs | 推理时间 | C-Sub (%) | C-View (%) |
|------|------|----------|--------|-------|----------|-----------|------------|
| #1 | RL | ResNet18 [28] | 11.7M | 16.7G | 3.5 ms | 80.8 | 89.2 |
| #2 | RG | ResNet18 | 11.7M | 16.7G | 3.5 ms | 83.7 | 89.0 |
| #3 | DL | ResNet18 | 11.2M | 16.0G | 3.3 ms | 78.4 | 76.6 |
| #4 | DG | ResNet18 | 11.2M | 16.0G | 3.3 ms | 72.6 | 72.4 |
| #5 | RL+DL #1+#3 | | 22.9M | 32.7G | 6.8 ms | 88.3 | 92.7 |
| #6 | RG+DG #2+#4 | | 22.9M | 32.7G | 6.8 ms | 88.4 | 92.7 |
| #7 | RL+RG #1+#2 | | 23.4M | 33.4G | 7.0 ms | 89.3 | 95.2 |
| #8 | DL+DG #3+#4 | | 22.4M | 32.0G | 6.6 ms | 82.7 | 82.8 |
| #9 | RL+DL+RG+DG #1+#2+#3+#4 (LGMFN) | | 45.8M | 65.4G | 13.6 ms | 91.9 | 95.9 |
| #12 | 骨骼 | MS-G3D [26] | 6.4M | 16.7G | 33.6 ms | 91.5 | 96.2 |
| #15 | 骨骼 | PoseConv3D [21] | 4.0M | 25.2G | 65.7 ms | 94.1 | 96.7 |
| #18 | 骨骼+RL+DL+RG+DG #9+#12 (LGMFN + MS-G3D) | | 52.2M | 82.1G | 47.2 ms | 95.0 | 98.6 |
| #19 | 骨骼+RL+DL+RG+DG #9+#15 (LGMFN + PoseConv3D) | | 49.8M | 90.6G | 79.3 ms | 95.5 | 98.3 |

表7. NTU 60上时间复杂度的消融实验。骨干网络为EfficientNetB7。推理时间基于我们的实现计算，代表对每个单独样本进行推理的平均时间。

| 编号 | 输入 | 骨干网络 | 参数量 | FLOPs | 推理时间 | C-Sub (%) | C-View (%) |
|------|------|----------|--------|-------|----------|-----------|------------|
| #1 | RL | EfficientNetB7 [29] | 63.9M | 23.7G | 51.0 ms | 91.7 | 95.9 |
| #2 | RG | EfficientNetB7 | 63.9M | 23.7G | 51.0 ms | 89.8 | 95.2 |
| #3 | DL | EfficientNetB7 | 63.9M | 23.7G | 50.6 ms | 88.5 | 88.6 |
| #4 | DG | EfficientNetB7 | 63.9M | 23.7G | 50.6 ms | 90.1 | 90.2 |
| #5 | RL+DL #1+#3 | | 127.8M | 47.4G | 101.6 ms | 95.2 | 97.7 |
| #6 | RG+DG #2+#4 | | 127.8M | 47.4G | 101.6 ms | 95.2 | 97.8 |
| #7 | RL+RG #1+#2 | | 127.8M | 47.4G | 102.0 ms | 95.1 | 98.2 |
| #8 | DL+DG #3+#4 | | 127.8M | 47.4G | 101.2 ms | 93.0 | 94.1 |
| #9 | RL+DL+RG+DG #1+#2+#3+#4 (LGMFN) | | 255.6M | 94.8G | 203.2 ms | 96.8 | 98.9 |
| #12 | 骨骼 | MS-G3D [26] | 6.4M | 16.7G | 33.6 ms | 91.5 | 96.2 |
| #15 | 骨骼 | PoseConv3D [21] | 4.0M | 25.2G | 65.7 ms | 94.1 | 96.7 |
| #18 | 骨骼+RL+DL+RG+DG #9+#12 (LGMFN + MS-G3D) | | 262.0M | 111.5G | 236.8 ms | 97.6 | 99.5 |
| #19 | 骨骼+RL+DL+RG+DG #9+#15 (LGMFN + PoseConv3D) | | 259.6M | 120.0G | 268.9 ms | 97.5 | 99.3 |

当集成MS-G3D（#12）时，LGMFN在两个基准上分别提升了MS-G3D 3.5%和2.4%，同时保持47.2毫秒的快速推理时间。类似地，在集成PoseConv3D（#19）之后，LGMFN在两个基准上分别提升了PoseConv3D 1.4%和1.6%，每个样本的推理时间增加微乎其微。

当使用EfficientNet-B7作为骨干网络时，参数量、FLOPs和推理时间均高于ResNet18。然而，与LGMFN取得的显著准确率提升相比，额外的计算成本仍在可接受范围内。例如，当与MS-G3D（#12）集成时，LGMFN在两个基准上进一步提升了6.7%和3.4%的性能，即使MS-G3D本身已表现出强大的性能。在这种情况下，LGMFN引入的计算开销相对较小。我们的方法在使用ResNet18作为骨干网络时提供了极其轻量级的选项，同时也提供了基于EfficientNet-B7的替代方案，后者推理时间稍长但性能提升显著。总体而言，我们模型的快速推理速度使其能够部署在需要快速推理的实际应用场景中，确保鲁棒的HAR性能。

4.2.4 HLI和HGI采样策略的比较研究

在本研究中，我们还研究了构建HLI和HGI时适当的时间采样策略。

虽然基于运动感知 [30]、基于密度 [15]、[31] 或基于注意力机制 [32] 的采样方法可能会提供更高的采样质量，但均匀采样仍然是最简单且计算效率最高的方法，并且对我们的短视频动作分类任务而言效果已足够好。

我们进一步确定了在 RGB 和深度两种模态下构建 HGI 所需的最佳帧数（MG）。图 9 展示了 MG 取值为 3、5、7 或 9 时 HGI 的外观。本节的对比实验旨在通过评估 RGB HGI 与深度 HGI 的单独性能以及融合效果，来确定最合适的 MG 值。

如表 8 所示，RGB HGI（#2）、LGMFN（#9）以及与 PoseConv3D 的融合方案在 MG 值为 5 时均取得了最佳结果。尽管在某些单独情况下选取 7 或 9 可能获得更好的结果，但总体而言，MG 为 5 时的表现最为理想。

最终，我们选择 MG 值为 5，旨在确保 HGI 既能有效捕捉人体整体的视觉信息与深度信息，又能充分表示时间上的变化。对于偏离 5 的取值，我们推测：较低的 MG 可能因帧采样过于稀疏而无法提供足够的视觉与深度特征，也无法捕捉细微的姿态变化以支持有效决策；相反，较高的 MG 可能引入更多噪声，从而可能干扰模型的分类精度。

下载：下载高分辨率图片（328KB）
下载：下载完整尺寸图片
图 9. 不同 MG 值下 RGB 与深度模态中的 HGI。
表 8. 构建 HGI 所用采样帧数的对比研究。MG 表示每个视频中均匀采样的帧数。加粗准确率表示最佳结果。LGMFN 的结果基于 ResNet18 作为骨干网络。

| MG | RG（#2，%） | DG（#4，%） | LGMFN（#9，%） | LGMFN + MS-G3D（%） | LGMFN + PoseConv3D（%） |
|----|-------------|-------------|----------------|---------------------|--------------------------|
| 3 | 75.2 | 67.9 | 91.3 | 95.0 | 95.4 |
| 5 | 83.7 | 72.6 | 91.9 | 95.0 | 95.5 |
| 7 | 83.5 | 73.1 | 91.5 | 95.1 | 95.4 |
| 9 | 82.3 | 73.8 | 91.7 | 95.0 | 95.3 |

### 4.3 与最先进方法的比较

我们在 NTU 60 和 NTU 120 数据集上与其他最先进的（SOTA）多模态方法进行了比较。鉴于使用了 RGB、深度和骨骼三种模态，我们特别选取了同样融合这三种模态的方法进行比较。如图表 9、表 10 所示，LGMFN 在 NTU 60 和 NTU 120 数据集上的性能优于大多数现有方法。虽然 MMNet 和 PoseConv3D 等最先进（SOTA）的多模态方法取得了较高的性能，但它们是依靠教师-学生模型和 3D-CNN 实现的，时间复杂度较高，这可能会限制其在实时应用中的适用性。相比之下，我们的 LGMFN 在显著提高骨骼基线性能的同时，仅消耗极少额外的推理时间。在使用 ResNet18 作为骨干网络时，LGMFN 的推理速度最快，每个样本仅需额外增加 13.6 毫秒。这使得它可以与各种基于骨骼的模型集成，从而显著提升它们的性能。尽管在使用 EfficientNetB7 作为骨干网络时速度稍慢，但 LGMFN 依然足够快——每个样本的推理时间仅为 26.8 毫秒——同时还能提供更强的识别性能。这表明 LGMFN 具有出色的实时能力，以及在需要快速响应的实际场景中部署的潜力。

LGMFN 利用人体的全局特征与局部关节信息，充分发挥 RGB、深度和骨骼三种模态之间的互补性，在大幅提高人体活动识别（HAR）鲁棒性的同时，确保推理速度快捷。

表 9. 基于多模态的最先进方法在 NTU 60 上的性能比较。S、R、D 分别表示骨骼、RGB 和深度模态。? 表示采用了该模态，＋ 表示融合。加粗准确率表示最佳结果，下划线表示次佳结果。

| 方法 | S | R | D | C-Sub（%） | C-View（%） | 推理时间 | GPU |
|------|---|---|---|------------|-------------|----------|-----|
| PoseMap [33] | ? | ? | | 91.7 | 95.2 | — | a TITAN X |
| c-ConvNet [7] | ? | ? | | 86.4 | 89.1 | — | — |
| Deep Bilinear [34] | ? | ? | ? | 85.4 | 90.7 | — | — |
| Separable STA [35] | ? | ? | | 92.2 | 94.6 | — | 4 GTX 1080Ti |
| Dhiman 等 [36] | ? | ? | | 79.4 | 84.1 | 300 ms | a GTX 1080 |
| MMTM [37] | ? | ? | | 92.0 | — | — | — |
| VPN [38] | ? | ? | | 95.5 | 98.0 | 65 s | 4 GPU |
| VPN++ [39] | ? | ? | | 96.6 | 99.1 | 64.4 s | 4 GPU |
| TSMF [40] | ? | ? | | 92.5 | 97.4 | 359 ms | 4 GTX 1080Ti |
| PoseConv3D [21] | ? | ? | | 97.0 | 99.6 | — | 8 GPU |
| CAPF [23] | ? | ? | | 94.2 | 97.3 | — | — |
| MMNet（ResNet18 + MS-G3D）[4] | ? | ? | ? | 93.9 | 98.0 | 359 ms | 4 GTX 1080Ti |
| MMNet（Swin-Transformer-B + CTR-GCN）[4] | ? | ? | ? | 95.6 | 98.7 | — | 4 GTX 1080Ti |
| MMNet（EfficientNetB7 + CTR-GCN）[4] | ? | ? | ? | 96.0 | 98.8 | — | 4 GTX 1080Ti |
| UMDR [41] | ? | ? | | 96.2 | 98.0 | — | — |
| STAR-Transformer [42] | ? | ? | | 92.0 | 96.5 | — | — |
| ViewCon [43] | ? | ? | | 93.7 | 98.9 | — | 4 GPU |
| EPAM-Net [44] | ? | ? | | 96.5 | 99.0 | — | — |
| SAM-Net [45] | ? | ? | | 94.8 | 98.5 | 376 ms | a Tesla P1 |
| HM-CTNet [46] | ? | ? | | 96.4 | 98.6 | — | — |
| Zhao 等 [47] | ? | ? | | 95.8 | 98.3 | 386 ms | RTX 3080 GPU |
| SFMFNet [48] | ? | ? | | 95.5 | 98.4 | 32.3 ms | 一块 RTX 3090 |
| LGMFN（ResNet18） | ? | ? | | 91.9 | 95.9 | 13.6 ms | 一块 RTX 3090 |
| LGMFN（ResNet18 + MS-G3D） | ? | ? | ? | 95.0 | 98.6 | 47.2 ms | 一块 RTX 3090 |
| LGMFN（ResNet18 + PoseConv3D） | ? | ? | ? | 95.5 | 98.3 | 79.3 ms | 一块 RTX 3090 |
| LGMFN（EfficientNetB7） | ? | ? | | 96.8 | 98.9 | 203.2 ms | 一块 RTX 3090 |
| LGMFN（EfficientNetB7 + MS-G3D） | ? | ? | ? | 97.6 | 99.5 | 236.8 ms | 一块 RTX 3090 |
| LGMFN（EfficientNetB7 + PoseConv3D） | ? | ? | ? | 97.5 | 99.3 | 268.9 ms | 一块 RTX 3090 |

表 10. 基于多模态的最先进方法在 NTU 120 上的性能比较。＋ 表示融合。加粗准确率表示最佳结果，下划线表示次佳结果。

| 方法 | S | R | D | X-Sub（%） | X-Set（%） |
|------|---|---|---|------------|------------|
| VPN [38] | ? | ? | | 87.8 | 86.3 |
| Res3D101 [49] | ? | ? | | 81.3 | 83.4 |
| DMCL [50] | ? | ? | | 86.4 | — |
| VPN++ [39] | ? | ? | | 90.7 | 92.5 |
| PoseConv3D [21] | ? | ? | | 96.4 | 95.3 |
| MMNet（ResNet18 + MS-G3D）[4] | ? | ? | ? | 90.3 | 92.1 |
| MMNet（Inception-v3 + MS-G3D）[4] | ? | ? | ? | 92.9 | 94.4 |
| STAR-Transformer [42] | ? | ? | | 90.3 | 92.7 |
| 3DA [51] | ? | ? | | 90.5 | 91.4 |
| ViewCon [43] | ? | ? | | 85.6 | 87.5 |
| EPAM-Net [44] | ? | ? | | 92.0 | 94.3 |
| DMANNM [52] | ? | ? | | 96.1 | 94.8 |
| LGMFN（ResNet18） | ? | ? | | 88.2 | 90.0 |
| LGMFN（ResNet18 + MS-G3D） | ? | ? | ? | 92.4 | 93.8 |
| LGMFN（ResNet18 + PoseConv3D） | ? | ? | ? | 90.9 | 93.6 |
| LGMFN（EfficientNetB7） | ? | ? | | 95.9 | 96.8 |
| LGMFN（EfficientNetB7 + MS-G3D） | ? | ? | ? | 96.5 | 97.5 |
| LGMFN（EfficientNetB7 + PoseConv3D） | ? | ? | ? | 95.9 | 96.9 |

### 5. 结论

在本工作中，我们提出了一种骨骼引导的预处理方法，将 RGB 和深度两种模态分别转换为 HLI 和 HGI。该方法为骨骼提供了精确而有价值的补充，能够捕捉来自局部关键参考关节以及人体整体模式的信息。HLI 和 HGI 在保留人体纹理、颜色和三维结构特征的同时，减少了背景噪声。在此基础上，我们提出的多模态融合模型 LGMFN 有效地整合了来自不同模态的局部与全局信息，在极小的计算开销下取得了出色的识别精度。作为辅助模型使用时，它通过增强相似类别之间的区分度并确保强大的视角不变性，进一步提升了基于骨骼的动作识别能力，同时仅引入极少额外的计算开销。这些特性使 LGMFN 成为一个鲁棒且高效的人体活动识别模型。值得注意的是，我们的模型采用了标准的图像分类骨干网络，这为统一的特征融合提供了可能。与此同时，在构建 HLI 和 HGI 的过程中也可以采用更先进的时序采样策略。我们将把这一探索留给未来的工作。

### CRediT 作者贡献声明

李雷：撰写——初稿，可视化，验证，软件，方法论，调查研究，形式化分析，数据管理，概念构思。
胡泽声：撰写——审阅与编辑，验证，调查研究，资金获取。
姬根林：撰写——审阅与编辑，监督，资源，项目管理，方法论，资金获取。
祁晓沙：撰写——审阅与编辑，验证，形式化分析。
萧剑：验证，软件。

李雷 | 胡泽声 | 姬根林 | 祁晓沙 | 萧剑