结合增强型多通道注意力机制与针对洗牌操作优化的特征提取技术的双路径轻量级网络，用于动态手势识别

《Digital Signal Processing》：Dual-Path Lightweight Network Integrating Enhanced Multi-Channel Attention with Shuffle-optimized Feature Extraction for Dynamic Gesture Recognition

　　

陆旺东|游志聪|贾冉

中国北京市102206，北京信息科技大学，教育部现代测控技术重点实验室

摘要

基于视觉的动态手势识别是智能家居、医疗保健及工业应用中人机交互的关键技术。然而，当前基于大规模卷积神经网络的视频模型存在计算成本高、参数量大以及推理延迟等问题，这阻碍了其实时嵌入式部署。此外，这类模型无法聚焦于关键的时空信息，导致对重要手势的识别效果不佳，动作边界也不清晰。为解决这些难题，我们提出了一种基于轻量级EfficientNetV2架构的改进型网络用于动态手势识别。该网络引入了高效多尺度注意力模块，通过将通道特征划分为多个子特征组，实现对特征的分块建模，从而使网络能够在不降低通道维度的情况下增强各子特征组之间的关联度。这样一来，模型就能动态地关注视频序列中最具信息量的帧和关键空间区域，显著提升其对手势局部关键特征的捕捉能力。同时，我们还通过对EfficientNetV2中的深度MBConv模块进行优化，采用了ShuffleNetV2中的通道分割与重排策略，减少了冗余计算，促进了通道间的有效信息交流。这些改进大幅提升了网络早期阶段的特征提取能力，在增强不同手势类别区分度的同时降低了整体计算负担。实验结果表明，所提出的模型具有很高的识别精度，在公共的Jester数据集上达到了97.61%，而在我们构建的数据集上则达到了98.88%。这些结果证明，改进后的EfficientNetV2网络为实现精准、实时的动态手势识别提供了高效且有效的解决方案。预计该算法还将被应用于智能家居、智能医疗以及车载系统等更多领域。

引言

手势作为一种重要的非语言人类交流方式，以其直观性、自然性以及能够传递大量信息的特点而著称[1]，基于手势的交互也已成为新型人机交互技术的重要形式，在虚拟现实[2]、医疗保健[3,4]以及工业控制[5]等领域具有广阔的应用前景。因此，实现准确的手势识别至关重要。根据时间变化特性，手势可分为静态手势和动态手势[6]。静态手势是指通过固定的手形来表达特定含义，无需手部移动；而动态手势则通常通过手或臂在不同状态下的组合来表示不同信息，比如交通警察通过不同的手势变化来模拟交通信号灯的功能。动态手势包含更丰富的信息，如空间信息、时间信息和结构信息，也更贴近真实的人机交互场景[7]。基于计算机视觉的动态手势识别技术通常利用摄像头直接捕捉人体动作和信息，然后根据预定义的语义处理由多帧视频构成的手势序列，结合空间维度上的手势变化特征和时间维度上的动态演化特征，从而实现手势识别[8]。

基于可穿戴传感器的手势识别技术，尤其是利用肌电信号的技术，已经取得了显著进展[9]。不过，这种技术由于肌电信号强度较弱，且需要依赖多个传感器的数据融合，容易引发测量误差[10,11]。此外，该技术还需要专用且价格昂贵的传感器，这些传感器必须精确地安装在身体上，这就对设备以及操作技术提出了较高要求。相比之下，基于图像的手势识别技术则利用成本低廉且随处可得的摄像头，这种非侵入式方法允许人们进行自然、无拘束的动作表达，能够支持各种规模的手势，适用于遥控器操作和虚拟现实等多种场景。在需要非接触式交互的场景中，它具有明显优势。基于图像的动态手势识别算法根据特征提取方法的不同，主要分为传统的机器学习算法和深度学习算法两大类[12]。常见的机器学习算法包括动态时间规整法[13]、隐马尔可夫模型[14]以及支持向量机[15]等。基于机器学习的动态手势识别方法结构相对简单，在光线条件良好、无遮挡的手势图像上能够实现较高的识别精度[16]。然而，在外部环境变化频繁的复杂场景中（如物体遮挡、光照条件变化等），机器学习方法难以提取足够丰富的特征，从而导致手势识别精度下降。深度学习技术也被用于手势识别，但目前基于视觉的动态手势识别方法主要依赖大规模卷积神经网络来处理视频序列，例如3D-CNN、CNN+LSTM、I3D等[17,18]。尽管这些方法能够提取一定的时空特征，但仍存在一些问题：网络参数庞大，推理延迟高，不适合在嵌入式设备上实现实时部署[19]；大多数模型缺乏识别局部关键区域的能力，无法动态聚焦于手势的关键帧和关键区域[20]；特征存在冗余，浅层卷积响应较弱，导致不同动作类别之间的边界不够清晰[21]。因此，迫切需要设计一种轻量级的动态手势识别网络框架，该框架应具备高效的建模能力、较低的计算开销、较强的部署能力，同时还能在保持精度的前提下显著提升推理效率，以满足实际终端应用的需求。

在我们的研究中，我们提出了一种基于EMA-Shuffle-EfficientNetV2网络的改进型深度学习算法，该算法专门用于在识别精度与计算效率之间实现有效平衡。与传统直接使用现有模块的方法不同，我们所提出的方法采用了面向任务的集成与结构优化策略，以实现轻量级手势识别。

• (1)
  在轻量级网络EfficientNetV2中引入了EMA模块，该模块能够对通道特征进行基于组件的建模，增强各子特征之间的有效相关性，且不会造成通道压缩。这使得网络能够动态地关注视频序列中手势的关键帧和关键区域，从而在不增加计算复杂度的情况下提升模型捕捉局部关键信息的能力。
• (2)
  为了解决特征冗余以及浅层卷积响应不足的问题，我们将ShuffleNetV2中的通道分割与通道重排策略引入到EfficientNetV2的深度MBConv结构中。通道分割可以减少冗余计算，而通道重排则有助于促进通道间的有效交互，使得浅层特征的表征更加全面，特征边界也更为清晰。这种优化设计显著提升了网络在低级特征提取阶段的性能，增强了不同动作类别之间的区分能力。
• (3)
  通过协同整合上述各项组件，我们构建了一种双路径轻量级网络，该网络在公共数据集以及我们自行构建的手势识别数据集上均能实现高精度且高效、轻量的推理，因此更适于在嵌入式边缘设备上实现实时部署。未来希望将该技术应用于更多复杂的手势识别场景，比如智能家居、智能医疗以及车载系统等。

章节节选

EfficientNetV2网络

EfficientNet是一种轻量级网络，它通过神经架构搜索技术优化网络深度、宽度与分辨率之间的比例，从而提升速度与精度[22]。神经架构搜索是一种自动化的神经网络设计技术，它从一组候选架构（即搜索空间）中寻找最优的网络结构。神经网络架构的质量或性能可以通过精度和速度等指标来衡量

Jester数据集与EgoGesture数据集

在手势识别研究中，我们使用了两个公共数据集。Jester数据集是一个公开的动态手势数据集，其中收集了人们在笔记本电脑摄像头或网络摄像头前做出的预定义手势。该数据集共包含148092段手势视频，训练集、验证集和测试集的样本比例分别为8:1:1，涵盖了27种不同的手势动作。此外，该数据集还包含了两个“无手势”类别，用以帮助网络进行区分

实验结果与讨论

所有实验都在配备英特尔Core i7-12450处理器和NVIDIA RTX 4060显卡的计算机上完成。对于所有数据集，输入图像的大小都被统一调整为224×224像素。所提出的模型具有42帧/秒的推理速度，单帧推理延迟为24毫秒。在公共的Jester和EgoGesture数据集中，实验所采用的视频标准帧率为16帧/秒，而我们自行构建的数据集的视频采集帧率为29帧/秒，这两个数值都低于模型的推理速度

结论

综上所述，我们提出了一种基于Shuff-EMA-EfficientNetV2网络的动态手势识别方法，该方法在轻量级网络EfficientNetV2的基础上引入了EMA机制模块，以此提升网络的特征提取能力，同时还对EfficientNetV2中的MBConv模块进行了基于ShuffleNetV2的优化，使其能够多尺度地识别局部关键区域。ShuffleNetV2中的通道分割与通道重排策略也发挥了重要作用

CRediT作者贡献声明

陆旺东：负责撰写原始草稿、方法论部分、资金获取相关工作、正式分析以及概念构思。游志聪：负责撰写原始草稿、验证工作、软件相关内容、方法论部分以及正式分析。贾冉：负责撰写原始草稿。所有作者都参与了本文的审阅与编辑工作。