阿拉伯语手势识别的机器学习与深度学习方法的比较研究

《Information and Software Technology》：A comparative study of machine learning and deep learning approaches for arabic sign language recognition

　　

摘要

背景：

自动手势识别——即将手语手势分类到预定义的类别中——是计算机视觉和辅助技术领域的关键挑战。随着阿拉伯语地区对包容性通信工具需求的增长，阿拉伯语手语（ArSL）识别越来越受到关注。

目标：

本研究提出并评估了一种混合方法，结合传统机器学习（ML）和深度学习（DL）技术，对阿拉伯语字母和数字的独立手势进行分类，以及一个将两类合并为统一识别任务的综合数据集。该研究旨在比较分析基于机器学习和深度学习的识别流水线的性能。

方法：

研究了两条识别流水线。第一条使用通过MediaPipe提取的手部关键点向量，并使用传统机器学习算法（如K近邻（KNN）、支持向量机（SVM）和随机森林（RF））进行分类。第二条采用基于原始图像数据的深度学习方法，使用卷积神经网络（CNN）和具有迁移学习的MobileNetV2。

结果：

实验结果表明，MobileNetV2在ArSL数字数据集（10个类别）上取得了最佳性能，准确率达到98.60%，在ArSL字母数据集上达到89.70%。对于综合41类数据集，机器学习流水线（随机森林）以93.83%的准确率取得了最佳性能。

结论：

这些发现强调了三种场景（数字、字母和综合）下速度与准确性之间的优势与权衡，为高效且具包容性的ArSL识别系统奠定了基础。本研究利用易获取和优化的技术，有助于弥合聋人社区的沟通鸿沟。

引言

手语是聋人和重听人士重要的交流方式。虽然手语能够促进聋人之间的有效互动，但与大多数听人之间仍存在沟通障碍，限制了社会、教育和职业融入。阿拉伯语在中东和北非地区有超过4亿使用者。由于缺乏无障碍的沟通工具，阿拉伯语聋人社区在很大程度上被忽视。

因此，开发能够准确解读ArSL手势的系统不仅是技术挑战，也是实现数字包容以及平等获取教育、医疗和公共服务的关键要求。

因此，科学研究越来越关注开发促进聋人与听人之间沟通的技术。为应对这一挑战，人们提出了多种解决方案，包括基于视觉的手势识别系统、基于传感器的方法（如智能手套）、移动应用程序和深度学习框架。

然而，最近的解决方案显示，许多早期甚至近期的ArSL系统依赖于专用硬件、受控环境或复杂的多模态传感器，这显著增加了系统成本并限制了可扩展性。此外，几种现有方法的识别准确率中等，词汇覆盖率有限，或缺乏对签署者差异和真实世界条件的鲁棒性。

这些局限性凸显了开发更具成本效益、更准确、更可扩展的ArSL识别系统的重要性，这些系统能够使用标准成像设备运行同时保持竞争性的性能。弥补这一差距仍然是当前ArSL研究的关键挑战。识别字母和数字等静态手势是迈向自动翻译系统的基本步骤。

更重要的是，将这两种手势类型合并为一个数据集（数字+字母）提供了一个更现实、更具挑战性的基准，因为它迫使识别模型同时处理简单的数字手势和更复杂的字母形状。

本文全面评估了两种ArSL单手势识别范式。第一种方法基于MediaPipe框架提供的手部关键点检测，通过将手部姿态信息转换为63维向量（21个点的x、y、z坐标）提供轻量级解决方案。然后使用强机器学习模型对这些向量进行分类，如K近邻（KNN）、支持向量机（SVM）和随机森林（RF）。该流水线适用于需要计算效率和快速推理的情况。

第二种方法利用深度学习（DL）能力，使用卷积神经网络（CNN）直接处理原始手势图像。我们进一步通过使用MobileNetV2增强该方法，这是一个预训练模型，已被证明能够在性能和资源使用之间取得平衡，并通过迁移学习使用ArSL数据集进行微调。该方法旨在处理手部形状和视觉上下文的复杂性和多样性，因此能够应对多种手势条件，包括半受控环境。

通过对三个数据集的广泛实验，包括阿拉伯语数字、阿拉伯语字母（31个类别）以及合并数字和字母的综合数据集，我们比较了每种方法的相对优缺点。我们的发现强调了模型复杂度、准确率和计算成本之间的权衡，并揭示了虽然所有模型在独立数据集上都表现良好，但由于手势多样性增加，在综合数据集上的性能有所下降。每种方法都展现了互补的优势。MobileNetV2在独立词汇（数字和字母）上取得了最佳性能，而随机森林在所有深度学习模型中在综合41类基准测试中表现更好，突显了混合识别策略的价值。这些结果是对未来实时ArSL翻译系统开发的有希望的指标。本文其余部分组织如下：第2节提供了手语识别的文献综述以及机器学习和深度学习的基本概念。第3节介绍了所提方法的实现细节，包括数据集准备、模型架构和训练程序。探索了两种互补策略：一种基于使用手部关键点的向量提取，另一种基于基于图像的深度学习和迁移学习技术。第4节详细介绍了通过在三个数据集上进行的实验对所提方法进行评估和分析。这些实验涵盖了混合策略的细节和得出的实验结果。最后，第5节总结了发现并讨论了增强阿拉伯语手语识别系统的未来方向。

章节摘要

文献综述

在此背景下，我们将探讨机器学习、深度学习和传感器技术的最新进展和应用，这些技术显著提高了SLR系统的准确性和可用性。

本节系统地回顾了来自阿拉伯语和非阿拉伯语语境的贡献，区分了两个主要任务：文本到手语转换和手语到文本转换。

每项研究还按识别粒度进一步分类（字母、单词、...

方法论

本节介绍了我们为阿拉伯语手语识别提出的方法。整个过程包括数据集收集和预处理、特征提取、模型选择和训练以及性能评估。探索了两种并行的识别方法，第一种使用手部关键点提取结合经典机器学习分类器，第二种基于使用深度学习和迁移学习架构的原始图像处理。图1描绘了...

数据集描述与评估指标

我们为阿拉伯语手语（ArSL）识别提出的系统在三个独立手部动作数据集上进行了测试：一个涉及数字识别（0–9），另一个涉及阿拉伯语字母（31个字母）的分类，第三个将前两个数据集合并为统一的Gesture集合。数据集的选择包括简单和复杂的手势模式，能够全面测试模型性能以应对不同的手势复杂度。对于...

结论

本研究对阿拉伯语手语（ArSL）识别的经典机器学习（ML）和深度学习（DL）方法进行了比较评估。我们的发现强调了一个关键的速度-准确性权衡：DL模型（MobileNetV2）在数字和字母数据集上均被证明高度有效，在数字数据集上取得了98.60%的最佳准确率，在更复杂的字母数据集上达到89.70%，展示了其在处理视觉变化方面的鲁棒性。另一方面...

CRediT作者贡献声明

Souha Ben Hamouda：撰写–初稿、软件、方法学、形式分析、概念化。Wafa Gabsi：监督。Bechir Zalila：监督。

利益冲突声明

作者声明他们没有任何已知的竞争性经济利益或个人关系，这些可能会影响本论文中报告的工作。

Souha Ben Hamouda|Wafa Gabsi|Bechir Zalila

沙弗萨克斯大学 沙弗萨克斯经济与管理学院，突尼斯