基于机器学习的符号识别系统开发研究：一项系统性综述

《Journal of Imaging》：Machine Learning as a Tool for the Development of Sign Recognition Systems: A Review

　　

摘要专业翻译 听力损失是一个全球性挑战，影响着聋人群体的沟通、学习和工作能力。目前，世界卫生组织报告称，全球有超过4.3亿人患有致残性听力损失。在康复替代方案中，手语是最广泛采用的方式之一；然而，聋人与听力正常人群之间的有效沟通仍然是一道障碍。为帮助弥合这一沟通鸿沟，技术工具的研发得到了推动，尤其是符号识别系统（Sign Recognition Systems, SRSs）。本综述旨在对以手语教学与学习应用为动机的SRS研究现状进行整合性分析，识别从数据采集、特征提取到分类和技术部署全流程中的主流方法论路径，并强调高实验性能与现实世界可及性之间持续存在的差距。本文献综述分析了55篇文章，这些文章选自2020年至2025年间在Scopus数据库收录期刊中识别出的161条初始记录。分析表明，这些系统通常由两个阶段构成：特征提取和分类。最后，尽管SRS取得了高性能，但在将这些系统转化为能够被最终用户有效使用的技术方面仍存在差距。

论文主体内容专业总结

2. 符号识别系统

符号识别系统（SRSs）由两个阶段组成：一个阶段负责采集执行手语动作的用户信息，另一个阶段接收该信息以输入预测模型，其功能是输出用户所执行的手语符号。此外，在连续信息采集之前，必须构建数据集以训练预测模型。文献中报道的涉及SRS开发的研究，普遍采用深度学习方法与计算机视觉技术相结合的方式。

2.1. 特征提取

在符号识别系统中，特征提取过程对于将人体运动转化为可被预测模型分析的数据至关重要。根据搜索结果，在识别出的161篇论文中，有102篇明确描述了其特征提取流程。最常用的技术包括从红绿蓝（RGB）色彩空间图像中进行解剖学关键点预测，以及使用未经预处理的原始图像。RGB图像与解剖学关键点这两种主要输入模态合计占所选文章的79%。在这两种情况下，主要采集设备是生成RGB格式图像的立体相机。

2.1.1. RGB图像

当RGB图像作为符号识别的预测模型输入时，需要构建多样化的数据集。为此，图像需在不同背景、光照条件、阴影、相机倾斜角度以及参与者性别下采集。然而，这种变异性往往不足；因此，通常采用数据增强技术，如图像旋转、翻转、颜色变化以及亮度、对比度、饱和度和色调的修改。一旦数据集就绪，尽管图像已代表用户执行的动作，但这些表征往往不够具有描述性。因此，需通过分割和色彩空间转换（如HSV、YCrCb）等技术进行后处理。此外，在现代深度学习方法中，特征通过卷积神经网络（CNNs）提取，旨在学习通过卷积捕获相关空间模式的滤波器。预训练架构常被采用，包括ResNet50、EfficientNetB3、Inception V3和VGG16。尽管应用广泛，基于RGB的方法对环境变异性仍然高度敏感。即使经过数据增强，在RGB图像上训练的模型往往难以泛化到训练数据中未呈现的光照条件、背景或相机角度，且原始图像的高维度增加了数据量和训练所需的计算成本。

2.1.2. 解剖学关键点

该方法指使用MediaPipe等模型检测人体关键点。这些模型估计手、脸和躯干等身体部位的3D解剖学坐标。该方法的一个关键优势是能够随时间跟踪关键点位置，这对于涉及运动的动态手语尤其有用。此外，输入预测模型的信息变得更具描述性，因为它同时提供时间和空间线索。最后，与基于RGB的方法相比，该方法降低了输入的维度，因为可以选择相关关键点或计算几何属性。然而，该方法完全依赖于关键点检测器的可靠性。遮挡、异常手部方向或快速运动经常导致关键点检测缺失或错位，这些错误会直接传播到下游分类器，且无任何校正机制。

2.1.3. 其他提取技术

除RGB图像和解剖学关键点外，还探索了其他特征提取策略。数据手套采用弯曲传感器或惯性测量单元（IMUs）直接捕获手指关节角度和手部方向，产生高度可靠的特征，但存在成本、需佩戴设备以及无法捕获面部或躯干运动等挑战。其他非接触式技术包括超宽带（UWB）雷达和射频（RF）传感器，但空间分辨率有限。动作捕捉系统提供精确的3D身体数据，但高成本限制了日常应用。Leap Motion设备（LMD）利用红外相机检测手指位置和方向，精度良好且无需物理接触，但视野有限。肌电图（EMG）测量手势期间的肌肉电活动，但需要校准且可能产生噪声数据。最后，RGB-D图像结合颜色和深度，改善了分割和身体跟踪，但性能可能受用户与相机距离的影响。

2.1.4. 特征提取技术比较分析

特征提取策略的选择涉及表征丰富性、环境鲁棒性、硬件要求和用户接受度之间的基本权衡。基于RGB图像的方法硬件门槛最低，但对环境条件高度敏感，且携带大量无关信息。解剖学关键点提取将输入缩减为一组紧凑坐标，对背景和光照条件基本不变，降低了训练数据需求和推理时间，但代价是依赖关键点检测器的可靠性。数据手套和IMU系统产生最可靠、抗噪的特征，但需用户穿戴专用硬件且无法捕获面部表情或躯干运动。RF和雷达传感器提供非接触操作但空间分辨率有限；EMG方法捕获丰富的神经肌肉信息但需校准且对疲劳和汗水敏感；RGB-D相机改善了分割和深度估计但更昂贵且对环境红外光敏感。总之，对于优先考虑可及性和低部署成本的应用，基于关键点的方法目前代表了性能与实用性之间的最佳平衡，而接触式和专用传感器方法更适合受控研究或临床环境。

2.2. 分类技术

分类技术定义了预测模型的结构。模型输入对应于使用前述方法提取的特征，输出是与这些特征关联的预测手语符号。神经网络占主导地位，出现在89%的文章中。深度学习方法（DL）——包括CNN、LSTM、GRU和Transformer架构——占主导地位。支持向量机（SVM）和随机森林（RF）分类器虽然频率低得多，但仍主要出现在使用高度描述性输入特征（如解剖学关键点或数据手套传感器读数）的研究中。

2.2.1. 神经网络

神经网络因其学习复杂模式的能力而广泛用于SRS。对于静态手语，通常采用卷积过程前置的网络，尤其是在处理RGB图像时。当提取方法已提供高度描述性特征（如数据手套）时，可省略卷积。静态手语识别中也常使用预训练的目标检测模型，如YOLOvX。动态手语涉及随时间变化的动作序列，需要能够建模时间依赖性的架构。循环神经网络（RNNs），尤其是长短期记忆网络（LSTM）、门控循环单元（GRU）、双向LSTM（Bi-LSTM）和Transformer常被采用。基于Transformer的架构在SRS研究中日益突出，其自注意力机制能建模长程时间依赖性。视觉Transformer（ViT）也被改编用于静态和基于视频的符号识别。然而，ViT模型通常需要大型训练数据集才能优于CNN，这在标注数据稀缺的手语领域是一个约束。在前沿领域，集成大规模基础模型（如MediaPipe Holistic和大型语言模型（LLMs））已开始出现在文献中，但其计算成本和对专有基础设施的依赖目前限制了其在可及的现实辅助技术中的采用。这些架构的一个共同局限是依赖大量标注训练数据，而除美国手语（ASL）外，大多数手语仍缺乏此类数据。

2.2.2. 其他分类技术

作为神经网络的替代方案，传统机器学习方法如支持向量机（SVM）和随机森林（RF）也被采用。尽管其存在感下降，但其训练时间快、计算要求低，对静态手语分类仍具优势。然而，其有效性强烈依赖于明确定义的特征。此外，SVM和随机森林分类器通常不能很好地扩展到大型手语词汇表或高维原始输入，这限制了其适用于类别数量有限且特征表征紧凑的问题。

2.2.3. 分类技术比较分析

分类架构的选择涉及建模能力、计算成本、训练数据需求和可解释性之间的权衡。基于CNN的架构擅长提取分层空间特征，在受控数据集上实现近乎完美的静态手语识别精度，但无法原生建模时间依赖性。LSTM和GRU网络通过逐步处理序列解决此问题，但顺序特性限制了训练期间的并行化。基于Transformer的架构对所有时间步同时计算自注意力，产生相对于序列长度的二次计算复杂度，虽支持并行训练和优越的长程依赖建模，但推理时内存占用较大。混合CNN-LSTM架构提供了实用的折中方案，对中等长度序列具有更有利的复杂度-性能权衡。实践中，CNN-LSTM混合体通常更适合资源受限的实时应用，而Transformer更适合研究环境中对更长、更复杂手语序列追求最大精度的场景。传统分类器在原始性能上已被深度学习超越，但在低数据场景、可解释性和计算简单性方面保留优势。总体而言，没有单一架构在所有SRS场景中占主导地位：选择应由手语类型（静态与动态）、可用训练数据、目标部署平台和可接受的推理延迟驱动。

3. 手语数据集

SRS的开发与评估关键依赖于标注数据集的可用性，其定义了词汇量、记录条件、手语者数量和采集模态。分析表明，多数大规模公开数据集覆盖美国手语（ASL）或阿拉伯手语（ArSL），反映了研究的地理集中性。其次，多数数据集在受控实验室条件下采集，可能限制模型对现实环境的泛化性。文献中识别的关键缺口是拉丁美洲和非洲国家手语数据集的稀缺。

4. 符号识别系统的使用

尽管对SRS开发的兴趣日益增长，但在用户可访问技术中的实际实施仍然有限。在161篇识别文章中，仅18篇（11.2%）报告了集成到交互式技术中。平台主要包括移动应用、桌面应用和网页平台。在机器人、视频游戏、增强现实、虚拟现实和物理设备中的实施较少。这种分布表明倾向于纯软件解决方案，可能是因为其成本和进入门槛低于依赖硬件的技术。

5. 预测模型的性能

除理解SRS是什么及其部署位置外，还需评估其可靠性以确定领域成熟度。最常报告的指标是准确率，定义为正确预测数占评估实例总数的比例。

5.1. 动态符号识别性能

动态符号识别涉及顺序信息处理挑战。系统通常管理20至50个类别，准确率在85%至98%之间。

5.2. 静态符号识别性能

与动态手语不同，静态手语由特定的身体和手部配置定义，无时间成分，类似于传统图像分类问题。类别数量通常较少，常限于字母表和1至10的数字。准确率通常高于动态识别，常在95%至99%之间，因为只需识别空间模式。

6. 未来研究方向

分析表明，基于CNN的架构在静态符号识别中达到95%至99%的准确率，表明该领域方法论空间已达到成熟水平，进一步收益取决于训练策略的精细化。相比之下，动态符号识别仍是一个开放问题，近期文献显示研究焦点向词汇和短语级别的动态识别转移。动态识别需要联合建模手形、运动轨迹、面部表情以及在某些情况下的躯干方向随时间的变化，同时保持与实时处理约束的兼容性。未来工作应优先考虑在单一时间模型内整合手、脸和躯干信息的架构和数据集，同时减少对词汇标注的依赖，以支持从孤立动态符号识别向连续、短语级手语翻译的过渡。

7. 结论

SRS研究已达到显著的技术成熟度，巩固了深度学习作为主导范式的地位。对非侵入性计算机视觉方法有明确偏好，尤其是RGB图像分析和解剖学关键点提取，使得仅需相机和计算单元即可实现解决方案。神经网络模型持续取得高性能，在静态和动态手语分类中准确率常超过90%。然而，若干持续挑战仍然存在。泛化问题最为关键；词汇可扩展性仍未解决；缺乏标准化评估协议是另一个结构性问题。弥合实验性能与现实可及性之间的差距需要一系列有序的工程优先级：首先，为代表性不足的手语构建大规模、独立于手语者的数据集；其次，采用标准化的多指标评估协议；再次，优先考虑模型压缩和效率技术以适配移动和边缘部署；最后，通过与聋人社群成员直接进行的可用性研究来验证部署工作。