用于字母手语解读的视觉深度学习方法

《Scientific Reports》：Visual deep learning approaches for alphabetic sign language interpretation

　　

摘要

手语在帮助听力和语言障碍者进行交流方面发挥着重要作用，因此，实现精确的字母级识别是构建无障碍人机交互系统的重要前提。本文研究了基于视觉深度学习的方法，旨在从图像数据中识别手语字母。研究团队构建了一个系统性框架，用于评估基于迁移学习的卷积神经网络在捕捉具有区分度的手势特征方面的有效性。通过使用标准的美国手语字母数据集，研究者在统一的实验方案下对比了多种先进架构，包括ConvNeXtXLarge、EfficientNet、VGG19和ResNet-50。比较分析结果显示，ConvNeXtXLarge的识别性能最为出色，准确率达到了99.81%；而EfficientNet、VGG19和ResNet-50的准确率也分别达到了99.68%、99.31%和97.29%，表现同样优异。这些研究结果体现了现代迁移学习策略在提升精细动作识别能力方面的有效性。所提出的评估框架为选择适合构建可扩展且可靠的手语识别系统提供了实用指导，有助于推动包容性辅助技术以及现实场景中的视觉语言理解应用的发展。