综述：一种用于孤立手语识别的新型时空记忆路由网络（NST-MRN）

《Neurocomputing》：A novel spatio-temporal memory routing network for isolated sign language recognition (NST-MRN)

　　

S. Renjith|Poorna S S

印度阿姆里塔普里，阿姆里塔维什瓦维迪亚佩塔姆大学计算机科学与工程系，邮编690525

摘要

手语识别是实现聋人与听力正常者之间无缝沟通的关键技术。传统的识别系统通常依赖帧级分析，这种方式可能无法完全捕捉到手语手势的空间和时间特征。我们提出了NST-MRN，这是一种新型的时空记忆路由网络，用于孤立动态手语词的识别。与大多数现有方法不同，NST-MRN并非按顺序处理输入数据，而是模拟人类认知系统，在经过增强记忆功能的时空系统中选择性地传递重要的动作和姿态信息。该框架首先通过一个模块从光流和骨架数据中筛选出关键帧及动作区域，以提取重要的时空信息；接着，双流编码器分别利用图卷积神经网络处理骨架动作，以及基于胶囊结构的动态编码器处理重点动作。这些信息随后通过记忆路由层进行传递，该层能够捕捉重要特征，从而连接手语手势中的关键转换点。最后，时间令牌聚合器将这些特征转化为压缩表示形式以便分类。我们在WLASL-100、Include-50和SMILE-DSGS数据集上对该架构进行了测试，结果显示其准确率和稳定性均有显著提升。

引言

手语是一种复杂的交流语言，包含手势、面部表情和身体语言，主要由聋人群体使用。而自动手语识别则特指对孤立动态手势的识别，这一技术有助于缩小能够理解手语与无法理解手语者之间的沟通差距。在过去的二十年里，孤立手语识别已成为一个热门的研究领域，但仍然存在诸多挑战，比如手语复杂的表达方式和动作、其中的时间变化以及不同使用者之间的差异[18]。

传统上，孤立手语识别采用计算机视觉方法，侧重于从RGB图像或深度图像中提取手工设计的特征。不过，深度学习的出现为基于卷积神经网络和循环神经网络的诸多模型奠定了基础，其中包括迁移学习模型、长短期记忆网络和门控循环单元等变体。近期的研究则着眼于混合模型，即结合卷积神经网络和长短期记忆网络，以此同时处理时间和空间数据。此外，基于骨架结构和图卷积网络的方法也得到了广泛应用，用于对手语手势中的结构化数据进行建模。

近年来，智能人机交互系统的进步证明了轻量级注意力机制和基于图的深度学习方法在手势理解和康复应用中的有效性。文献[30]提出了一种基于联合注意力和先验知识的轻量级物体检测框架，用于面向康复需求的室内环境，强调了在复杂视觉场景中高效注意力驱动表示的重要性。同样，文献[31]提出的图深度学习方法则展示了利用3D图表示进行非接触式手势识别的有效性，这类技术可应用于康复和养老护理领域。受这些研究的启发，我们所提出的框架整合了基于图的空间建模和基于记忆的时间推理，从而在各种现实条件下实现高效且稳健的手语识别。

然而，这些模型存在以下一种或多种缺陷：（1）处理长序列手势时效率低下，需要处理大量冗余帧；（2）可解释性较差，难以确定哪些帧或哪些关节对识别至关重要；（3）缺乏能够随时间突出显示关键动作区域的自适应策略[22]。部分缺陷已通过基于Transformer的模型和注意力机制得到解决，这类机制能够实现对时间元素的动态加权。不过，这些模型仍需要庞大的数据集才能有效学习长距离依赖关系，而且往往无法捕捉到解读手语手势所必需的低级动作线索。

为了解决这些问题，我们提出了一种用于孤立手语识别的新型时空记忆路由网络NST-MRN。该方法采用一种具有记忆增强功能的框架，能够在手语识别过程中动态传输重要的时空特征。我们所提出的NST-MRN结合了帧选择、用于绘制手势的骨架结构、用于动作建模的胶囊结构以及用于孤立手语识别的时间记忆路由功能。手语识别的第一步是剔除无关帧并选出动作最显著的区域，由此生成一系列通过双流机制编码的手语信息。该机制由图卷积神经网络和基于胶囊结构的动作编码器组成。时间记忆路由机制则确保传输的信息在框架内具有适当的上下文相关性。总之，本工作的贡献如下：

• 1.
  我们提出了NST-MRN，这是一种用于孤立手语识别的新型时空记忆路由网络。
• 2.
  我们设计了一种双流编码器，它将基于图的骨架建模与基于胶囊结构的动作编码相结合，从而形成更丰富的多模态表示。
• 3.
  我们开发了一种记忆路由机制，该机制能够自适应地学习如何随时间传输动态特征，进而提升模型的可解释性和效率。
• 4.
  我们通过在多个基准数据集上进行的广泛实验，证明了该方法的有效性，其性能优于多种现有的孤立手语识别方法。

章节节选

相关研究

在过去的十年里，自动手语识别领域取得了显著进展，尤其是在孤立动态手语词识别方面[21]、[23]。该领域的先前研究大致可分为以下几类：（i）基于深度学习的手语识别方法；（ii）基于骨架和图的模型；（iii）基于注意力机制和Transformer的方法；（iv）基于胶囊结构和记忆路由的机制。本节将对影响该领域发展的相关文献进行全面综述。

时空记忆路由网络

这种框架是一种专为高效建模手语识别任务中的时空动态而设计的新型架构。该模型采用了多种符合生物学原理的机制，如关键帧选择、胶囊表示以及基于注意力的记忆路由，以此提升手语识别的学习效率和稳定性。NST-MRN的整体流程由以下关键组件构成：

• •
  关键帧选择
• •
  空间特征编码
• •
  基于胶囊的空间抽象
• •
  时间记忆路由
• •

实验设置

所提出的NST-MRN模型是在一台高性能计算设备上实现并进行测试的，该设备配备了40GB的NVIDIA A100 Tensor Core GPU、256GB的DDR4内存以及2TB的NVMe固态硬盘。软件环境包括Python 3.11版本的Jupyter Notebook，以及用于优化GPU加速的CUDA 11.8版本。

结果与讨论

我们在三个数据集上评估了所提出的NST-MRN模型的分类性能，包括WLASL-100、Include-50和SMILE-DSGS数据集上的检测能力，这些结果体现了该模型在不同手语类型上的准确率和泛化能力。在本研究中，我们使用了从这三个基准数据集中各选取的25种常用手语类别进行实验，这些选取的子集旨在确保实验的平衡性。

结论

我们所提出的NST-MRN框架为孤立手语识别提供了一种全新的时空处理方法，它结合了关键帧选择、基于胶囊结构的时空抽象以及时间记忆路由功能，从而实现高效的手势表示。在Include-50、SMILE-DSGS和WLASL-100数据集上的测试表明，该框架具有出色的性能，并且具备扩展性和泛化能力，可应用于多种手语识别任务。

• •
  我们提出了NST-MRN框架，该框架整合了基于图的骨架结构

CRediT作者贡献说明

S. Renjith：撰写——原始稿件、可视化、验证、监督、软件、资源、方法论、研究调查、正式分析、数据整理、概念构思。Poorna S S：撰写——审阅与编辑、监督、项目管理、正式分析。

利益冲突声明

作者声明，他们不存在任何可能影响本文研究结果的已知财务利益或个人关系。

S. Renjith拥有阿姆里塔维什瓦维迪亚佩塔姆大学计算机科学与工程专业的博士学位。他目前是阿姆里塔维什瓦维迪亚佩塔姆大学阿姆里塔计算机学院的助理教授。他的研究兴趣包括计算机视觉、图像处理和深度学习，尤其致力于开发新的手语识别技术。他的工作还为推动包容性通信技术的发展做出了贡献，旨在提高 accessibility水平。