多模态检索增强识别技术在泰语手语指拼中的应用

《IEEE Access》：Multimodal Retrieval-Augmented Recognition for Thai Sign Language Fingerspelling

　　

摘要：

手语是聋人或听力障碍者（DHH）社区的主要交流方式。然而，与广泛研究的美国手语（ASL）、加拿大手语（CSL）和丹麦手语（DGS）相比，泰语手语（TSL）在公开可用的数据集、基准协议、标注语料库和可重用的计算资源方面仍然不足。由于手势形状相似、手语者之间的差异以及有限的公开标注资源，TSL中的手指拼写识别尤其具有挑战性。本文提出了一种多模态检索增强识别（MRAR）框架，用于TSL手指拼写识别，该框架将RGB视频、手势序列和语言音系知识整合到一个统一的检索引导识别流程中。通过文本描述、音系属性和训练得到的原型手势图像构建了一个多模态知识库（KB）。在推理过程中，检索器获取顶级训练得到的原型，并将其检索证据与基线模型预测通过基于kNN的后验细化策略相结合。在包含90个类别的TSL手指拼写数据集上的实验表明，MRAR相比评估的代表性CNN–LSTM、基于Transformer和GCN的基线方法提供了中等但一致的改进，将RGB+Pose融合方法的跨手语者top-1准确率从91.4%提高到94.1%。结果表明，检索引导的后验细化有助于减少评估的手语独立TSL基准测试中视觉相似类别之间的混淆。这些发现表明，基于外部原型的检索可以作为提高TSL手指拼写识别的有用补充机制，尽管在训练资源更有限的情况下，需要进一步进行小规模数据评估来完全验证其有效性。