基于ISH-NEWS数据集与Transformer模型的端到端句子级印度手语翻译

《Scientific Reports》：End-to-end sentence-level Indian sign language translation with ISH-NEWS dataset and transformer model

　　

摘要

听力障碍者依靠手语进行交流。由于口语使用者无法理解手语，他们很难与口语使用者沟通。因此，我们需要推动能够让手语使用者和口语使用者相互交流的工具的发展。手语翻译技术试图将手语视频转换为口语，或反之亦然。在印度，由于研究人员的努力较为零散，印度手语的数据集开发进展缓慢。目前还没有可供公众使用的印度手语数据集，以便评估可用于基于变换器模型的句子级连续手语翻译技术。在本文中，我们首次提出了用于连续手语翻译的印度手语数据集ISH-NEWS，其中包含4,222段句子视频，总字数超过6,500词。我们利用基于变换器的翻译模型对该数据集进行性能测试，并为模型性能建立基准。通过数据增强技术，我们将该模型的BLEU-4得分提升了8.46。