基于大型语言模型的多模态增强手语翻译方法

《Scientific Reports》：Language as labels for cross dataset generalization in sign language translation

　　

摘要

对于大型视觉语言模型来说，手语翻译是一项具有挑战性的任务，因为手语中存在复杂的时间-空间线索、跨模态语义对齐问题以及需要生成大量的词汇解释（即“gloss”）。为了解决这些问题，我们提出了一种基于大型语言模型的多模态增强方法，该方法将语言信息作为标签使用，并采用定制的三阶段视觉-语言融合流程来进行手语翻译。具体而言，我们构建了一个手语动作描述数据集，以实现从词汇解释序列到手语动作描述序列的转换。此外，本研究还利用我们的数据集以及视觉字幕的早期融合技术，引导大型语言模型准确捕捉手语动作的时间-空间特征。值得注意的是，这是首次利用大规模自然语言处理数据集生成手语动作标签，从而实现跨数据集的手语推理。大量实验验证了该方法的有效性，其在广泛使用的基准测试中取得了领先的性能，并显示出出色的跨数据集泛化能力。