基于层级Transformer架构的全球手语分类法与计算特征化研究

《Scientific Reports》：A global taxonomy and computational characterization of major sign languages for scalable AI recognition systems

　　

摘要

手语是一种具有自主语言结构、多样化正字法影响和法律地位的自然视觉手势语言。尽管基于深度学习的识别系统近期取得了进展，但这些系统面临区域偏见问题，这限制了系统的可扩展性，并使来自低资源背景的数百万用户被排除在外。本研究重点针对跨五大洲的几种重要手语进行全面的全球分类法与计算特征化研究。这些语言基于六个关键参数进行分类：字母适应方式、语言族、法律地位、用户人口、手势拼写结构（单手或双手）。研究提出了一种层级Transformer架构，能够容纳各种语言变体。该架构遵循三层方法：通用手势姿态编码器、语言族特定适应层和分类器头。此外，研究提出了全球手语复杂度指数（GSLCI）和公平性指数，用于衡量各种手语的复杂性。对提出的优化框架的分析表明，利用各语言族的共同特征，最高准确率达到91%，这可被视为听力和语言障碍人士的首选交流方式。