《Intelligent Systems with Applications》：Transformers for sign language processing: A survey of spatio-temporal modeling approaches, challenges, and research gaps
编辑推荐：
统计模型、机器学习、深度学习以及Transformer模型为手语（Sign Language, SL）处理提供了支持；有限的数据集和资源仍是手语处理面临的主要挑战；手语研究仍较为碎片化，现有技术产物对聋人用户而言尚不充分。
统计模型、机器学习、深度学习以及Transformer模型为手语（Sign Language, SL）处理提供了支持；有限的数据集和资源仍是手语处理面临的主要挑战；手语研究仍较为碎片化，现有技术产物对聋人用户而言尚不充分。
1 引言
Transformer已成为序列建模的主导范式，但对手语中极端的时空结构、多模态性和数据稀缺性的作用机制仍缺乏充分理解。手语因此成为检验现代Transformer架构设计假设的天然试验场。聋人群体规模增长与合格手语译员短缺的矛盾，推动计算手语处理研究持续发展。该领域主要分为手语翻译（Sign Language Translation, SLT）和手语生成（Sign Language Production, SLP）。本文聚焦基于Transformer的SLP方法，系统梳理架构变体、注意力机制的数学形式、损失函数设计以及评估协议，指出现有评估实践缺乏一致性，并主张建立更忠实、标准化的评估策略。
2 相关工作
已有综述多从手语识别与翻译视角出发，早期关注隐马尔可夫模型（Hidden Markov Model, HMM）等统计序列模型，随后转向卷积神经网络（Convolutional Neural Network, CNN）和循环神经网络（Recurrent Neural Network, RNN）等深度架构。尽管Transformer在手语处理中的地位日益凸显，多数综述仍将其作为“其他”或辅助技术加以讨论，缺少对其内部机制、架构变化和学习动态的深入分析。手语生成方向的综述尤其不足。本文针对这一空白，将Transformer作为核心研究对象，对手语翻译与生成任务进行聚焦式梳理。
3 序列到序列的SLT与SLP形式化
手语生成被形式化为从输入文本或语音序列X映射到手语视频帧序列V的任务，并分解为三个子任务：文本到注释（Text-to-Gloss, T2G）、注释到姿态（Gloss-to-Pose, G2P）和姿态到视频（Pose-to-Video, P2V）。手语翻译则被视为该过程的逆问题。该形式化框架为不同方法提供了统一比较基础，并解释了Transformer等序列到序列架构被引入该领域的合理性。
4 Transformer架构的基础概念
Transformer采用编码器-解码器结构，编码器由多头自注意力子层和前馈网络子层组成，使用缩放点积注意力计算基于查询、键和值的加权表示，并通过残差连接与层归一化稳定训练。解码器额外设置编码器-解码器注意力子层以融合源序列信息。位置编码用于保留输入顺序信息。该架构支持并行训练，并能建模长程依赖，因而适合手语处理中的时空序列建模。
5 手语翻译：通往Transformer的演进
5.1 早期统计方法：预深度学习时代
早期手语识别受语音识别启发，广泛采用隐马尔可夫模型及支持向量机、条件随机场、随机森林等经典机器学习方法。这些方法依赖人工设计的特征提取流程，可扩展性、鲁棒性和跨用户泛化能力有限，难以适应连续手语中复杂的时空和多模态结构。
5.2 中间深度学习时代：采用卷积神经网络
深度学习阶段引入CNN进行视觉特征提取，并与HMM结合形成混合模型；随后发展为结合双向长短期记忆网络（Bidirectional Long Short-Term Memory, BiLSTM）的框架。首个端到端手语翻译流水线被提出，并发布PHOENIX14T基准数据集。混合CNN-RNN、多通道特征融合、图卷积网络等方法相继出现，但面对连续手语翻译所需的长程时序依赖，仍存在建模瓶颈。
5.3 先进时代：数据集与算法复杂性
Transformer被引入手语翻译后，相关研究围绕姿态特征与视觉特征的比较、LSTM与Transformer的对比、多通道编码器设计、预训练迁移、数据增强、对比学习、视觉Transformer（Vision Transformer, ViT）和自监督预训练等方向展开。研究表明Transformer在未见测试数据上的泛化能力优于循环架构，但数据规模不足和评估协议碎片化仍是制约进步的主要因素。
6 手语生成：向基于Transformer模型的演进
6.1 原始时代：从文本到虚拟人驱动的手语
早期手语生成主要依赖虚拟人（avatar）系统、同步树邻接文法和并行转换网络等技术，通过预存动作片段拼接生成手语。此类方法存在动作僵硬、符号间过渡不自然、非手部特征建模不足和可扩展性差等局限。
6.2 中间时代：从数据驱动经验中学习
数据驱动方法开始将手语生成分解为文本到注释、注释到姿态、姿态到视频的模块化流程，采用基于循环神经网络的神经机器翻译机制，并结合注释词典和条件变分自编码器、生成对抗网络（Generative Adversarial Network, GAN）实现视频合成。循环网络的顺序计算限制促使后续研究转向Transformer。
6.3 先进时代：将Transformer集成到手语生成
Transformer在手语生成中取得显著进展。渐进式Transformer（Progressive Transformer, PT）以自回归方式生成连续姿态序列，引入生产状态计数器并采用动态时间规整和均方误差进行端到端训练。后续工作进一步融合GAN、混合密度网络、运动原语专家、图自注意力等机制，增强生成质量与结构一致性。非自回归方法通过外部对齐、矢量量化、扩散模型等策略减少推理延迟并改善表达多样性。离散符号空间方法则将文本翻译为注释或利用量化离散表示进行生成。当前评估仍以反向翻译BLEU为主，评估指标与代码发布缺乏标准化。
7 总结与讨论
本文提出三类方法分类：自回归方法、非自回归方法和符号到离散翻译方法。多数现有方法采用OpenPose提取人体姿态，均方误差是最常用的优化目标，BLEU和ROUGE是主要评估指标。手语生成领域普遍存在代码和数据资源公开不足的问题，BLEU分数在时间维度上未呈现一致的提升趋势，评估实践的不一致严重阻碍公平比较。PHOENIX14T仍是最广泛使用的手语生成基准数据集。
8 包容性技术的社会影响
聋人和听障人口统计数据不一致，影响政策制定与资源分配。手语研究中的关键利益相关方常各自为政，缺乏协作。未来应转向参与式、以社区为中心的开发模式，支持聋人作为开发者与共同创造者参与技术设计。手语翻译与生成技术有望在医疗、公共安全、教育和就业等领域减少沟通障碍，提升社会包容性。
9 结论
Transformer虽然性能强大，但仅凭其本身不足以解决手语固有的时空多通道复杂性、同时性、手语者差异和数据稀缺问题。将专用自注意力机制、结构化损失函数、稳健评估协议以及数据增强、矢量量化、噪声正则化等辅助技术相结合，可持续推进手语翻译与手语生成的最新水平。未来应推动大规模、文化根植性数据集建设，加强开放科学实践，并发展超越反向翻译范式的手语生成评估指标。
