手语者独立条件下基于MediaPipe Holistic关键点与轻量级多分支Transformer的哈萨克手语识别

《Frontiers in Artificial Intelligence》：A lightweight multi-branch transformer architecture for Kazakh Sign Language recognition under signer-independent conditions

　　

低资源手语中的手语识别（Sign Language Recognition, SLR）仍受限于缺乏标注数据、手语者高变异性以及基准缺失；哈萨克手语（Kazakh Sign Language, KzSL）是此类低资源语言的代表性实例。所提出的研究引入一种基于专门采集的5名手语者RGB视频流的孤立KzSL识别新方法，该视频流由MediaPipe Holistic提取的1662维逐帧姿态、面部和手部地标向量表示。最终数据集包含187个输出类别（186个手势类别和1个no_event类别）的39,979个手势样本，每个样本被重采样为56 × 1662的时间地标张量。研究人员提出一种轻量级模型Transformer模型（SignTransformerModel，3,529,272个可训练参数），其包括两部分：（1）每个地标通过MultiBranchStem的独立分支进行投影，获得每个地标的支路表示并融合为256维统一表示；（2）融合序列由具有8个注意力头的四层Transformer编码器处理，通过结合注意力和最大池化的TemporalAttentionPool聚合为单一序列表示，然后送入分类层。该模型与三种基线架构——标准Transformer、时间卷积网络（Temporal Convolutional Network, TCN）和双向GRU（Bidirectional GRU, BiGRU）——进行比较，并在嵌套、手语者独立的留一手语者交叉验证（Leave-One-Signer-Out cross-validation）的五个外层测试分区上取得平均准确率0.6698 ± 0.0376、平均宏F1 0.4207 ± 0.0420和平均加权F1 0.6546 ± 0.0375，在每个分区上的宏F1均优于所有三种基线。结果表明，紧凑的基于地标的Transformer模型用于KzSL识别是可行的，尽管总体准确率受到占主导的no_event类别显著抬高（仅手势准确率：0.4490），并且手语者间变异性、手语者对类别覆盖不完整以及反复出现的类别混淆仍然存在，并为扩充数据集和在专家指导下微调模型提供了明确方向。

论文主体解读

手语识别（Sign Language Recognition, SLR）是涉及计算机视觉、序列处理与语言建模的多学科挑战。2015—2025年间，SLR计算模型由经典算法明显转向深度学习；早期系统主要采用隐马尔可夫模型（Hidden Markov Model, HMM）、支持向量机（Support Vector Machine, SVM）和K近邻（K-Nearest Neighbors, KNN）对人工特征分类并统计建模手势序列。卷积神经网络（Convolutional Neural Network, CNN）广泛用于提取手形、位置和方向等空间特征；三维卷积神经网络（3D CNN）可同时建模空间结构与时间动态；循环神经网络（Recurrent Neural Network, RNN）及其长短期记忆（Long Short-Term Memory, LSTM）和门控循环单元（Gated Recurrent Unit, GRU）用于建模视频帧间时间依赖；生成对抗网络（Generative Adversarial Network, GAN）和变分自编码器（Variational Autoencoder, VAE）用于生成与增强数据；图卷积网络（Graph Convolutional Network, GCN）用于骨骼关键点图结构建模；Transformer及注意力架构则通过自注意力自适应识别输入序列不同部分的重要性。连续手语识别（Continuous Sign Language Recognition, CSLR）仍需处理协同发音及非手动特征。现实问题是，全球手语资源分配极不均衡，高资源研究集中于美国手语（American Sign Language, ASL）、英国手语（British Sign Language, BSL）和德国手语（German Sign Language, DGS），RWTH-PHOENIX和ASLLVD等构成主要基准；KzSL标注资源很少且无公开基准，属于低资源手语。现有SLR系统还面临大数据依赖、手语者间手势变异大和实时运行等限制。因此，研究人员面向有限数据条件提出紧凑深度学习架构，以识别KzSL并泛化至训练中未见手语者。

研究人员构建了由5名手语者a、b、j、m、n提供的KzSL RGB视频数据集，采用绿幕工作室、专业灯光和GoPro HERO 12（3,840 × 2,160）录制；使用MediaPipe Holistic提取每帧1,662维特征，其中姿态33×4、面部468×3、左手21×3、右手21×3。通过姿态与双手地标的运动分数、长度9滑动平均及阈值median(motion)+3×[MAD(motion)+10^?6]自动分割活动段，合并间隔并选取最长区间，前后扩展后保留足够长片段标为no_event，随后人工复核边界。缺失检测以零填充处理，序列线性时间插值至T=56帧，并在每个片段内独立进行z-score归一化；训练增强包括帧丢弃p=0.1和高斯噪声σ=0.003。最终语料含39,979个手势样本、187个输出类别（186个手势类别和1个no_event类别），其中38,043个来自原始标注，另1,936个来自对1,460个先前未处理视频文件的补标；每类平均由可用手语者录制20—25次，但若干类别手语者覆盖不均。研究人员提出SignTransformerModel：MultiBranchStem将姿态、面部、左手、右手分别投影，姿态与面部分支为d_model/4维，每个手部分支为d_model/8维，d_model=256，再融合为256维统一表示；加入正弦位置编码后，经四层Transformer编码器（8个注意力头、前馈倍增4、GELU激活）建模时间依赖；TemporalAttentionPool结合注意力池化与最大池化聚合序列；分类头为LayerNorm→Dropout→Linear(d_model,187)并接softmax。模型有3,529,272个可训练参数。三种基线为标准Transformer（3,802,552参数）、TCN（1,691,580参数）和BiGRU（1,236,408参数），均使用相同输入、优化器、学习率计划、损失、类权重和数据增强。研究采用嵌套、手语者独立的留一手语者交叉验证（Leave-One-Signer-Out, LOSO）：五个手语者分区依次作为外层测试分区并完全留出；其余四个分区进行内层留一分区交叉验证，以125个epoch训练且无早停，按四个内层验证分区平均宏F1选择重拟合时长；随后从随机初始化在四个开发分区合并数据上按选定epoch重拟合，并在外层测试分区仅评估一次。指标为准确率、宏F1和加权F1，并进行类别级与混淆分析。

关键技术方法（不超过250字）：目的性采集5名手语者a、b、j、m、n的KzSL RGB视频；MediaPipe Holistic提取姿态、面部和双手地标，逐帧1,662维；以运动分数和中位绝对偏差（Median Absolute Deviation, MAD）阈值自动分段并人工复核；线性时间插值至56帧，逐片段z-score；训练增强为帧丢弃p=0.1和高斯噪声σ=0.003；模型含MultiBranchStem分支投影、四层Transformer编码器8头、TemporalAttentionPool和分类头；AdamW学习率3×10^?4、权重衰减10^?3、CosineAnnealingLR（T_max=125）、批大小128、交叉熵标签平滑0.08、sqrt_inv类权重；采用嵌套LOSO并与Standard Transformer、TCN、BiGRU同管线比较。

研究结果如下。3.1 跨验证性能：在嵌套交叉验证五个外层测试分区上，所提模型取得平均准确率0.6698 ± 0.0376、平均宏F1 0.4207 ± 0.0420、平均加权F1 0.6546 ± 0.0375，优于TCN（0.6588 ± 0.0374、0.3957 ± 0.0408、0.6446 ± 0.0369）、标准Transformer（0.6216 ± 0.0457、0.3469 ± 0.0415、0.6073 ± 0.0423）和BiGRU（0.6019 ± 0.0539、0.3163 ± 0.0509、0.5853 ± 0.0488）；所提模型在五个外层测试分区的宏F1分别为a 0.4897、b 0.4262、j 0.3822、m 0.4333、n 0.3719，均高于TCN对应分区，研究据此认为多分支设计具有可测优势，同时分区差异反映手语者间变异。分区a准确率0.7068、加权F1 0.6888最高；分区j准确率0.6034、加权F1 0.5891最低；分区n宏F1最低。宏F1与加权F1差异体现类别不均衡与类别难度差异。

3.2 类别级性能与误差分析：no_event类别占39,979个样本中的16,794个（42.01%），各架构均以近天花板F1识别，所提模型no_event平均F1为0.9578，因此总体准确率和加权F1受该主导非手势类别显著影响。将准确率限制在真实标签为手势的样本后，所提模型准确率由0.6698降至0.4490 ± 0.0471，186个手势类别上的宏F1为0.4178 ± 0.0422；架构排序仍为多分支Transformer、TCN、标准Transformer、BiGRU。原单层LOSO类别分析显示，187类中59类（约32%）平均F1至少0.5，128类（约68%）低于0.5，10类达到F1≥0.7，4类达到F1≥0.8；这些语料级统计尚未在嵌套协议下重算。最佳识别类别中，no_event在嵌套协议下F1为0.9578；原评估下手势Tusinu为0.871、Eger为0.826、Qatty_gromkii为0.805、Qar为0.762。最差类别Mumkin的F1为0.0000（支持数65），Ozgertu为0.0168（支持数140），Kutu为0.0581（支持数121），Qalai为0.0667（支持数122），Nege为0.0698（支持数129）。Mumkin仅由手语者b、j、m录制，完全缺失于a和n，因此只在五个外层测试分区中的三个被评估，且每个评估中模型仅用另外两名贡献手语者数据训练；该类别在四种架构下均为F1=0.000，研究据此判断其失败并非架构问题，而是手语者覆盖不足。覆盖分析显示，187类中158类（157个手势类加no_event）由全部五名手语者录制，186个手势类中29类覆盖不完整；其中Birge、Biz、Mumkin仅由三名手语者录制，其余26类由四名录制；缺失手语者分布为22/26缺少b、Bari和Bizde缺少j、Ozgertu缺少a、Tamaq缺少n。嵌套协议下所提模型最常见混淆为Memleket→Ul（41次）、Qorqu→Turu（40次）、Tabigat→Aua raiy（39次）、Dayindau→Jol（34次）、Ote→Sondyqtan（31次）；其中Memleket/Ul、Tabigat/Aua raiy和Ote/Sondyqtan在原评估中亦为高频混淆，Qorqu/Turu和Dayindau/Jol在嵌套协议下更为突出。研究认为这些类别仍需更具判别性的特征表示、更多录制或专家复核。

讨论部分指出，基于地标的多分支Transformer在数据有限条件下是孤立KzSL识别的可行且有前景的结构；MultiBranchStem先拆分解剖部位，保留身体部位特异信息并防止高维面部信息压制低维但高判别性的手部信息，其相对标准Transformer的一致宏F1优势支持该解释；Transformer编码器无需循环结构即可捕获手势不同阶段的时间依赖，TemporalAttentionPool突出最具信息量的时间区域并通过最大池化保留显著判别激活；TCN基线最接近所提模型，但在每个分区仍落后。模型3,529,272个参数较标准Transformer更紧凑，但并非四种架构中最小；标签平滑、权重衰减、帧丢弃和坐标噪声用于缓解有限数据下的过拟合。研究强调嵌套交叉验证较严格，每个分区验证手语者不进入训练集，且不利用该分区样本或指标选择重拟合时长；传统随机划分曾得到约87% Top-1验证准确率，但因训练集可学习同一手语者执行风格而高估实际性能。分区间宏F1从0.3719到0.4897的差异表明手语者间变异仍是显著误差来源；仅5名手语者限制手语者不变表征学习，最弱分区n与原LOSO中最弱折j不同，原协议中j未在epoch预算内完全收敛，嵌套协议下尚未确立n存在同等收敛问题。加权F1与宏F1的显著差异由类别不均衡和类别难度造成；no_event占42.01%且识别近完美，抬高支持加权平均，宏F1因稀有和困难类别而被压低；仅手势准确率0.4490显示总体指标不应被解读为孤立手势识别准确率。类别级失败机制包括结构性欠代表与反复类别混淆：Mumkin在四种架构下均为F1=0.000，说明主要是需通过数据采集解决的数据问题；Memleket/Ul、Tabigat/Aua raiy、Ote/Sondyqtan及嵌套协议下Qorqu/Turu、Dayindau/Jol等混淆不太可能仅靠增加训练epoch解决，而需专家复核录制材料、定向重录或更细空间判别特征。局限性包括：数据集规模与手语者多样性仍低于RWTH-PHOENIX或ASLLVD等高资源基准，五名手语者不能覆盖完整手语人群变异；若干类别手语者覆盖不均；模型依赖MediaPipe Holistic上游地标提取精度，无法利用地标未捕获的外观线索；评估为离线，实时部署仍需延迟与鲁棒性分析及聋人和重听参与者可用性评估；基线比较基于单一随机种子，TCN基线使用非确定性cuDNN设置；系统混淆手势对尚需KzSL专家复核。

研究结论翻译：本研究提出一种基于MediaPipe Holistic地标的轻量级多分支Transformer模型用于KzSL识别。手势样本表示为56 × 1,662的固定时间张量，来自5名手语者录制、覆盖187个输出类别的39,979个样本的目的性采集数据集。所提出的SignTransformerModel通过独立投影分支处理姿态、面部和手部地标，以四层Transformer编码器建模时间结构，并用注意力与最大池化联合聚合序列，总计3,529,272个可训练参数。在嵌套、手语者独立交叉验证下，所提模型取得平均准确率0.6698 ± 0.0376、平均宏F1 0.4207 ± 0.0420、平均加权F1 0.6546 ± 0.0375，为四种架构中最高均值，并在五个外层测试分区中的每一个上于宏F1均优于三个基线架构。结果表明，小型基于地标的Transformer架构用于低资源手语具有潜力，同时提示需通过平衡跨手语者数据、确保手语类别完整覆盖以及由专家驱动复核最常混淆手势类别来改进结果；总体准确率尤其受主导no_event类别显著抬高，仅手势样本准确率降至0.4490。该框架可作为未来KzSL数字平台、手语词典、教育材料和辅助沟通系统的识别组件。