编辑推荐：
手语（Sign Languages, SL）是全世界聋人群体最主要的交流方式。在这一背景下，以虚拟化身进行手语表达（即手语虚拟化身，signing avatars）为以无障碍形式传递信息提供了一种颇具前景的解决方案。然而，生成准确且清晰可懂的手语动画仍然具有挑
手语（Sign Languages, SL）是全世界聋人群体最主要的交流方式。在这一背景下，以虚拟化身进行手语表达（即手语虚拟化身，signing avatars）为以无障碍形式传递信息提供了一种颇具前景的解决方案。然而，生成准确且清晰可懂的手语动画仍然具有挑战性，尤其是在精确还原诸如手部配置（hand configuration）和手部位置（hand placement）等具有语言学意义的手部参数方面。本文对三种主要的虚拟化身生成方法进行了比较性评估：传统3D动画（traditional 3D animation）、动作捕捉回放（motion capture replay）以及基于深度学习的重建（deep learning-based reconstruction）。研究人员使用上述每种技术生成了一组受控的西班牙手语和法国手语孤立手语词，并通过手部配置的自动识别进行定量评估，以及通过包含聋人参与者的感知研究进行定性评估。结果表明：传统动画在手部配置准确性方面表现最佳；动作捕捉能够产生逼真的自然运动，但在相似配置存在遮挡和歧义时仍较为敏感；深度学习虽然能够从视频中实现完全自动化的生成，但在关键手部参数的保真度上仍有所不足。总体而言，这些发现为当前手语虚拟化身生成技术提供了一个实用的基准，揭示了它们在再现具有语言学意义的手部参数方面各自的优势与局限。
**从语言学视角评估手语虚拟化身：研究解读**
**一、研究背景与目标**
手语（Sign Language, SL）是全世界聋人社群的主要交流媒介，与有声语言一样，属于完整的自然语言体系。然而，大多数信息资源仅以口语或书面语形式提供，聋人群体仍面临严重的沟通壁垒。以三维动画人物形象呈现的手语虚拟化身（signing avatars）能够在保护手语者匿名性的同时，以聋人母语形式传递信息，并具有比二维视频更高的灵活性和交互性，例如可调节播放速度、改变视角、缩放特定手势或修改化身外观。近年来，手语虚拟化身的生成技术大致可分为三类：传统3D动画、动作捕捉（Motion Capture, MoCap）回放，以及基于深度学习的重建。传统动画依赖动画师手动设置关键帧，能够对动作进行精细控制，但制作成本高、耗时长；动作捕捉通过记录真人表演者的标记点位置还原运动，时空精度高且运动自然，但设备昂贵、环境受限，且标记物会干扰手部接触和运动；基于深度学习的方法（如SGNify）可从单目视频中自动重建三维人体姿态，尤其是结合手语音系学约束后，在自动化方面展现出巨大潜力，但手部姿态估计仍因自遮挡和运动模糊而面临显著挑战，难以准确还原手部参数的精细细节。基于上述问题，本文旨在从手语语言学的视角，对这三种技术在手语动画生成中进行系统比较，评估其对手语形成中两个关键音系参数——手部配置（Hand Configuration, HC）与手部位置（Hand Placement, HP）——的再现保真度，考察基于深度学习的方法是否已达到与传统动画或动作捕捉相媲美的准确性。该研究发表于《Neurocomputing》期刊。
**二、研究设计与关键技术方法**
研究人员选取了30个西班牙手语（LSE）和法国手语（LSF）孤立手语词加以动画生成，所选词汇依据手部配置和手部位置两个参数进行受控设计，覆盖了两个语言手型库的66.7%（LSF）和57.14%（LSE），并特别纳入视觉相似、易产生混淆的配置以及包含手指重叠或遮挡的复杂构型。三套动画分别通过下述方式生成：（1）传统3D动画（化身A）：使用Blender软件，基于Rigify骨架进行手动的关键帧动画制作，配合贝塞尔等插值曲线和delazy时序偏移等技术；（2）动作捕捉回放（化身C）：采用OptiTrack Prime 22系统（18个摄像头、240 Hz采样率、35个身体标记点、20个手部标记点）采集打手语者的运动数据后重定向到3D化身；数据采集和后期处理由Motion-Up公司协助完成；（3）基于深度学习的重建（化身B）：使用当前最先进的SGNify方法，其以SMPL-X参数化人体模型为基础，结合手语语言学先验约束（双手对称性、手动配置不变性），对输入视频逐帧进行优化重建，输入视频分别取自西班牙手语官方词典（DILSE）和法国手语官方词典（Le Dico Elix）。定量评估采用HAKA研究中基于Procrustes分析的手部配置识别框架（覆盖42种LSE手型），对每个手语词起始和结束时刻的HC进行识别，并与期望配置比对，赋予1.0（完全正确）、0.5（部分正确）或0.0（识别失败）分值；定性评估则通过在线问卷开展感知研究，共有22名聋人或手语参与者（7名西班牙语手语者，15名法语手语者）参与，每位参与者观看约30个视频（每种方法约10个），针对每个视频回答三个问题：Q1识别主手出现过的手部配置（24类+“不清晰”选项）、Q2识别主手使用的空间位置（15类+“不清晰”选项）、Q3对动画自然度进行1至5分的评分；另有3名专家完成全部90个视频的问卷，其结果作为金标准参与得分比较，所有假设检验均采用Kruskal–Wallis检验进行两两比较。
**三、研究结果**
**（一）定量评价结果**
自动识别结果显示：仅将完全正确（1.0）计为有效时，传统动画（化身A）的整体正确率为60.34%，动作捕捉（化身C）为56.90%，而深度学习重建（化身B）仅为36.21%——深度学习明显低于前两者，甚至远低于真实视频基准值（51.72%）；当把部分正确（0.5）也计为有效时，化身A达到72.41%，化身C上升至81.03%（增幅较大，表明动作捕捉在相似配置之间产生较多混淆，可能与骨架重建中手部和手指的遮挡或retargeting过程误差有关），化身B仅为60.34%，仍为三者最低。逐手型分析显示，错误主要集中在两类：一类是存在手指遮挡的构型（如claw、key），另一类是视觉上高度相似的构型（如mouffle常被误认为flat或5），这类错误在三种技术乃至真实视频中均有出现。
**（二）感知评价结果**
22名参与者的问卷结果表明：在手部配置识别（Q1）方面，假设H1（动画方法不影响识别能力）在化身A与化身B、化身B与化身C之间被拒绝（p=0.001、p=0.008），而化身A与化身C之间差异不显著，且化身B的平均F
1分数（0.53±0.17）明显低于化身A（0.70±0.23）和化身C（0.66±0.20）；在手部位置识别（Q2）方面，三种方法间均无显著差异，假设H2无法被拒绝；在自然度感知（Q3）方面，化身B的平均评分（2.77±0.93）显著低于化身A（3.88±0.77）和化身C（3.78±0.74），假设H3在化身A与化身B、化身B与化身C之间被拒绝。整体而言，传统动画和动作捕捉在感知层面表现相近且优于深度学习重建。
**（三）混淆矩阵分析**
感知实验的混淆矩阵进一步印证了定量结果：化身A和化身C在手部配置辨别上呈现相似模式，均倾向于混淆5、mouffle和flat这类相似手型；而化身B在未能正确完成手语词识别时，绝大多数被识别为claw配置，反映出深度学习模型在重建中倾向于生成一种既非完全张开也非完全闭合的中间状态，导致手型辨识度下降。
**四、讨论与结论**
讨论部分指出，传统动画的高准确性得益于动画师对每一细节的手动控制，使相似手型之间保持清晰区分，但其代价是显著的制作时间和人力成本；动作捕捉提供了自然的运动质感，且在空间位置识别中表现最佳，但对手部遮挡和相似构型的区分能力有限，加之设备依赖和后期处理需求，限制了其规模化应用；深度学习重建的最大优势在于全自动化——无需人工设定或专业设备，只需输入视频即可生成化身，但这以巨大的计算开销（生成一个3秒手语词约需1小时50分钟GPU优化时间）为代价，且当前重构结果在手部配置保真度上仍存在明显不足，尤其在遮挡或快速运动场景下难以可靠还原目标音系参数。整体来看，在本次受控孤立手语词的评估条件下，传统动画和动作捕捉仍是语言学可控性更高的手语虚拟化身生成手段，而基于深度学习的方案虽自动化潜力巨大，但在手部参数保真度和运动稳定性方面仍需进一步改进。研究结论部分总结道：本文对三种3D虚拟化身动画技术——传统动画、动作捕捉和基于深度学习的方法——在手语生成应用中的效果进行了系统比较，在包含西班牙手语和法国手语共30个受控孤立词的基础上，通过手部配置和手部位置两个音系参数对动画的自然度和手语词的可懂度进行了评估；传统动画在手部配置表现上具有高准确性，甚至部分指标超过真实视频；动作捕捉提供自然真实的身体运动，但难以准确区分相似或遮挡情况下的手型；深度学习可从参考视频自动生成手语化身，减少人工干预，但计算资源消耗大，重建在手部配置识别中准确性仍偏低；感知评估与定量分析趋势一致，传统动画与动作捕捉的感知结果相近且在多项指标上优于深度学习重建；因此，传统动画和动作捕捉在当前仍是实现语言学上可控的手语虚拟化身生成更为稳健的技术，而深度学习虽在自动化方面前景广阔，仍需在手部参数保真度和运动稳定性方面加以提升。研究的局限性在于所选数据集为孤立词，尚无法对连续手语语句中的时间一致性、语法连贯性和话语结构等作出结论，这些方面需要更长的连续语料和不同的实验方案；未来工作将扩展评估框架至更多音系参数（如手部运动类型、手方向和非手动特征），并引入更长的手语序列，同时也将探索结合多种技术的混合方案，以互补优势、降低制作成本并生成更高质量的虚拟化身。
