《Neurocomputing》:KANMultiSign: Multi-scale sequence-based pose animation from sign language notation with Kolmogorov-Arnold networks
编辑推荐:
在手语生成(SLP)领域,符号驱动的姿态动画面临从抽象符号表示到连续高维人体运动之间非线性映射建模困难的问题。现有标准架构依赖参数繁重的多层感知机(MLP)模块,难以有效捕捉复杂的关节与时间动态,导致手指精细动作不精确及训练数据有限时泛化能力差。研究人员提出了
在手语生成(SLP)领域,符号驱动的姿态动画面临从抽象符号表示到连续高维人体运动之间非线性映射建模困难的问题。现有标准架构依赖参数繁重的多层感知机(MLP)模块,难以有效捕捉复杂的关节与时间动态,导致手指精细动作不精确及训练数据有限时泛化能力差。研究人员提出了KANMultiSign框架,该框架基于多尺度粗到细的生成策略,首先预测包含全局结构的体-手-脸中间骨架,再细化至详细的全身关键点序列。同时,研究人员探索用Kolmogorov–Arnold网络(KAN)模块替代Transformer前馈子层,利用可学习的一元函数提供更紧凑的参数化方式,从而在减少模型规模的同时保持生成质量。实验在四个手语语料库上进行,结果表明多尺度监督显著提升了动态时间规整平均关节误差(DTW-MJE),KAN变体在参数减少约55%的情况下仍保持竞争力。
KANMultiSign的研究针对符号驱动手语生成中从HamNoSys符号到连续人体姿态的非线性映射难题展开。当前主流方法依赖参数繁重的多层感知机(MLP),难以兼顾全局结构与局部精细动作,尤其在手指关节建模和有限数据泛化方面存在明显缺陷。为此,研究人员设计了多尺度粗到细的生成框架,结合Kolmogorov–Arnold网络(KAN)作为Transformer前馈层的参数高效替代方案,以提升模型的结构一致性和参数利用率。实验表明,该方法在四个手语数据集上均取得优于基线的空间精度,且模型规模显著降低,对手语动画生成及低资源场景应用具有重要意义。该研究发表于《Neurocomputing》。
研究人员采用的主要关键技术方法包括:1)基于HamNoSys符号序列的文本处理模块,将符号映射为高维上下文嵌入并结合长度预测;2)多尺度姿态生成器,通过粗姿态模块预测25个身体部位的简化骨架,再由细姿态预测网络输出137个关键点的详细姿态;3)在Transformer编码器中引入KAN模块替代传统MLP前馈层,实现参数高效的非线性映射;4)复合损失函数设计,包括序列长度损失、粗姿态损失与细姿态损失,确保时间与空间一致性。样本来源于PJM、DGS、GSL和LSF四个公开手语语料库。
研究结果部分,研究人员首先在相关工作分析中明确了HamNoSys在符号驱动SLP中的优势,并指出已有神经方法在精细手指动作与数据稀缺条件下的不足。随后在方法部分,文本处理器通过Unicode映射与位置编码将HamNoSys转换为嵌入序列,并由序列长度预测器输出目标帧数。姿态生成器采用迭代细化策略,结合文本-姿态编码器融合符号与姿态特征。在多尺度骨架动画中,粗姿态模块通过对关键点分组求均值获得全局结构,细姿态预测网络在此基础上融合特征生成最终姿态。KAN模块被应用于替换Transformer前馈层,通过三层宽度配置实现紧凑建模。损失函数综合了长度、粗姿态与细姿态误差,确保生成结果在时间维度与空间维度均与真实值一致。
实验结果显示,多尺度监督显著降低了DTW-MJE,在PJM、DGS、GSL和LSF数据集上均优于基线Ham2Pose。KAN变体在参数从3.8 M降至1.7 M的情况下,仍保持竞争力,并在部分数据集上取得最优结果。消融研究证实,多尺度结构是性能提升的主要驱动力,而KAN主要在参数效率方面发挥作用。敏感性分析表明,较小的KAN隐藏维度(64)与较浅的编码器深度在性能和模型大小之间取得最佳平衡。KAN可解释性可视化展示了其学习到的单变量函数映射在不同层间的选择性响应。序列长度预测误差分析显示,长度偏差会直接影响动态时间规整距离,尤其在样本量较少的数据集上更为明显。效率评估显示,KAN变体在推理内存占用上最低,但在训练时间和延迟上略有增加。
在讨论部分,研究人员指出当前粗姿态提取对缺失关键点的敏感性限制了模型的鲁棒性,未来可通过改进关键点插值方法与增强上游姿态估计质量来缓解。此外,在低资源场景下的泛化能力仍需进一步验证,并与容量匹配的压缩MLP进行对比以明确KAN的优势。结合大型语言模型(LLM)提升符号语义理解也是潜在研究方向。研究结论表明,多尺度粗到细建模是提升符号驱动手语生成精度的关键,KAN则在保持生成质量的同时显著减少了模型参数,为高效手语动画生成提供了可行方案。