小样本条件下由元学习驱动的轻量级动态手势识别模型

《Symmetry》：A Lightweight Dynamic Gesture Recognition Model Driven by Meta-Learning Under Small Sample Conditions

　　

动态手势识别在小样本条件下仍具挑战性，其困难源于用户、视角、运动模式及手部构型带来的大变异。研究人员提出一种轻量级动态手势识别框架，融合元学习（meta-learning）、神经架构搜索（Neural Architecture Search, NAS）与知识蒸馏（Knowledge Distillation, KD），以在有限训练样本下实现快速适应。不同于传统主要聚焦特征提取与模型优化的识别方法，该研究进一步考虑手势的内在对称特性，通过建模左右手关键点间的结构对应关系，引入镜像感知骨架表征策略（mirror-aware skeleton representation strategy），降低由用手侧差异导致的分布差异，提升少样本条件下的泛化能力。所提框架采用轻量级时空特征提取模块、基于优化的元学习策略及知识蒸馏机制，以平衡识别精度与计算效率。实验在 DHG-14、SHREC2017、FPHA、LMDHG 与 20BN-Jester 数据集上于不同少样本设定下开展，涵盖跨用户变异、视角变异、运动速度变异、局部遮挡与背景干扰。结果表明，所提方法在显著降低了模型复杂度与计算成本的同时，取得了具竞争力的识别性能，为资源受限场景下的动态手势识别提供了高效解决方案。

研究背景方面，动态手势识别是人机交互系统的关键组成，广泛应用于虚拟现实、智能车辆、机器人控制与辅助通信。传统卷积神经网络与时空图模型虽能有效提取空间结构与时间动态，但依赖大规模标注数据，难以适应新类别或小样本用户。现有元学习方法在少样本下展现潜力，但多数仍依赖复杂网络，缺乏面向资源受限部署的轻量化优化。为此，研究人员在《Symmetry》发表该研究，提出一种融合元学习、NAS与KD的轻量级框架，并引入镜像感知骨架表征以利用手势左右对称性。

关键技术方法上，研究人员以手部骨架序列为统一输入范式（DHG-14、SHREC2017、FPHA、LMDHG直接用原骨架，20BN-Jester经MediaPipe Hands提取21关键点并做镜像不变类归一化与线性插值补全），构建5-way K-shot（K∈{1,5}）情景训练任务，采用基于优化的模型无关元学习（Model-Agnostic Meta-Learning, MAML）做双环更新；骨干网通过可微分NAS在含标准卷积、深度可分离卷积、时空可分离卷积（spatio-temporal separable convolution, ST-SepConv）、图卷积与跳连的操作空间中搜索三层时序+图卷积块（通道32-64-128）；并以大模型为教师、轻量子网络为学生，用带温度τ的KL散度蒸馏损失协同训练。

研究结果部分，各节结论如下。第2节动态手势识别中，研究人员定义骨架序列X为T×J×C张量，按手势语义将动作分为镜像不变类（如握拳、张开手掌，做左右手坐标对齐至右手系）与镜像敏感类（如左右挥动、顺逆时针旋转，保留原方向），经拓扑对齐至统一图G=(V,E)，降低用手侧分布差异。第3节元学习框架与少样本任务构建中，形式化为双层优化问题，内环α=0.01更新支撑集、外环β=0.001更新元参数，每元任务含5类各K个支撑样本与15查询样本，跨用户划分防泄漏，证实MAML优于度量式ProtoNet的跨任务适应力。第4节轻量级网络架构设计与训练策略中，ST-SepConv分解时空卷积降复杂度；NAS以验证损失+FLOPs正则联合目标搜得最优子结构；KD总损失为交叉熵与软标签KL项加权（γ初始0.5、下限0.1、衰减k=0.05），三者协同在保精度下压缩参数量。第5节实验与对比中，在5数据集上5-way 1/5-shot评估显示，Ours-Lite+NAS+KD在跨用户、视角、速度、遮挡、背景干扰下均稳定优于ST-GCN、3D-CNN、MAML、ProtoNet，参数量与FLOPs最低（表4），消融实验证元学习增适应、NAS降复杂、KD提鲁棒；30次重复配对t检验p<0.01具统计显著。

讨论与结论翻译：本研究提出小样本下元学习驱动的轻量级动态手势识别模型，通过NAS自动寻优子结构并结合KD从大模型迁移知识以压缩尺寸，元学习范式使模型能从少量样本快速泛化。实验以骨架序列输入、时空图卷积提取特征、元任务训练测试，在全部挑战条件下保持稳定高精度且计算开销远低于传统深模。局限在于NAS与协同训练引入额外离线开销，KD效果依赖教师质量。该框架适用于嵌入式高精低耗场景，未来可结合自监督预训练进一步降低标注依赖。

发表于《Symmetry》的该文意义在于，首次将元学习驱动与轻量级结构协同设计引入动态手势识别，并以手势对称性作为表征先验，为边缘端少样本手势交互提供可部署方案。