《ICT Express》:Label-efficient head-motion-robust wearable radar hand gesture recognition via motion-domain radar–IMU fusion
编辑推荐:
手势识别(HGR)是增强现实、辅助接口、工业免提控制和人机交互的重要输入模态。尽管可穿戴图像传感器提供了丰富的表观信息,但其存在隐私问题、光照变化、视场受限、手部遮挡以及常开运行的高计算负担等缺陷。可穿戴雷达是一种有吸引力的非图像替代方案,因为它直接测量距离、
手势识别(HGR)是增强现实、辅助接口、工业免提控制和人机交互的重要输入模态。尽管可穿戴图像传感器提供了丰富的表观信息,但其存在隐私问题、光照变化、视场受限、手部遮挡以及常开运行的高计算负担等缺陷。可穿戴雷达是一种有吸引力的非图像替代方案,因为它直接测量距离、角度和多普勒运动线索。然而,当雷达安装在可穿戴平台上时,头部运动会改变传感器坐标系并降低识别鲁棒性。本文研究了用于抗头部运动可穿戴雷达HGR的雷达-IMU融合与标签高效训练。研究人员将传统融合策略(包括仅雷达学习、早期融合、晚期融合和注意力融合)与所提出的运动域协议进行了比较,该协议将雷达观测转换为多普勒感知的运动-XYZ表示。在相同的时序卷积网络(TCN)骨干网络和受试者不相交协议下,所提出的运动域协议在所评估的融合策略中取得了最佳的四类性能,宏F1(macro-F1)为85.97%,移动头部宏F1为81.69%。其移动头部宏F1相较于早期融合提高了3.18个百分点,相较于注意力融合提高了5.80个百分点。标签效率实验表明,在非静态头部标签有限的情况下收益更大:当非静态标签为0%时,早期融合仅达到23.46%的移动头部宏F1,而所提出的协议达到了70.30%。这些结果表明,在学习之前将雷达观测转换为物理上有意义的运动域,比原始的惯性测量单元(IMU)拼接或基于注意力的传感器融合更为有效。
论文解读文章
一、研究背景与问题
手势识别(HGR)作为自然人机交互(HCI)的重要输入模态,在增强现实(AR)、虚拟现实(VR)、智能眼镜、机器人、车辆接口、医疗环境、辅助技术以及工业双手繁忙场景中具有广泛应用需求。基于图像传感器的可穿戴HGR系统虽然能够提供丰富的空间表观信息并借助卷积神经网络和循环神经网络实现较高精度,但其实际部署面临多重限制:持续捕获视觉场景可能记录面部、物体和私密空间而引发隐私顾虑;识别性能易受光照变化、运动模糊、手部遮挡、衣物及背景外观和视场约束的影响;常开视觉处理对电池容量和热预算有限的微型可穿戴设备造成高昂计算负担。这些局限性推动了非图像感知模态在隐私保护与鲁棒可穿戴交互中的探索。替代方案中,基于惯性测量单元(IMU)的方法通常需要将设备佩戴于手部或腕部,主要测量传感器自身运动而非手部相对于交互空间的位置;基于肌电(EMG)的方法虽能检测肌肉激活和精细手指意图,但需皮肤接触、电极放置、用户相关标定且对佩戴条件敏感;射频(RF)方法如WiFi感知和低功耗反向散射感知虽支持无设备或低功耗交互,但常提供间接运动特征,易受多径、环境变化和干扰影响。雷达因其能直接捕获距离、角度和多普勒等运动相关物理线索而不获取视觉图像,成为一种颇具前景的替代方案,可在低光照条件下工作并可嵌入特定设备材料后方,适合紧凑型可穿戴接口。然而,现有雷达HGR研究大多假设雷达坐标系固定或传感器置于静态平台,这一假设对可穿戴雷达而言存在问题:当雷达佩戴于用户头部附近时,头部旋转和平移改变了雷达与手部之间的相对几何关系,导致相同手势在静态头部和非静态头部条件下产生不同的距离-角度-多普勒模式,从而引发分布偏移,若模型仅以静态头部数据训练则泛化能力显著下降。
二、研究目的与主要结论
针对上述问题,本文系统研究了雷达-IMU融合与标签高效训练策略,旨在提升可穿戴雷达HGR在头部运动条件下的识别鲁棒性。研究提出了两个核心问题:(1)何种雷达-IMU融合策略最适合可穿戴雷达HGR;(2)恢复鲁棒移动头部性能所需标注的非静态头部数据量是多少。为回答这些问题,研究人员采用受试者不相交的训练/验证/测试划分、等预算比较、部分混合头部标签效率实验、融合策略比较和骨干网络鲁棒性检验等工作流程,提出了将可穿戴雷达观测转换为多普勒感知的运动-XYZ序列的运动域雷达-IMU融合协议,而非直接拼接原始IMU特征。研究结果显示,在相同TCN骨干网络和受试者不相交协议下,所提出的运动域协议在四类手势设定中取得了最优性能,宏F1达85.97%,移动头部宏F1达81.69%,较早期融合提高3.18个百分点,较注意力融合提高5.80个百分点。标签效率实验表明,在非静态头部标签有限的条件下该协议优势更为明显:当非静态标签为0%时,早期融合仅达到23.46%的移动头部宏F1,而所提出协议维持了70.30%。五类设定实验中,运动域协议同样取得了最高的移动头部宏F1和最低的移动误激活率,但误激活问题仍构成实际限制。这些结果表明,物理上有意义的运动域表示比原始IMU拼接或基于注意力的传感器融合更适合可穿戴雷达-IMU HGR。
三、主要关键技术方法
研究采用的数据集包含来自13名受试者的雷达-IMU时间序列CSV文件,每份文件对应一个分段手势试验。四类手势数据集包含6631个样本,五类数据集包含7634个样本,每个序列重采样至40个时间步。雷达传感器采用英飞凌(Infineon)BGT60TR13C 60GHz调频连续波(FMCW)雷达,具备5.0GHz带宽及约3cm标称距离分辨率;IMU采用221e Muse微型多传感器IMU,记录三轴陀螺仪、加速度计和四元数分量。雷达与IMU流在分段试验层面离线对齐。所有实验采用受试者不相交划分,每个折中七名受试者训练、三名验证、三名测试,每个折进行三次不同随机种子的独立训练,最终结果为五个受试者不相交折的均值和标准差。研究评估了多种坐标预处理候选方案,包括固定45°机械倾斜校正、绝对四元数全局坐标系转换、相对首帧参考系转换等,最终将所选笛卡尔描述子转换为包含第一帧中心化位置、位移、位移范数、多普勒、多普勒差分、距离变化和距离差分的多普勒感知运动-XYZ特征序列。所有融合策略均采用相同的TCN骨干网络,包含64通道投影、四个膨胀系数为1、2、4、8的残差Conv1D块和均值-最大值池化,参数量为51,460。
四、研究结果
1. 融合策略比较结果。在相同TCN骨干网络、四类混合预算协议和相同受试者不相交折条件下,对比了仅雷达学习、早期融合、晚期融合、注意力融合和所提出的运动域协议。结果显示仅雷达学习已达到84.79%的准确率和84.86%的宏F1,是强基线;早期融合、晚期融合和注意力融合的宏F1分别为82.68%、83.28%和80.62%,而运动域协议达到85.97%的宏F1和81.69%的移动头部宏F1,在所有评估策略中性能最优。骨干网络鲁棒性检验表明,在GRU、TCN和Transformer骨干下运动域协议均一致优于早期融合,说明结论不依赖于特定网络架构。
2. 标签效率分析结果。在部分混合头部标签实验中,当不使用任何非静态头部标签时,早期融合的移动头部宏F1骤降至23.46%,而运动域协议保持70.30%;当使用10%非静态标签时,运动域协议达79.98%而早期融合为72.55%;当使用全部非静态标签时,运动域协议达83.92%的移动头部宏F1。该实验为所提出协议提供了最强证据,说明仅用静态头部标签训练时,直接拼接IMU特征可能造成性能损害,而运动域表示在训练监督有限时仍保持稳定。
3. 五类误激活分析结果。在包含无手势类别的五类设定中,运动域协议取得最高总体宏F1(75.12%)和最高移动头部宏F1(69.75%),同时将移动误激活率(mFAR)降至49.77%,低于早期融合的55.12%和注意力融合的61.07%,表明运动域表示在抑制头部运动条件下无手势误触发方面具有优势,但49.77%的误激活率仍属实际部署中需解决的限制。
4. 组件消融结果。消融实验显示,运动-XYZ特征较校正极坐标特征提升测试宏F1达4.52个百分点(p=0.026);去除多普勒分量使宏F1下降19.30个百分点(p=0.009);相对首帧IMU校正与原始处理方法相比无显著提升(差异为?0.24个百分点,p=0.861),与仅倾斜校正相比也无显著优势(差异为?2.60个百分点,p=0.161)。这支持了采用多普勒感知笛卡尔运动特征的做法,同时表明当前贡献不在于IMU校正本身,而在于物理上有意义的运动域表示。
五、讨论与结论
讨论部分总结出四点主要观察:其一,核心贡献并非新型神经分类器,而是雷达-IMU融合/训练协议及多普勒感知运动表示;其二,仅雷达已构成强基线,IMU辅助运动域表示的优势应理解为相较朴素融合的鲁棒性提升而非对仅雷达的绝对大幅增益;其三,标签效率是运动域协议最突出的优势,适用于非静态头部标注成本高昂的实际场景;其四,误激活仍是实际应用限制,未来可穿戴接口需结合阈值标定、连续时间平滑或显式无手势建模以减少意外触发。实验结论为:在相同TCN骨干下,运动域协议在仅雷达、早期融合、晚期融合、注意力融合和运动域学习等策略中取得最佳四类性能,宏F1达85.97%,移动头部宏F1达81.69%,较仅雷达的增益适中但对其他融合策略的改善一致;标签效率实验表明当非静态头部标注有限时运动域协议优势显著,0%非静态标签下仍达70.30%的移动头部宏F1而早期融合仅23.46%;五类实验确认了运动域协议的最佳移动头部宏F1和最低移动误激活率。研究最终建议,可穿戴雷达-IMU HGR应优先采用物理上有意义的运动域表示和头部多样性的标签高效训练,而非朴素原始传感器融合或增加模型复杂度。研究局限包括当前数据集均为分段手势样本、未涉及滑动窗口检测、命令级误触发率、延迟和设备端推理时间评估,且依赖机械测量的45°校正而非完整的雷达-IMU外参标定与硬件级同步。