《Measurement》：Wearable multimodal sensing using piezoelectric micromachined ultrasonic transducer and surface electromyography for hand gesture recognition
编辑推荐：
•为手势识别，研究团队开发了一种可穿戴的PMUT-sEMG框架。•一种25×29尺寸的PMUT探针可用于获取深层肌肉的形态信息。•通过CNN融合模型，12类手势的识别准确率可达93.88%。•多模态融合技术的性能优于仅使用PMUT或仅使用sEMG的检测方式。•该可穿戴人机界面系统
- •
为手势识别，研究团队开发了一种可穿戴的PMUT-sEMG框架。
- •
一种25×29尺寸的PMUT探针可用于获取深层肌肉的形态信息。
- •
通过CNN融合模型，12类手势的识别准确率可达93.88%。
- •
多模态融合技术的性能优于仅使用PMUT或仅使用sEMG的检测方式。
- •
该可穿戴人机界面系统采用了1个PMUT探针和3个sEMG电极。
引言
随着创伤、血管疾病和癌症发病率的上升，全球截肢者数量持续增长，预计到2050年这一数字将高达400万[1]。假肢控制技术是帮助截肢者恢复运动功能的关键技术[2]。然而，目前的控制技术还存在诸多局限，因此亟需实现更流畅的假肢控制，并开发更为先进的控制策略[3][4]。为此，研究人员探索了多种生物信号感知方法[5]。多年来，sEMG因其能够有效捕捉电生理信号，一直被视为监测肌肉活动的核心技术[6][7]。
肌电图信号主要包括肌内肌电图和sEMG两种[8]。与肌内肌电图相比，sEMG具有无创性、适合长期佩戴以及使用更为便捷等优点[9][10]。sEMG技术是通过在皮肤上放置导电电极来检测肌肉收缩时产生的生物电信号，这些信号随后会经过信号处理电路处理并进行分析[11]。不过，sEMG通常只能捕捉表层肌肉的电生理信号，而精细的手指动作往往需要获取深层肌肉组织的信号。因此，缺乏深层肌肉信息会降低sEMG在识别精细手势时的性能。此外，sEMG还容易受到邻近肌肉的干扰，进一步影响信号的准确性[12]。相比之下，超声波是一种安全且分辨率较高的感知技术，能够探测深层肌肉组织，并提供与肌电图信号互补的肌肉形态信息[13][14][15][16]。
目前基于超声波的手势识别技术主要依赖A模式和B模式超声波。Lee等人[17]利用B模式超声成像视频高精度地识别了9种手指动作，其平均分类准确率约为95.64%，F1值约为0.9563。Chen等人[18]也采用B模式超声波进行手势识别，在离线、准实时以及实时场景下均取得了较高准确率。Liu等人[19]基于前臂B模式超声图像建立了手势数据库和标准化采集流程，其识别准确率为90%。He等人[20]则开发了一套基于前臂B模式超声图像序列的实时人机界面系统，用于手指动作识别。在线实验表明，该系统在选择时间、完成时间、完成率和实时准确率等指标上均满足假肢控制的实时要求。此外，他们还分析了该系统在肌肉疲劳和不同力量水平下的稳定性。尽管B模式方法具有较高的识别性能，但它们通常需要处理大量数据，计算成本较高，且不太适合长期佩戴使用。
与之相比，传统的AUS技术能够在保持较高准确率的同时减少数据量和计算负担[21]。Guo等人[22]设计了一种基于AUS的手势识别系统，该系统使用了4个A模式探针（四通道配置），不仅实现了较高的平均识别准确率，还能区分已知手势和未知手势（已知手势的识别准确率为91.2%，未知手势为81.8%）。Shangguan等人[23]则利用4个探针采集的前臂AUS信号，通过Gramian Angular Fields方法将一维信号转换为二维表示，再训练轻量级的LPA-CNN模型，从而在降低模型复杂度和计算负担的同时保持了较高的识别准确率。尽管这些研究结果令人鼓舞，但传统的A模式系统往往需要多个探针，而且传统超声换能器体积较大、重量较重，这限制了它们被用于长期佩戴。
Qu等人[24]设计了一种23×26尺寸的PMUT阵列（重量约1.8克，无需耦合凝胶），并利用判别分析、朴素贝叶斯和随机森林等经典分类器识别12种手势，取得了较高的准确率。此外，Qu等人[25]还结合PMUT阵列以及峰值位置和均值标准差特征与随机森林分类器，同时实现了11种手势的识别，并能估算肌肉力量，其准确率和稳定性都很高。这些基于PMUT的可穿戴超声技术不仅能够实现高精度的手势识别，还为微型化、轻量化的肌肉监测超声传感器的发展奠定了基础。而且，PMUT探针可以在微电机械系统平台上大规模制造，功耗较低且成本可控，因此非常适合用于长期佩戴式的感知应用。
然而，仅依靠基于PMUT的AUS感知技术进行手势识别也存在一些挑战：一方面，虽然AUS能够实现较高的解码准确率，但其信号对耦合压力和换能器放置位置的变化十分敏感，这就要求在不同受试者之间的实验动作标准化程度非常高。另一方面，A模式信号虽然能够提供有关肌肉形态的空间信息，即回声幅度随深度的变化情况，但却缺乏详细的时间特征。将A模式信号和sEMG信号相结合，就可以充分利用时空信息、表层和深层肌肉信息、肌肉形态特征以及生物电活动，这种多层面的互补作用有望提升识别性能。因此，与仅使用超声波的方法相比，结合AUS和sEMG信号可以提高感知的可靠性、稳定性以及长期使用的稳定性。关于PMUT-sEMG信号融合及相关多模态融合技术在人机界面中的应用优势，已有相关研究报道。例如，Yang等人[14]将sEMG与AUS相结合，既发挥了AUS在手势识别和离散力量估算方面的优势，又利用了sEMG在连续力量估算方面的优点，从而实现了更高效的比例多类手势控制。Liu等人[26]则将AUS视为“教师”模块，通过跨模态知识将知识传递给sEMG“学生”模型。
通过使用KL散度作为蒸馏损失函数，实现了特征蒸馏（CMKD），这样在测试时只需依赖更可靠的sEMG模块，就能在不增加模型复杂度的情况下显著提升手势识别准确率。此外，Liu等人[27]还在sEMG和AUS之间进行了中间层特征融合，利用二者之间的互补信息，将手势识别平均准确率提升到了94.14%，相比单独使用任一模块的准确率提升了3.80%以上。Zhang等人[28]则在统一的优化框架中共同建模了不同模块之间的关联性和互补性，从而获得了更具区分度的融合特征表示，其在独立于特定受试者的任务中的准确率和F1值都高于单一模块或其他融合方法。Fang等人[29]则总结了多种多模态感知融合方法（如肌电图与加速度计结合、肌电图与近红外光谱结合、脑电图与肌电图结合等），指出互补的信号组合在手势/手部动作识别方面的准确率始终高于单一模块。不过，基于PMUT探针的多模态感知技术在人机界面领域仍相对较少被研究。正是出于这一不足，本研究致力于探索PMUT和sEMG信号的多模态融合在手势识别中的应用。
为弥补这一不足，本研究提出了一种可穿戴的多模态感知框架，该框架将定制设计的基于PMUT的A模式超声探针与sEMG感知技术相结合，用于手势识别。这款PMUT探针采用了25×29尺寸的阵列，经过特殊设计后适合佩戴使用，能够便捷地获取深层肌肉的形态信息。与此同时，sEMG则可以提供有关表层肌肉活动的时间信息。通过结合这两种感知技术，该框架能够充分利用形态学信息和电生理信息来对手势进行特征描述。基于这种感知配置，我们开发了一个基于CNN的融合框架，用于12类手势识别，并利用多名受试者收集的数据对其性能进行了评估。此外，还将所提出的方法与几种传统的机器学习方法在仅使用PMUT、仅使用sEMG以及多模态融合的不同场景下进行了对比。实验结果表明，多模态融合在提升识别性能方面始终优于单独使用任一模块的情况。另外，所提出的系统仅需1个PMUT探针和3个sEMG电极，减少了感知通道的数量，提升了可穿戴系统的实用性。这些结果充分展现了PMUT-sEMG多模态感知技术在手势识别及相关可穿戴人机界面应用中的巨大潜力。
章节摘要
方法与实验
本节详细介绍了实验方法。如图1(a)所示，实验装置由三个商用sEMG传感器（武汉青州源景科技有限公司出品）以及我们团队开发的PMUT探针组成。所记录的肌电图信号和超声信号会经过处理并通过算法分类，从而确定相应的手臂动作，如图1(b)和(c)所示。这种方法在图1(d)中列出的多种应用场景中都具有应用前景。
传统机器学习方法分析
如图11和图12所示，通过对sEMG和AUS特征进行主成分分析，可以了解它们的有效维度以及冗余程度。对于sEMG而言，分别需要17个和26个主成分才能使累积解释方差比达到0.90和0.95。而AUS仅需6个和8个主成分即可达到相同的阈值。这一结果说明，AUS特征的方差集中在更少数量的主成分上。
结论
在本研究中，我们提出了一种可穿戴的多模态感知框架，该框架将定制设计的PMUT探针与3个sEMG电极相结合，用于手势识别。这款PMUT探针体积小巧，适合佩戴使用，同时还能实现深层肌肉形态变化的A模式超声检测。而sEMG则能够反映表层肌肉的活动情况。因此，将这两种感知技术结合起来，就可以为手势特征描述提供互补的信息。我们
CRediT作者贡献说明
Wenhe Yang：文章撰写——审阅与编辑、文章撰写——初稿撰写、验证、软件开发、项目管理、方法设计、实验研究、正式分析、数据整理、概念构思。Ziwen Tang：文章撰写——审阅与编辑、验证、实验研究。Ke Zhu：概念构思、验证。Guichuan Zhou：文章撰写——审阅与编辑、验证、数据整理。Jin Xie：文章撰写——审阅与编辑、研究指导、资源协调、资金获取。
利益冲突声明
作者声明，他们不存在任何可能影响本文研究成果的已知财务利益或个人关系。
致谢
本研究得到了“中国国家自然科学基金（52575676）”以及“浙江省自然科学基金（LZ24E050002）”的支持。（通讯作者：Jin Xie，邮箱：xiejin@zju.edu.cn）
Wenhe Yang|Ziwen Tang|Ke Zhu|Guichuan Zhou|Jin Xie
