基于用户通用超声人机接口的手腕与手部追踪虚拟现实交互新突破

《Nature Communications》：Virtual reality interactions via a user-generic ultrasound human-machine interface for wrist and hand tracking

本研究针对传统VR控制器在沉浸式体验中的局限性，开发了一种易于佩戴的干接触式便携超声臂环，通过深度学习模型从超声信号预测手部运动学参数。研究通过大规模数据集训练、数据增强策略和中性位参考方法，实现了跨会话、跨用户的精准手势预测，并在实时VR控制框架中验证了其可行性。这项工作展示了超声技术作为VR接口的强大性能、鲁棒性和泛化潜力，为下一代人机交互技术提供了新思路。

　　

随着计算机从桌面屏幕转向眼镜设备，键盘和鼠标等传统控制器已显得不切实际。理想的沉浸式体验控制接口需在保持便携、精准和鲁棒的同时，将用户的意图无缝地从现实世界传递到虚拟世界。目前，基于光学系统、传感手套和腕部臂环的人机接口（HMI）虽各有优势，但均存在明显局限：光学系统易受遮挡影响且成本高昂；传感手套性能不稳定且存在传感器漂移；表面肌电（sEMG）技术在运动捕捉中面临信号深度浅、空间分辨率低、肌肉疲劳和信号漂移等挑战。

在此背景下，超声（US）技术作为一种替代信号源备受关注。它能够提取用户肢体的形态学信息，通过跟踪肌肉、骨骼等结构的变化来映射关节角度。然而，传统的显式形态跟踪方法在无约束运动场景中难以实用，因为肌肉变形复杂且目标结构易离开成像平面。为此，数据驱动的机器学习算法成为解决这一问题的有效途径。

在这项发表于《Nature Communications》的研究中，Bruno Grandi Sgambato等研究人员开发了一种易于佩戴的干接触式硅基A模式超声臂环，作为虚拟现实控制器用于预测手部和手腕运动学。研究团队收集了大规模的超声与手部运动学配对数据集，并利用监督式深度学习模型从超声信号中预测手部运动学参数。他们深入探讨了会话内、跨会话和跨用户的数据偏移对模型性能的影响，提出了数据调理、增强策略及参考方法，以减轻混杂因素的影响，并在无需微调的情况下实现对新用户手部运动学的准确预测。最后，团队在一个实时虚拟现实控制框架中验证了该接口的可行性，参与者使用开发的超声接口成功完成了具有模拟接触物理的复杂交互任务。

研究采用了几项关键技术方法：开发了模块化A模式超声臂环，使用硅胶弹性体作为耦合层；通过光学运动捕捉系统（Vicon）同步记录手腕和手部运动学数据；提出了基于卷积神经网络（ConvNeXt）的模型架构，并引入了针对A模式图像的数据增强策略；创新性地采用了中性位参考方法，将参考样本与目标样本共同输入模型以提高跨用户泛化能力；在Unity引擎中集成MuJoCo物理引擎构建VR测试环境，通过Leap Motion光学系统进行对比验证。

干式分布式传感器臂环设计

研究人员设计了一种由3D打印传感器支架通过弹性绳连接的模块化A模式超声臂环，可适应21.8-31.6厘米的臂围变化。每个支架支持一对压电换能器，形成两组平行的16单元换能器阵列。采用硅胶弹性体作为换能器与皮肤间的耦合层，通过直接固化在传感器上形成稳定界面，避免了传统超声凝胶易干燥的问题。与凝胶耦合臂环需5分钟佩戴时间相比，硅胶臂环佩戴时间缩短至1分钟以内，且单次封装可持续使用数月。

会话内泛化性能

10名参与者进行了两次数据采集会话，产生了约144分钟的配对US和手部运动学数据（总计约24小时，110万样本），覆盖三个手腕自由度（屈伸、桡尺偏斜、旋前旋后）和一个手部自由度（手指开合）。通过比较三种模型（基线模型、卷积模型、卷积+数据增强模型）在不同数据偏移组（同数据集、功能组、位置组、旋转组、会话组）的表现，发现带数据增强的卷积模型在旋转组和会话组的表现显著提升，手指开合和旋前旋后自由度的R2值均超过0.9。多接收策略形成的A模式图像比单接收策略表现更优（图3B）。位置偏移的泛化最具挑战性，在训练边界外推时性能明显下降（图3C）。

跨用户泛化能力

通过多用户模型训练，研究发现跨会话性能随训练用户数增加无显著变化，而跨用户泛化性能从1个用户时的中位R2 0.22提升至9个用户时的0.52（图4a）。对于表现最佳的两个自由度，9用户模型的跨用户与跨会话评估R2差值仅为0.11，表明强大的跨用户泛化能力。中性位参考方法的引入进一步提升了跨用户性能，其效果相当于在训练数据中增加8个新用户（图4c-f）。

虚拟现实控制器验证

在离线实验数月后，16名参与者（8名原有参与者+8名新参与者）在VR环境中使用超声接口控制虚拟手完成五项交互任务。无需数据收集或模型微调，超声系统与Leap Motion光学系统的预测结果显示，旋前旋后和手指开合自由度高度相关（图5b），屈伸自由度相关性中等且变异较大，桡尺偏斜相关性较低。即使在有限工作空间内，光学系统也有3%的帧无法定位手部，缺失预测比例最高达12%。

研究结论表明，超声基A模式臂环结合深度学习模型能够实现对手腕和手部运动学的鲁棒跟踪，在跨会话、跨用户场景下保持稳定性能。通过数据增强和参考策略有效缓解了传感器位移、旋转等引起的分布偏移问题。实时VR验证证实了该接口在复杂交互任务中的实用性，为扩展现实（XR）设备提供了新型人机交互解决方案。该技术的成功开发为可穿戴超声接口的实际应用奠定了坚实基础，展示了超声在下一代人机交互中的巨大潜力。

研究的局限性包括桡尺偏斜自由度性能较差，可能源于传感器位置、数量或中心频率的限制；数据集规模虽优于以往超声研究，但较其他领域仍偏小；当前系统依赖外部光学系统提供参考框架，未来需探索基于用户视野的自我中心参考方案。此外，完全可穿戴电子设备的集成将是下一步研究重点。