融合惯性传感、柔性传感与电触觉反馈的增强型穿戴式单手控制系统

《Applied Sciences》:Enhanced Wearable Single-Handed Control System Merging Inertial and Flex Sensors with Electrotactile Feedback

【字体: 大 中 小 】 时间:2026年09月27日 来源:Applied Sciences 2.5

编辑推荐:

  摘要专业翻译 许多穿戴式接口解决方案依赖外部计算系统(如计算机)从手势中推断操作意图,这限制了反馈只能通过单一振动触觉或视觉通道实现,且很少报告执行时间或能耗。本文介绍了一种基于Arduino Nano RP2040 Connect器件的穿戴式单手控制系统设计

  
摘要专业翻译 许多穿戴式接口解决方案依赖外部计算系统(如计算机)从手势中推断操作意图,这限制了反馈只能通过单一振动触觉或视觉通道实现,且很少报告执行时间或能耗。本文介绍了一种基于Arduino Nano RP2040 Connect器件的穿戴式单手控制系统设计与实现,该系统集成惯性测量单元(inertial measurement unit,IMU),采用Mahony姿态滤波算法实现精确姿态跟踪,并集成一组压阻式柔性弯曲传感器用于油门映射和基于手势的命令执行。部署于Arduino器件上的TinyML神经网络对手势进行分类。该系统还提供多通道触觉反馈,通过经皮神经电刺激(Transcutaneous Electrical Nerve Stimulation,TENS)电极产生触觉感知。在真实四旋翼飞行器上的操作验证表明,系统可同时实现四轴连续控制、七种离散命令、无线传输及命令确认反馈。嵌入式分类器达到0.935的准确率和0.934的F1分数,仅含1129个参数,平均推理时间为1.415 ms,与最优参考分类器性能相当;完整控制周期低于8.031 ms,感知至传输延迟低于33.1 ms,手套总功耗为443.55 mW。上述结果确立了一个紧凑的多模态可穿戴平台,其控制映射可适配于其他交互应用,如本文所选取用于验证的无人机遥操作场景。

论文解读

一、研究背景与问题

人机接口(human-machine interface,HMI)为远程系统控制提供了灵活输入方式,其形式涵盖虚拟现实面板、增强现实系统、脑机接口及基于主从架构的通用设备。传统接口系统通常依赖计算机进行实时数据处理与分类,但穿戴式HMI则要求将感知、推理、通信与反馈功能集成于用户随身携带的小型设备中。现有智能手套方案存在若干关键局限:其一,多数方案需要外部计算机辅助推理,无法实现完全自主的本地化处理;其二,反馈通道单一,通常仅提供振动触觉或视觉信息;其三,鲜有研究系统报告执行时间与能耗数据;其四,经皮神经电刺激(TENS)触觉反馈在无人机控制手套等创新应用中尚未得到充分探索。此外,无人机遥操作对交互响应提出了严苛要求——稳定控制、命令传输与安全管理必须并发运行,这为穿戴式接口提供了高难度的验证基准。

二、研究内容与结论

研究人员设计并实现了一套自包含的多模态穿戴式遥操作系统,以Arduino Nano RP2040 Connect作为核心处理平台。该系统集成了六轴惯性测量单元(IMU)、四枚压阻式柔性弯曲传感器、Wi-Fi无线通信模块以及十通道电触觉刺激电路,全部运行于单个低功耗微控制器上,无需外部计算机介入。系统实现了双通道交互方案:连续控制通道通过Mahony姿态滤波算法融合加速度计与陀螺仪数据,实时估计手套俯仰、横滚与偏航角,并将食指和中指弯曲量映射为油门值;离散命令通道则利用无名指和小指弯曲量作为输入,由嵌入式TinyML多层感知器(multilayer perceptron,MLP)神经网络分类九种手势姿态,其中七种映射为无人机离散动作命令。电触觉反馈子系统通过高压多路复用器将电流信号路由至手背十路电极,分别对应手掌不同解剖区域,以脉冲串和脉冲序列两种时序模式分别确认离散命令和表征连续控制偏差强度。在真实四旋翼飞行器(Karuisrc K417)上的集成验证表明,系统可同时管理四轴比例控制、七种离散动作与十路电触觉通道。实验测得分类准确率为0.935,F1分数为0.934,与最优参考分类器(径向基函数核支持向量机,RBF-SVM)性能持平,较阈值树和随机森林基线高3.3个百分点;平均推理时间1.415 ms,最坏情况控制周期8.031 ms,低于IMU采样周期9.62 ms;感知至传输延迟上限33.1 ms,离散命令交付延迟455 ms;系统总功耗443.55 mW,由7.4 V、1000 mAh锂聚合物电池供电时最低续航16.5小时。该工作据研究人员所知是首个将上述创新方案集成为自主穿戴式原型的报道。

三、关键技术方法

研究人员采用以下关键技术方法开展研究:选用Arduino Nano RP2040 Connect微控制器(双核ARM Cortex-M0+,133 MHz,264 kB SRAM),经平台对比后因其集成六轴IMU、独立Wi-Fi/BLE协处理器及合适ADC通道而被选中;采用Mahony非线性互补滤波算法在SO(3)群上实现姿态估计,以单位四元数表示避免万向锁问题,并通过比例-积分控制器校正陀螺仪漂移;使用四枚Spectra Symbol压阻式柔性传感器构成电阻分压网络,以几何均值选取固定电阻最大化动态范围;手势识别采用2-40-20-9结构MLP,经scikit-learn网格搜索与五折分层交叉验证选定超参数,数据集由同一操作者在多日内采集,共9类姿态、约460个样本,按80/20分层随机划分训练集(368样本)与测试集(92样本);模型经TensorFlow Lite量化为8位定点格式部署于微控制器;电触觉刺激电路采用MAX5413数字电位器、LMV341运算放大器、BSS87 MOSFET与FCX705 BJT电流镜构成压控电流源,经HV2701高压多路复用器实现十通道选通与极性反转;通信采用无人机自有Wi-Fi接入点的UDP协议,固件直接复现控制包结构。

四、研究结果

刺激电路电气特性表征。 研究人员以负载替代电极测量不同数字电位器设置下的输出电流,实测响应符合预期双曲规律,E-452保护二极管将最大电流限制在3.8 mA。通过变量代换将电流曲线线性化,线性模型在有效工作区间内具有高决定系数,使固件可直接以毫安单位控制刺激强度。
电触觉校准与通道映射。 采用六步标准化流程对操作者进行感知校准:检查皮肤与电极放置、初始化电位器、逐通道递减电阻直至产生清晰舒适感觉、记录检测水平与感知位置、必要时反转极性重复测试、保留产生目标位置感觉的最低舒适设置。单用户校准结果表明,通道2至9采用阳极刺激可可靠投射至目标掌区,通道1(拇指)与通道10(手掌)需阴极刺激,通道4两种极性均有效。该用户平均适宜刺激电流为3.38 mA。
手势分类与基线对比。 在92样本固定测试集上,所选MLP与RBF-SVM取得相同测试误差,准确率0.935、F1分数0.934;k-NN次之(准确率0.924、F1 0.921);阈值树与随机森林均为0.902准确率。四种不同容量MLP配置(参数从1129至18057)在测试集上产生完全相同的预测,表明二维九分类问题的决策边界已由最小候选模型充分解析,因此选用40×20配置以十六分之一参数量达到相同性能上限。所选模型正确分类92个样本中的86个,类别0、1、3、5召回率达1.000,最低召回率为类别6的0.800,类别级F1分数介于0.889至1.000。六处分类错误分布于五条混淆路径,其中2/7双向混淆最明显。命令层面因需五次连续一致预测才发送,孤立错误不会产生命令。
嵌入式执行时间与延迟边界。 在21次运行窗口中测量各处理阶段最大执行时间。MLP平均最大推理时间1.415 ms(范围0.974–2.847 ms),仅占80 ms分类调度周期的3.6%。完整控制周期最坏情况8.031 ms,为IMU采样周期9.62 ms的83.5%,留有1.589 ms裕量。连续感知至传输最坏延迟33.1 ms(8.013 ms测量周期加25 ms传输周期)。离散命令从手势识别到RF传输约455 ms(初始推理80 ms加四次确认推理350 ms加最多25 ms传输等待)。触觉反馈配置周期约10 ms加0.460 ms电子配置时间,不影响系统动态。
功耗评估。 按传感、信号调理、电源管理、系统控制四个模块估算最大功耗。传感模块含IMU与四枚柔性传感器分压网络;信号调理含放大器、数字电位器与晶体管;电源管理含稳压、DC-DC转换器与72 V模拟开关;系统控制含微控制器与Wi-Fi模块(假设传输占空比10%)。总最大功耗443.55 mW,处于其他智能手套报告范围内,7.4 V、1000 mAh电池最低续航16.5小时。
闭环飞行控制演示。 在室内演示中,IMU估计生成连续偏航、俯仰、横滚命令字节,食指与中指弯曲转换为油门值,无名指与小指姿态决定高层命令,实现四比例通道与七种离散动作的并发控制,电触觉信号指示手套识别的命令状态。起飞、降落、方向机动、油门调节与同步连续控制均被观测到,命令与运动响应保持一致。

五、讨论总结与研究结论

讨论部分指出:最大测量周期8.031 ms低于IMU采样间隔9.62 ms,可将测量过程封装于两次连续采样之间;电触觉刺激可独立调节各解剖路径的极性与强度,逐用户、逐次佩戴的校准流程可适应电极位置、接触、皮肤状况与个体敏感性差异,同时保持公共十通道反馈词汇;所选MLP经量化部署后取得与最优参考分类器等效的准确率与F1分数,资源消耗极低。系统在架构上占据独特设计点:既保持了IMU控制器的可用性,又将连续与离散命令集成于单一全便携设备,不依赖沉浸式控制器或外部摄像头。命令映射可在固件层面按应用修改,感知、推理、调度、通信与触觉反馈层保持不变。局限性包括:执行时间预算为平台特定值;仅评估了静态姿态的前馈感知器架构,未纳入时序模型;分类器、电触觉校准与感知映射仅针对单一操作者表征,跨个体变异性尚未研究。
研究结论部分可翻译为:本文展示了一种自主控制设备原型的开发与测试,该设备无需额外计算系统或外部监测验证组件即可从手部动态解释命令。原型由锂聚合物电池供电,包含六轴惯性测量单元、四枚附着于手指的柔性传感器、射频模块及负责测量采集、命令解释与传输管理的RP2040微控制器。设计中包含的触觉反馈电路通过施加于手部适当位置的电流信号向用户传递已识别命令的信息,模拟不同类型的触觉刺激,构成非视觉确认通道。为测试系统灵活性,编码了一套命令集,包括基于手套空间位置(由IMU测量与两枚柔性传感器弯曲决定)的连续响应,以及基于剩余两指位置及其柔性传感器的离散指令集。指令解释由嵌入微控制器的多层感知器人工智能模块提供。性能分析表明,采用TinyML实现的精简MLP模型以极有限的硬件资源和适合所选任务的推理时间,取得与k-NN、SVM等常见技术相近的结果。微控制器固件中所有编码进程的执行时间(包括测量采集、连续命令推理、UDP传输信息包配置等)均小于IMU模块连续读数间的9.62 ms周期,使进程可封装于确定时间段内。为验证器件功能,将其应用于控制无人机行为,所有系统均以包含传感器测量采集、无人机动态运动控制及高层离散命令推理的固件实现,命令经无人机自有Wi-Fi UDP协议发送。命令识别基于确认过程,即在至多455 ms内连续采集五次提供相同推理值的测量,该时长可按目标应用需求调整。手套集成触觉刺激系统提供精确确认刺激,需针对每位用户在刺激强度(信号电流)与手部位置两方面进行校准。上述结果确立了一个灵活的多模态自主平台,其控制映射可适配不同交互应用系统,通过调整编码命令集、命令与刺激信号间的关系以及优化推理用AI模型架构实现。面向终端用户的穿戴式控制设备的未来工作将需要详细的多人特征化与分析。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号