基于数据手套(Data Glove)的拼图求解辅助系统的开发与评估

《Sensors》:Development and Evaluation of a Data Glove-Based System for Assisting Puzzle Solving Shashank Srikanth Bharadwaj, Kazuma Sato and Lei Jing

【字体: 大 中 小 】 时间:2026年04月13日 来源:Sensors 3.5

编辑推荐:

  许多实操任务因需要人类灵活性与灵活的物体处理而难以完全自动化。数据手套(Data Glove)为感知手-物交互提供了前景广阔的接口,但此前大多数系统侧重于手势识别或物体分类,而非闭环、逐步的任务引导。在这项工作中,研究人员开发并评估了一个使用电子纺织(e-te

  
许多实操任务因需要人类灵活性与灵活的物体处理而难以完全自动化。数据手套(Data Glove)为感知手-物交互提供了前景广阔的接口,但此前大多数系统侧重于手势识别或物体分类,而非闭环、逐步的任务引导。在这项工作中,研究人员开发并评估了一个使用电子纺织(e-textile)数据手套(含88个压力传感器)、用于放置验证的触觉压力板(tactile pressure sheet)以及提供逐步指令的图形用户界面(GUI)的触觉传感操作支持系统。作为一个核心组件,卷积神经网络(CNN)利用从五名参与者收集的16,175个训练样本,以93.3%的准确率将抓握状态分类为空手或四个圆盘之一。在将汉诺塔(Tower of Hanoi)任务作为多步骤操作的控制代理的用户研究中,该系统使平均解题时间减少了51.5%(从242.6秒降至117.8秒),减少了圆盘移动次数(从35.4次降至15次,平均减少约20次移动),并降低了感知工作量(NASA-TLX)53.1%(从68.5降至32.1),同时取得了75的SUS(System Usability Scale)得分。这些结果证明了在受控的多步骤任务中基于触觉的步骤验证与引导的可行性;更广泛的泛化需要更多样化的参与者群体和任务的评估。
论文解读:基于数据手套的触觉操作支持系统在多步骤操控任务中的研究
研究背景与意义
许多涉及双手操作的任务(如装配、检修、包装等)因需要人类的适应能力、精细操作以及在非标准情境下的情境判断,难以被完全自动化。虽然基于人工智能(AI)的系统在数字转型、智能制造及故障诊断等领域表现强劲,但完全自动化的部署常受限于环境特异性的多变性及专用设备的成本。因此,支持人类操作者而非取代他们的方案,在多步骤操控任务中仍然十分重要。
可穿戴传感技术为此提供了互补途径。其中,数据手套(Data Glove)因能捕捉手部姿态、手指运动及触觉交互而备受关注,通常集成了触觉传感器、弯曲传感器或惯性测量单元(IMU),并被应用于手势识别、物体识别及虚拟现实(VR)控制等领域。然而,大多数现有数据手套系统主要作为测量设备运行,较少探讨如何利用数据手套提供实时的程序性任务引导与验证。此外,常用的基于智能眼镜和扩展现实(XR)的操作支持系统虽能提供视觉叠加和指令,但易受遮挡、盲区和光照条件影响,且依赖可靠的摄像头布局。相比之下,触觉和可穿戴传感器系统通过直接检测手-物交互,避免了这些局限,适用于视觉感知不可靠的任务。
基于此,研究人员以汉诺塔(Tower of Hanoi)拼图作为受控的多步骤操控代理任务,开发了一套基于电子纺织(e-textile)触觉数据手套的操作支持系统,旨在实现闭环的步骤验证与程序引导,并评估其效能。该论文发表于《Sensors》期刊。
主要关键技术方法
研究人员构建了一个操作支持系统,核心硬件包括一只集成88个压力传感器的电子纺织(e-textile)数据手套(80个位于手掌区域以捕捉圆盘支撑与运输时的压力分布,8个位于手指区域以检测抓握启动时的接触线索)和一块置于拼图支架下方的触觉压力板(tactile pressure sheet)。软件层面采用卷积神经网络(CNN)作为核心分类器,将手套捕捉的瞬时压力分布分为空手及4种不同尺寸的圆盘(共5类);数据经去噪(减去平均无圆盘抓握压力图以突出圆盘接触区域)、归一化后输入CNN。系统通过图形用户界面(GUI)提供逐步指令、视觉动画及实时反馈,并联合分析手套与压力板数据以验证每一步移动是否符合最优序列。用户研究采用被试内设计(n=5),对比基线组(无辅助解决汉诺塔)与支持组(使用该系统),客观指标为解题时间与圆盘移动次数,主观指标为NASA-TLX工作量问卷与SUS可用性量表。
研究结果
  1. 1.
    引言(Introduction)
    研究人员指出多步骤实操任务难以完全自动化,数据手套与视觉引导系统各有局限,进而提出利用触觉传感实现交互式任务辅助的动机,并明确以汉诺塔为受控代理任务,目标不是超越传统键盘输入解谜,而是评估在受控条件下面向“手忙”多步骤操控的闭环引导与验证流程。
  2. 2.
    相关研究(Related Work)
    研究人员综述了数据手套与触觉传感(多聚焦于手势/物体识别,少有主动逐步任务支持与动作验证)、基于智能眼镜与XR的操作支持(易受热照、遮挡与光照限制)的代表性研究,总结了现有差距:重识别轻引导、依赖视觉、缺乏多模态接触信息结合的闭环验证,从而引出本研究设计——结合手套触觉抓握状态识别与压力板放置验证通道,嵌入闭环GUI以引导确定性多步骤任务。
  3. 3.
    系统描述(System Description)
    研究人员描述了电子纺织触觉数据手套的构造(两层导电织物夹可压缩电阻材料,压力增大电阻减小,88个传感器分布于手掌与手指)、力-电阻特性(单调下降,存在制造公差带来的偏移与斜率差异)、以及手套与压力板的 fabrication 流程(导电线刺绣、电阻织物层压、热粘合与电子集成)。任务环境为汉诺塔(3根柱,n个圆盘,最优解需2n-1步)。系统架构整合触觉数据手套、压力板、CNN物体分类器与实时任务引导界面;GUI提供逐步指令、视觉线索、圆盘动画及错误移动通知,流程涵盖圆盘检测、分类、用户动作验证与指令生成。
  4. 4.
    方法(Methods)
    研究人员以10 Hz采样手套数据,通过Wi-Fi使用UDP传输至PC存为CSV;为物体识别数据集,参与者抓握4种尺寸圆盘与空手姿态,共收集16,175个训练样本(5人)与569个测试样本(1人隔日录制)。数据处理包括计算无圆盘抓握的平均压力图,并从含圆盘的原始压力图中减去该图以去噪,随后逐帧归一化至[0,1]并重塑为匹配物理布局的2D网格,作为CNN输入。标注依靠同步视频与压力图回放划分稳定抓握区间并指派类别,模糊片段被排除。
  5. 5.
    基于CNN的触觉物体识别(CNN-Based Tactile Object Recognition)
    研究人员将每帧触觉数据转为单通道灰度2D压力图(尺寸H×W),输入CNN。网络含3个卷积块(分别为32/64/128个3×3滤波器,含批归一化、ReLU与2×2最大池化),随后2个全连接层(256单元带ReLU与dropout 0.5,以及5单元加softmax)。训练采用交叉熵损失、Adam优化器(初始学习率1×10-3,batch size 64,权重衰减,验证损失停滞时降低学习率,最多100 epoch,选最低验证损失模型)。独立测试集上CNN准确率为93.3%;混淆矩阵显示错误主要集中在触觉接触模式相似的中上部与中下部圆盘,但不影响引导流程中的实时验证可靠性。与kNN、SVM等基线相比,CNN在该任务上更具判别性。
  6. 6.
    实验与结果(Experiments and Results)
    在四圆盘汉诺塔(最优15步)的被试内实验中:支持组平均解题时间由基线242.6 s降至117.8 s(减少51.5%);圆盘移动次数由平均35.4次降至15次(减少约20.4次,即57.6%,接近最优);NASA-TLX总分由68.5降至32.1(减少53.1%),且在心理需求与挫败感等子维度上下降明显;SUS得分为75,表明良好可用性。结果在受控代理任务中一致,但因参与者少(n=5)应视为趋势性指示。
  7. 7.
    讨论(Discussion)
    研究人员认为93.3%的识别准确率足以支撑稳定实时运行,中上部与中下部圆盘的偶发误分类在受控设置中不显著损害可用性;去噪策略有助于突出圆盘特定接触模式。触觉传感直接捕捉手-物接口交互,规避了基于视觉系统的遮挡与光照问题,并实现抓握与放置事件的闭环验证,从而支持逐步程序引导。系统通过防止无效动作与提供正确进展确认,减少了错误驱动的回溯与犹豫,使参与者更接近最优序列,但系统并非取代人类执行,而是作为程序性脚手架降低不确定性。NASA-TLX降幅主要体现在心理需求与挫败感,符合系统承担规则检查与步骤验证的负荷卸载;SUS 75反映良好可用性。该概念可迁移至装配、检验、包装等需正确序列且错误成本高的“手忙”多步骤流程,但需针对具体任务验证。局限包括参与者少、学习效应、识别泛化主要评估已知用户的日间重复性而非跨用户泛化、部分圆盘类别人造触觉特征重叠、汉诺塔为确定性最优解的受控代理而非真实操作任务多变性、手套制造与校准需求及长期耐用性/舒适性/漂移未评估。未来工作将扩大参与者多样性与跨用户评估(如留一受试者交叉验证)、融合IMU等多模态以提升模糊抓握鲁棒性、拓展至领域特定多步骤程序(如装配/检验)并改进手套布局与人体工学及长期稳定性。
  8. 8.
    结论(Conclusions)
    研究人员得出结论:该触觉数据手套操作支持系统(集成88压力传感器电子纺织手套、放置验证触觉压力板、CNN分类器与实时逐步指令GUI)在受控多步骤操控代理任务(汉诺塔)中可行。CNN在隔日测试集上达93.3%识别准确率;用户研究中解题时间由242.6 s降至117.8 s(51.5%),移动次数由35.4降至15(约20次,接近最优15次),NASA-TLX由68.5降至32.1(53.1%),SUS为75。结果表明在视觉方法受限(遮挡/光照)场景中,基于触觉的步骤验证与引导具备潜力;但更广泛泛化需更大更多样参与者群体、受试者无关识别测试及超越汉诺塔的任务验证。后续将聚焦跨用户泛化、手套鲁棒性与人体工学改进、以及引导框架向领域特定多步骤程序的拓展。
需要我帮你整理出这篇论文中用到的CNN网络结构参数与实验量化指标的明细吗?
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号