《eScience》:Pressure-labelled tactile perception in robotics enabled by a skin-inspired dual-mode triboelectric sensor and neural networks
编辑推荐:
人工智能使能的生物医学机器人依赖于触觉感知,但触觉传感受到力诱导变异性的限制,该变异性将材料信号与接触压力混合在一起。在此,研究人员介绍了一种建立在仿生触觉传感器(BT传感器)基础上的压力标记触觉智能框架,该传感器具有自供电摩擦电元件和类指尖结构,提供解耦的动
人工智能使能的生物医学机器人依赖于触觉感知,但触觉传感受到力诱导变异性的限制,该变异性将材料信号与接触压力混合在一起。在此,研究人员介绍了一种建立在仿生触觉传感器(BT传感器)基础上的压力标记触觉智能框架,该传感器具有自供电摩擦电元件和类指尖结构,提供解耦的动态触觉和静态压力信息。该传感器集成了基于接触起电和静电感应的快适应(FA)和慢适应(SA)元件,用于同步采集瞬态响应和持续压力信号。串扰抑制解耦电路将摩擦电信号分离为动态和静态分量,使SA输出能够作为压力标记学习的可靠压力参考。在结合物理信息描述符与一维卷积神经网络(1D CNN)的特征增强框架内,压力标记策略在十种材料上实现了99.2%的识别准确率,并将总的跨压力识别率从仅动态传感的50.0%提升至近乎完美的鲁棒性,展示了力诱导变异性的抑制。与机器人机械手集成后,它以100%的准确率识别三维(3D)打印器官模型材料。这些结果在解剖学相关的生物医学模型系统中为压力标记触觉材料识别建立了受控的概念验证。
随着医疗机器人在医疗保健环境中的部署日益增多,触觉感知已成为确保安全、自适应且有效交互的关键要求。人工触觉系统大多局限于低级信号采集,缺乏在接触时感知和解释真实物体物理特性的能力,难以像人类皮肤那样通过触觉主动识别材料。现有柔性触觉传感器在同时实现高灵敏度和快速响应方面面临挑战,且动态触觉和静态压力的传感机制通常不同,导致信息难以有效解耦。为解决力诱导变异性干扰材料识别的问题,研究人员开展了一项关于仿生触觉传感器与深度学习框架的研究。该研究成功构建了压力标记的触觉材料识别系统,在解剖学相关的生物医学模型系统中实现了受控的概念验证。该论文发表在《eScience》期刊上,具有重要的学术意义和应用价值。
研究人员主要采用的关键技术方法包括:受人类指尖结构启发,利用聚酰亚胺(PI)泡沫和尼龙薄膜等摩擦电材料垂直集成制造具有快适应(FA)和慢适应(SA)部分的仿生触觉传感器;设计串扰抑制解耦电路将摩擦电信号分离为动态和静态分量;从同步采集的信号中提取24个物理信息统计描述符并结合一维卷积神经网络(1D CNN)构建特征增强学习框架;使用由树脂、ABS、PLA、EOS、尼龙和热塑性聚氨酯(TPU)等六种材料3D打印的解剖学相同的心脏模型作为样本队列来源进行机器人交互测试。
仿生触觉感知系统设计
通过借鉴人类指尖的关键感知机制,研究人员开发了集成FA和SA部分的垂直堆叠架构的BT传感器。FA部分负责捕获动态接触事件相关的瞬态触觉响应,SA部分选择性地响应持续接触和静态压力。电信号通过独立的采集和解耦电路被提取和处理,通过结合解耦的触觉响应信号与静态压力信息,系统能够借助人工智能算法实现材料类型识别和智能决策。
电路实现动态触觉和静态压力信号解耦
通过施加受控机械激励并利用动态信号调制模块和静态信号调制模块,研究人员将摩擦电信号从FA和SA部分路由至两个独立的处理通道。研究表明,FA部分产生与快速接触和分离事件重合的锐利电压峰值序列,而SA部分产生具有稳定平台的阶跃状电压分布。通过电容反馈网络和整流电荷管理电路,动态瞬态分量与缓慢变化的静态分量被分离到两个时间敏感性不同的同步通道中,为后续材料识别提供了鲁棒的物理基础。
BT传感器的内在感知性能
不依赖电路的内在测量表明,FA部分在接触力增加时表现出峰值幅度的增加,且能针对不同材料产生截然不同的电压幅度和波形特征,编码了材料依赖的交互线索。而SA部分的输出电压随施加压力单调增加,在测量范围内表现出2.12 V·kPa
-1的灵敏度。此外,SA部分在超过7,500次的重复加载循环中表现出稳定的电压输出,为压力校准和监测提供了准确基准。
以压力感知作为内在标签的触觉材料识别
通过电路辅助同步采集,研究人员发现FA信号在编码材料依赖的交互强度和波形特征的同时,其幅度随压力呈现材料依赖的加速、缓慢或近似线性增长趋势。相反,SA通道在所有材料中均保持对施加压力的鲁棒且单调的电压响应,且对材料身份不敏感。这证明了SA输出可以作为稳定的压力参考,用于校准不同材料中的FA触觉响应,从而抑制由接触力变异性带来的干扰。
结合压力标签辅助的特征增强1D CNN触觉材料识别
研究人员构建了结合物理信息描述符与1D CNN的材料识别管道。交叉压力消融研究显示,仅使用动态触觉信号在混合压力条件下的识别准确率仅为50.0%,而引入SA派生的压力标签后,提出的双标签框架准确率达到了99.2%。t-SNE可视化和混叠矩阵证实,压力标签有效地稳定了基于FA的材料判别,最大程度保留了FA信号中已有的判别信息。
3D打印器官模型材料中的压力校准触觉材料识别
针对3D器官打印中打印材料难以通过视觉或几何依赖传感区分的问题,研究人员使用六种不同打印材料制成的心脏模型进行测试。在机器人机械手集成BT传感器进行交互时,FA通道产生显著的材料依赖接触起电模式,而SA通道敏感地追踪施加接触力的微小变化。结果表明,所有样本均被正确分类,获得了100%的总体识别准确率,各类别的精确率、召回率和F1分数均达到1。这证实了该框架在多材料3D打印器官模型感知中的高可靠性。
总结而言,本研究提出了一种建立在自供电摩擦电传感元件基础上的BT传感器,实现了动态触觉和静态压力信号的同步采集。通过将压力信息明确用作监督上下文,该框架有效缓解了FA触觉响应中力诱导的变异性。结合物理信息统计描述符与1D CNN,系统在变化的接触条件下实现了高度鲁棒的材料识别。本研究为未来在更真实生物医学环境中实现材料感知机器人触觉感知提供了受控的概念验证基础。