利用基于视觉的触觉传感器实现独立间接刀具力估计

《IEEE Robotics and Automation Letters》：Grasp Independent Indirect Tool Force Estimation Using Vision-Based Tactile Sensors

人类通过整合工具到身体 schema 实现精准适应性环境交互，但机器人工具使用仍缺乏间接力估计能力。本文提出基于视觉触觉传感（VTS）与深度学习的间接力估计方法，通过捕捉高精度触觉图像形变隐式推断力传递动态，无需工具属性或材料特性知识。实验验证该模型对多类型工具的泛化能力，为机器人提供更灵巧的工具使用路径。

　　

摘要：

人类具备将工具无缝整合到自身感知框架中的能力，从而能够与环境进行精确且灵活的互动。这种基于触觉的交互方式使我们在日常任务中能够熟练使用工具，而这是当前机器人系统所缺乏的。在这项研究中，我们提出了一种用于机器人工具使用中的间接力估计的新方法，这是实现高级工具使用的前提。该方法利用基于视觉的触觉感知（VTS）和深度学习技术，通过捕捉触觉图像中的高分辨率空间变形来间接推断力的传递过程，而无需明确了解工具的属性或材料特性。我们使用一个训练好的机器学习模型对多种类型的工具进行了验证，证明了其泛化能力。这项工作首次展示了工具介导的机器人交互中的间接力估计技术，为在现实世界应用中实现更加灵活和适应性强的机器人工具使用开辟了新的途径。

引言

在所有生物中，人类在有效使用手持工具方面展现了无与伦比的能力，这使我们能够扩展身体的功能和范围。这种卓越的技能使我们能够与环境进行复杂的互动，从日常的实用任务（如书写、切割和擦拭）到专业活动（如绘画、缝纫和外科手术等）[1]。与需要直接接触和简单动力学的普通操作任务（如抓取、移动和排列）相比，研究表明，在使用工具的过程中，大脑会将外部工具整合到自身的感知框架中，将其视为身体的延伸部分[2]。这种整合提高了精确度和空间感知能力，使我们能够更有效地与环境互动。例如，当视障人士使用拐杖探查地面时，拐杖尖端感受到的振动和阻力会传递到手中，使用户能够“感知”到超出其物理范围的地表情况。这种感知扩展依赖于神经适应和触觉反馈，其中机械感受器将触觉信号传递给体感神经元进行解读[3]，从而使大脑能够将工具介导的感觉视为身体的一部分，实现无缝且直观的工具使用。