基于视觉的手部阴影识别技术在机器人操控中的应用——通过逆运动学实现

《IEEE Access》：Vision-Based Hand Shadowing for Robotic Manipulation via Inverse Kinematics

　　

摘要：

由于将人类手部动作重新映射到机器人关节指令的难度较大，低成本机器人操作器的远程操控仍然具有挑战性。我们提出了一种离线手部阴影逆运动学（IK）重定向流程，该流程由安装在3D打印眼镜上的单台以自我为中心的RGB-D相机驱动。该流程使用MediaPipe Hands检测每只手的21个手部特征点，通过深度感应将其投影到3D空间中，然后转换到机器人坐标系中，并解决一个阻尼最小二乘法（damped-least-squares）IK问题，以生成SO-ARM101机器人（5个臂+1个夹持器关节）的关节指令。夹持器控制器通过多级回退层次结构将拇指和食指的几何形状映射到抓取开口。在物理机器人上重新执行之前，会在物理模拟中预览这些动作。我们在一个结构化的拾放基准测试中评估了该流程（5个瓷砖网格，每个瓷砖10次抓取，3次独立运行），实现了86.7% ± 4.2%的成功率，并将其与四种基于视觉-语言-动作（VLA）的策略（ACT、SmolVLA、π0.5、GR00T N1.5）进行了比较，这些策略是在领导者-跟随者远程操控数据上训练的。我们提供了该流程的定量误差分析，报告平均IK位置误差为36.4毫米，轨迹平滑度指标显示与EMA平滑处理相比抖动减少了57-68%，并对平滑参数进行了消融研究。我们还在非结构化的真实世界环境中（杂货店、药店）测试了该流程，发现由于手部被周围物体遮挡，成功率降低到了9.3%。为了解决这个问题，我们集成了WiLoR作为替代的手部检测器，使得手部检测率相比MediaPipe提高了8%，这突显了无标记分析重定向方法的前景和当前局限性。