面向未知物体的交互式视觉与指令融合抓取方法VIG-Un

《Machines》：VIG-Un: An Interactive Vision and Instruction Grasping for Unknown Objects

　　尽管各种灵巧抓取技术不断发展，但机器人仍难以根据人类提供的图像或语音输入成功抓取未知物体。挑战在于缺乏有效的机制来整合来自人类交互的视觉信息和指令信息，并随后将该整合结果与传感器在真实场景中捕获的未知物体进行关联。为应对这一挑战，本文提出了一种针对未知物体的交互式视觉与指令抓取方法（VIG-Un）。所提出的VIG-Un为用户提供三种通信模式：视觉交互、指令交互以及视觉-指令结合交互。在基于视觉的模式中，ARUCO标记板作为物体检测的输入样本，为准确的物体定位提供可靠的视觉参考。在指令模式中，我们引入了语义感知图像生成分支（SAIGB），该分支根据文本指令生成相关图像，从而在抓取任务中实现语义理解。随后，VIG-Un利用基于深度孪生网络（DSN）的少样本物体检测方法，减少了对视觉微调的依赖，并显著增强了机器人在抓取操作期间的灵活性和适应性。在与YOLO-World和RT-1等最先进方法的基准实验评估中，VIG-Un框架在典型室内环境下的物体抓取任务中，实现了比这些竞争方法更高的物体检测准确率和抓取成功率，同时保持可接受的执行效率，证明了其有效性和鲁棒性。