MT-Grasp：面向物体堆叠场景的多任务机器人抓取方法

《IEEE Transactions on Materials for Electron Devices》：MT-Grasp: A Multitask Robot Grasping Method for Object Stacking Scenarios

　　摘要：准确感知物体抓取姿态和操作关系对于堆叠场景中的机器人抓取来说既具挑战性又至关重要。为应对这一挑战，我们提出了MT-Grasp，一种面向堆叠物体场景的统一多任务抓取框架。在单个网络中，MT-Grasp联合执行物体检测、抓取检测和操作关系推理。首先，为充分提取堆叠场景中的外观和几何信息，我们设计了一种高效的全流程双向特征融合骨干网络，称为BFFB-Net。其次，我们为BFFB-Net引入了一种量身定制的双向融合模块（BFM）。BFM在两种模态之间建立了双向信息传递机制，使外观特征和几何特征在不同层次上能够持续交互和互补。最后，BFFB-Net生成的特征图分别作为物体检测和抓取检测分支的输入。对于操作关系推理，BFFB-Net的输出特征与物体边界框信息相结合，以预测最佳操作关系树。在Cornell、Jacquard和视觉操作关系数据集（VMRD）上的大量实验表明，MT-Grasp分别实现了99.4%、96.8%和92.3%的抓取准确率。在真实世界的抓取实验中，MT-Grasp的总体成功率达到86.7%，进一步证明了所提方法的可靠性。