基于深度学习与几何特征提取的杂乱箱体中可变形禽腿实时六自由度抓取研究

为解决食品工业中可变形自然产品（如禽类腿）在杂乱环境下的机器人抓取难题，研究人员开发了一种结合实例分割、关键点检测和6-DoF抓取位姿估计的统一框架。通过最大曲率法和凸包法生成候选抓取点，并利用2D关键点投影实现3D抓取定位，最终在真实机器人平台上实现简单场景93.8%、杂乱场景75%的成功率。该研究为食品加工业自动化提供了创新解决方案。

　　

在食品加工行业，禽类腿的自动化分拣一直是亟待解决的难题。这些天然产品形状不规则、质地柔软易变形，在箱体中杂乱堆放时会产生复杂的相互作用。传统基于质心或主轴方向的抓取方法对此类物体效果不佳，而现有基于卷积神经网络(CNN)的模型多针对刚性物体设计，难以适应变形体的特性。更棘手的是，工业场景要求实时处理能力，但点云计算方法又存在计算成本高的问题。这些挑战严重制约了禽肉加工业的自动化进程。

针对这一系列问题，国外研究团队开发了创新的实时抓取算法。该研究通过整合Mask R-CNN实例分割、关键点检测和稳定六自由度(6-DoF)抓取位姿估计，构建了统一处理框架。系统首先利用深度学习识别目标物体，再通过椭圆傅里叶描述符(EFD)参数化轮廓，结合曲率最大化和凸包两种方法生成候选抓取点，最后通过关键点投影实现3D位姿估计。研究成果发表在《Biosystems Engineering》上，为食品加工自动化提供了重要技术突破。

关键技术方法包括：1)基于Mask R-CNN的实例分割和关键点检测；2)椭圆傅里叶描述符(EFD)轮廓参数化；3)曲率最大化和凸包法生成候选抓取点；4)2D关键点向深度图像投影实现3D定位；5)基于力闭合(FC)的抓取稳定性评估。实验使用ABB IRB 1200机械臂和Festo Fin-Ray夹爪，在包含417张图像的定制数据集上进行验证。

<2.5.1. Instance segmentation and keypoint estimation>部分显示，Mask R-CNN模型在简单场景下实现91.7%的掩码mAP，但在复杂场景降至64.7%，说明遮挡对检测精度影响显著。关键点检测在简单场景达到96.9%准确率，验证了算法的基本有效性。

<2.5.3. Grasp points generation>部分对比了两种抓取点生成方法。曲率最大化法在简单场景仅22.9%占优，而凸包法在77.1%情况下表现更好，这得益于其更稳定的几何特性。图16直观展示了两种方法的差异，凸包法(红点)更接近物体中心区域。

<3.3.1. Experimental results for grasp pose estimation>显示，算法整体抓取位姿估计成功率达83.3%，排除检测错误后提升至93.7%。在真实机器人测试中，简单场景成功率93.8%，复杂场景75%，证实了方法的实用性。

<4. Discussion>部分指出当前局限：1)关键点检测精度直接影响抓取效果；2)旋转分量仅依赖拟合平面可能不够精确；3)两点接触假设限制了抓取策略多样性。未来可通过多视角成像、概率关键点选择和柔性夹爪设计进一步提升性能。

这项研究的重要意义在于：首次将2D抓取合成技术扩展至6-DoF应用，无需3D CAD模型即可处理可变形物体；提出的关键点框架显著降低了计算复杂度，实现实时处理；为食品工业自动化提供了可靠解决方案。虽然当前75%的成功率仍需提升，但该工作为处理杂乱环境中的可变形物体开辟了新途径，其技术路线也可拓展至其他农产品加工领域。