一种基于掩码自适应门控卷积和二维残差的透明物体抓取网络

《Engineering Applications of Artificial Intelligence》：A transparent object grasping network based on mask-adaptive gated convolution and bidimensional residuals

　　

摘要

透明物体在工业和日常生活环境中无处不在。然而，由于它们独特的光学特性，传统的深度传感器往往无法准确捕捉深度信息，导致机器人抓取任务的频繁失败。为了解决深度数据不完整的问题并提高成功率，本文提出了一种基于深度补全的人工智能（AI）抓取网络。所提出的方法结合了掩码自适应门控深度填充网络（MG-DFNet）用于透明物体的深度补全，以及生成残差卷积神经网络（GR-ConvNet）用于透明物体的机器人抓取检测。一个关键贡献是新颖的空间和通道重构残差模块（SCRRB），它被引入以构建一个端到端的透明物体抓取框架，称为基于深度补全的融合抓取机器人（DFGR）。从工程应用的角度来看，该网络有效地将深度补全与抓取检测相结合，以高计算效率生成高质量的深度图，仅在消费级硬件上的推理时间仅为35.3毫秒。在ClearGrasp数据集和自定义数据集上的大量实验验证了所提出方法的有效性，分别实现了96.4%和89.5%的预测准确率。此外，在AUBO-E5机器人上的实际应用展示了显著的环境鲁棒性；该系统成功处理了12类未见过的透明物体，将使用原始深度数据的抓取成功率从15.0%提高到87.9%。

引言

透明物体在工业和家庭应用中非常普遍，例如玻璃制品和塑料容器。这些物体需要在自动化生产和家庭服务中由机器人进行操作。然而，由于透明物体的反射和折射特性，传统的深度传感器（例如红绿蓝深度（RGB-D）相机）难以准确捕捉其深度信息，导致深度图噪声大且不完整（Hong等人，2022年）。这影响了基于深度的机器人抓取算法在处理透明物体时的性能，导致抓取成功率较低。

现有的深度补全方法和抓取检测算法在处理透明物体时仍然存在不足。一些方法严重依赖特定的硬件，如结构光和飞行时间技术来估计场景深度信息。然而，这些技术在透明物体表面上表现不佳（Satish等人，2019年）。最近基于深度学习的方法在深度补全方面显示出比传统方法显著的优势。这些方法通常采用几何约束的线性优化来预测深度图像中缺失的深度值，但这样的方法很难集成到端到端可训练的系统中（Xu等人，2019年）。

为了应对这些挑战，本文提出了一种基于深度补全的透明物体端到端抓取网络（DFGR）。如图1中的系统架构所示，该网络采用了一种感知稀疏性的深度补全方法，从红绿蓝（RGB）图像和部分缺失的深度图中估计出有价值的多尺度几何信息，同时保留透明物体的原始深度信息。此外，我们采用生成残差卷积神经网络从补全后的RGB-D图像中提取丰富的几何和语义信息，从而能够精确预测像素级的抓取配置（见图2）。

本文的主要贡献如下：

• •
  本文提出了DFGR网络架构，将深度补全与抓取检测集成到一个端到端网络中。该架构能够准确补全透明物体的深度信息，并直接从补全后的深度图和RGB图像生成像素级的抓取配置，为透明物体的机器人抓取提供了有效的解决方案。
• •
  通过将掩码自适应门控卷积（MagaConv）集成到原始的U-Net架构中，本文构建了掩码自适应门控深度填充网络（MG-DFNet）。与原始方法中的标准卷积相比，MagaConv可以根据深度缺失掩码有效抑制无效像素处的卷积操作，从而防止噪声传播和特征模糊。在复杂的透明场景中，MG-DFNet以更高的精度重建物体边界、表面和形状，为抓取检测提供了优于以往方法的几何信息基础。
• •
  本文引入了空间和通道重构残差模块（SCRRB），这是一种专门为解决深度补全数据的局限性而设计的新型二维结构。虽然深度补全在结构上恢复了图像，但光学噪声和光线折射通常会在透明边界附近留下持久的伪边缘和结构伪影。与标准残差模块不同，SCRRB集成了空间重构单元（SRU）和通道重构单元（CRU）来净化特征图。SRU利用基于方差的门控机制识别信息区域并抑制补全引起的空间冗余，有效过滤掉伪边缘。随后，CRU采用分裂-变换-融合策略将网络的注意力集中在抓取关键的几何结构上，而不是重构噪声上。这种双重重构方法显著提高了特征的表现力和模型的鲁棒性，而不会增加计算开销。
• •
  本文引入了一个新开发的透明物体数据集Real-TransGrasp，包含5000张在不同场景下捕获的RGB-D图像，为深度补全和机器人抓取检测的研究提供了高质量的数据集。
• •
  在ClearGrasp和Real-TransGrasp数据集上进行了广泛的评估，随后在AUBO-E5协作机器人上进行了实际应用。在12类新物体的实际测试中，抓取成功率显著提升，从15.0%提高到87.9%。

章节片段

透明物体感知

透明物体的独特光学特性使得传统深度传感器难以准确测量其深度信息。光场摄影已被应用于机器人操作中，例如在装配线上抓取非朗伯表面的物体（Oberlin和Tellex，2017年）。然而，这种方法需要在训练和测试期间捕捉大量密集图像，使得过程变得繁琐。已经通过为透明物体涂覆特定物质来构建数据集

方法

本节首先介绍了所提出的基于深度的透明物体抓取补全方法的总体框架，然后详细描述了该框架中的每个组件。

实验结果

在本节中，我们详细介绍了数据集和实验设置，评估了DFGR在ClearGrasp和Real-TransGrasp数据集上的性能，并根据这些评估测试了算法在实际场景中的抓取能力。

结论

本文通过提出DFGR（基于深度补全的融合抓取机器人）这一端到端框架，解决了透明物体缺少几何信息和抓取成功率低的问题。所提出的架构创新性地将MG-DFNet与生成残差网络相结合。通过整合SCRRB，该系统通过SRU有效抑制了重构伪影，并通过CRU提取了抓取关键特征。广泛的实验表明

CRediT作者贡献声明

Rui An Xia：写作 – 审稿与编辑，写作 – 原稿撰写，可视化，验证，监督，软件，资源管理，方法论，调研，资金获取，形式分析，数据管理，概念化。Tao Zuo：写作 – 审稿与编辑，写作 – 原稿撰写，可视化，验证，监督，软件。Zhen Yang Xiao：调研，资金获取，形式分析，数据管理，概念化。

利益冲突声明

作者声明以下财务利益/个人关系可能被视为潜在的利益冲突：Tao Zuo报告称获得了武汉自然科学基金会的冶金材料与质量智能检测项目的财务支持。如果有其他作者，他们声明没有已知的可能影响本文工作的财务利益或个人关系。

致谢

本研究由武汉自然科学基金会的冶金材料与质量智能检测项目资助，项目资助编号为（2024040701010055）。

Rui An Xia|Tao Zuo|Zhen Yang Xiao

武汉科技大学人工智能与自动化学院，中国武汉，430081