基于边界引导抓取检测的杂乱建筑与拆除废弃物分选效率提升研究

本研究针对建筑与拆除废弃物(CDW)回收中机器人抓取检测的难题，提出了一种边界引导的抓取检测方法。通过利用RGB-D数据和注意力特征融合技术，该方法在高度杂乱环境下实现了精确的抓取预测，准确率高达94.36%。同时，研究团队发布了首个专门针对CDW分选的RGB-D实例分割与抓取检测数据集ReCoDeWaste，为领域研究提供了重要资源。这项工作推动了CDW回收从感知到行动的转变，对实现自动化废弃物分选具有重要意义。

　　

随着全球城市化进程加速，建筑与拆除废弃物(CDW)已成为固体垃圾填埋场的最大贡献者，年产量预计将超过100亿吨。面对日益严峻的环境保护压力，高效、可扩展的回收利用已成为优先管理策略。然而，当前的回收工作仍然受到高劳动力成本、人工分选效率低下以及废弃物数量庞大、异质性强的制约。

虽然早期利用材料物理特性的自动化技术提高了物料回收设施(MRFs)的处理能力，但机器人技术与深度学习、计算机视觉(CV)的融合为CDW分选提供了更自适应、更智能的解决方案。近年来，研究人员在基于CV的CDW价值化感知任务方面取得了显著进展，如分类、目标检测和分割。然而，在实际部署机器人CDW分选系统方面仍然存在限制，主要源于两个持续存在的挑战：CDW流的复杂、杂乱特性，以及从感知到行动未被充分探索的转变。

特别是，虽然CV方法在识别可回收材料方面取得了进展，但机器人抓取检测的下一步——即确定最佳夹爪姿态以实现安全有效的物体操纵——仍然研究不足。抓取检测在连接视觉识别和物理交互方面起着核心作用，但由于杂乱、遮挡、可变形性和类内变异性，在CDW中尤其困难。

在这项发表于《Waste Management》的研究中，研究人员开发了一种针对高度杂乱CDW流的强大边界引导抓取检测方法。该方法同时识别可回收物体，划定其空间边界，并预测精确、无碰撞的抓取配置以实现成功的机器人操纵。为了减少对大量抓取标注数据的依赖，研究还引入了ReCoDeWaste（回收建筑与拆除废弃物）数据集，这是首个专为场外基于AI的分选训练和评估量身定制的RGB-D CDW实例分割和抓取检测数据集。

研究采用的主要关键技术方法包括：基于RGB-D数据的双模态特征提取策略，使用ResNet50-FPN作为特征提取器；边界保持的掩码头设计，整合实例级掩码和边界预测；空间注意力和多尺度通道注意力(MS-CAM)机制用于特征融合；以及专门针对定向抓取矩形设计的匹配策略。数据集包含2505张RGB和深度图像，采集自澳大利亚维多利亚州的活跃建筑工地，包含超过110,000个分割掩码和55,000个正抓取矩形。

2.1. 抓取表示

研究采用四维抓取表示法，使用定向矩形定义抓取候选G=(x, y, θ, W)，其中(x, y)代表夹爪中心点坐标，θ表示抓取执行角度（θ∈(-π/2, π/2)），W表示平行夹爪手指之间的开口距离。这种表示方法简化了抓取配置的参数化，同时保留了足够的信息来准确描述抓取姿态。

2.2. 边界引导的CDW抓取检测

提出的边界引导抓取检测框架专门设计用于从杂乱CDW流中预测成功抓取，通过利用边界感知分割特征和强大的注意力机制。该方法的核心思想是通过从RGB-D数据学习视觉和边界特征来预测精确的像素级物体掩码，然后使用多尺度通道注意力使抓取检测头能够专注于这些掩码标识的可抓取感兴趣区域(ROI)，从而细化抓取建议。

特征提取模块分别处理RGB和深度特征，以避免跨模态干扰，并充分利用每种模态的独特优势。物体检测头利用来自深度和RGB的ROI对齐特征来检测和分类物体，同时预测边界框。边界保持掩码头通过整合实例级掩码和边界预测在一个统一子网络中来保留边界信息。

抓取检测头采用空间注意力来有效融合来自RGB和深度的单独抓取特征图，获得整体抓取特征图。考虑到两种模态提供的独特信息，空间注意力专注于每个特征图的最相关方面，以有效结合这些互补特征，从而增强整体抓取特征表示。

2.3. ReCoDeWaste数据集

ReCoDeWaste数据集旨在填补使用计算机视觉和深度学习自动分选CDW的领域相关数据集的空白。CDW物体从澳大利亚维多利亚州南部大都会区的活跃建筑工地收集，分为六个关键类别：骨料(AGG)、纸板(CDB)、硬塑料(HPL)[高密度聚乙烯]、金属(MTL)、软塑料(SPL)[低密度聚乙烯]和木材(TIM)。

完整数据集包含2505张分辨率为1280×720的RGB和深度图像，这些图像包括在MRFs典型的移动传送带场景中捕获的连续帧。每张图像包括实例分割标注，400张图像有抓取标注。数据集中64%具有中高杂乱水平，每个场景最多57个物体。

2.4. 训练与评估

网络基于基准Detectron2 Mask R-CNN框架构建。首先在中等高度和严重杂乱的ReCoDeWaste图像上对物体检测和分割头进行90,000次迭代的预训练，使用1×学习率调度器，基础速率为0.002，小批量大小为8。随后冻结初始层的权重，并使用分割和抓取标记的ReCoDeWaste子集端到端训练整个模型以进行抓取检测，最小化整体多任务损失。

分割精度使用标准Mask mAP(平均平均精度)和Boundary mAP评估，后者是更严格但更合适的指标，因为它对预测掩码的边界质量更敏感。对于抓取检测，如果预测抓取矩形和真实值矩形之间的Jaccard指数(IoU)超过0.25，且预测矩形和真实值矩形之间的角度差小于30°，则认为预测抓取矩形是正确的。

3. 结果与讨论

实验结果表明，提出的边界引导抓取检测方法在高度杂乱的CDW流中有效预测成功抓取。消融研究显示，每个添加的元素都提高了所有IoU阈值下的整体抓取检测精度，完整的提出的方法在0.25阈值下比基线显著提高了29.6%。

深度信息的使用至关重要，提出的分别提取颜色和深度特征的方法由于跨模态干扰最小化而显示出最佳性能。可视化结果显示，模型能够为低到中等杂乱场景中所有完全可见的可回收CDW物体预测无碰撞抓取矩形。在中高和严重杂乱水平下，模型为具有清晰边界的物体预测最佳抓取，但在密集杂乱区域未检测到无碰撞抓取。

类别的分析显示，整体分割精度超过80%，但模型在分割金属和软塑料方面特别困难。这两个类别表现出独特的特性——反射性和半透明性——这对特征提取产生负面影响。尽管如此，提出的框架在最严格的标准下实现了83.35%的抓取检测精度，使用文献中使用的标准评估阈值时达到93.24%的抓取检测精度。

与现有最先进方法的比较表明，提出的方法优于这些方法，主要归因于ReCoDeWaste的复杂性以及这些方法依赖大量抓取标注数据来实现高检测精度。提出的方法通过用边界保持分割模块的强大物体边界预测补充有限的抓取标注，增强了学习过程，该模块有效突出了用于抓取的感兴趣区域。

4. 结论

本研究解决了CDW价值化中的一个基本挑战：高度杂乱环境中的强大机器人抓取检测。提出的边界引导抓取检测方法有效利用锐利的边界特征和注意力特征融合来精确预测抓取配置。广泛的实验评估表明，该方法实现了高达94.36%的显著抓取检测精度，即使在严格的评估标准下也显著优于最先进的方法。

重要的是，尽管标注训练数据有限，但仍保持了这种性能，代表了在物料回收设施中实际机器人部署方面的重大进展。此外，提出的方法论与更广泛的循环经济目标高度一致，包括提高分选精度和增强回收可回收材料的质量。

通过利用自动标注促进的精确分割标注，该方法显著减少了对广泛抓取标注的依赖。虽然本研究展示了CDW分选的方法，但其基本原理可推广并易于转移到其他具有复杂形状、遮挡和多样性的挑战性应用中，如城市固体废物回收、工业和电子废物分选、农产品处理和仓库物流。

通过将视觉感知与机器人行动连接起来，这项工作推进了CDW分选中AI驱动的自动化，为自适应、高效和高价值的回收系统奠定了必要的基础，并为全球向循环建筑环境的转型做出了有意义贡献。