用于建筑废弃物自动检测和机器人分拣的RGB-D多模态融合感知-执行系统

《AUTOMATION IN CONSTRUCTION》：RGB-D multimodal fusion perception-to-action system for automated detection and robotic sorting of construction and demolition waste

　　

• •
  面向建筑与拆除（C&D）废弃物自动分拣的RGB-D多模态感知-执行系统。
• •
  多模态感知预处理的改进提升了在粉尘和深度噪声环境下的鲁棒性。
• •
  高精度抓取定位实现了稳定的机器人分拣操作。
• •
  系统级验证表明，实际应用中加权分拣有效率达到95%。

引言

城市化和基础设施建设的快速发展导致全球建筑与拆除（C&D）废弃物前所未有地增加，带来了重大的环境和资源管理挑战[1]。C&D废弃物通常由混凝土、砖块、瓷砖、塑料、木材、玻璃、石膏、纸张、橡胶和金属等组成，其中许多可作为二次原材料进行回收再利用[2]。因此，高效地对这些异质废弃物流进行分类和自动分拣，对于推动循环经济实践和减少建筑行业的环境足迹至关重要[3,4]。

近年来，基于深度学习的计算机视觉技术显著推进了自动废弃物识别的发展。Kronenwett等人[5]展示了深度学习检测器在高目标密度条件下对C&D废弃物表征的适用性，而Wang等人[6]开发了一种基于YOLO的框架，用于在复杂工业环境中进行准确和实时的废弃物检测。然而，现有的废弃物识别方法主要依赖于二维（2D）图像检测与分割。Dong等人[7]开发了一种轻量级基于YOLO的家庭废弃物检测器，而Senanayake和Arashpour[8]研究了电子建筑废弃物的基于图像的部件级分割。这些方法能够提供目标类别和图像平面定位，但无法直接提供机器人抓取与操作所需的三维（3D）空间信息和抓取构型[9,10]。为弥补这一不足，机器人分拣系统越来越多地将目标检测与抓取规划相结合。基于CNN的抓取预测方法，包括Dex-Net 4.0[11]和GG-CNN[12]，已展现出实时抓取规划能力。Li等人[13]将基于YOLO的检测与GG-CNN相结合用于机器人抓取，而Yu等人[14]提出了一种用于固体废弃物分拣的检测融合网络。最近，RGB-D融合被探索用于将3D空间信息纳入废弃物感知和抓取。Li等人[15]开发了RGB-D融合模型用于C&D废弃物检测，并证明其在在线检测中的实时适用性，而Pei等人[16]提出了一种RGB-D抓取检测网络，并在传送带式机器人分拣系统上进行了验证。这些研究突显了RGB-D多模态感知在将废弃物识别与具有空间信息的机器人抓取相结合方面的潜力。

尽管取得了上述进展，实际C&D废弃物分拣中仍存在若干尚未解决的关键挑战。第一，多模态融合不可避免地增加了计算复杂度，使得同时实现高精度和实时性能变得困难[17,18]。第二，传送带式分拣环境通常受到粉尘、碎屑和背景干扰的影响，这加剧了样本不平衡并降低了检测鲁棒性[19]。第三，在动态传送带场景中，目标可能在完全进入相机视野之前即被检测到，导致边界框错位和抓取点估计误差，从而降低抓取精度[20,21]。第四，混凝土或瓷砖等惰性材料仅需识别以供下游破碎处理，而非机器人抓取；然而当前模型仍会生成不必要的抓取建议，导致冗余操作和计算资源浪费[22]。这些挑战表明，亟需一种同时考虑检测精度、计算效率和面向任务的机器人执行的多模态感知框架。因此，一个根本性的研究问题浮现出来：如何开发一种RGB-D多模态感知-执行框架，能够在C&D废弃物分拣环境的复杂动态条件下，实现鲁棒的目标感知、可靠的抓取预测、精确的空间定位、实时推理和机器人执行。

为应对这一研究问题，本研究提出了一种RGB-D多模态融合感知-执行框架，称为G-YOLOLoc-CDW，用于C&D废弃物的智能机器人分拣。考虑到基于传送带的工业应用的严格实时要求，所提出的框架采用基于GG-CNN的抓取预测分支与基于YOLO的目标检测分支作为主干架构。尽管近年来基于Transformer和注意力增强的抓取网络取得了令人瞩目的性能，但它们通常需要更高的计算资源和推理延迟。相比之下，所选主干架构在检测精度、计算效率和部署可行性之间提供了更有利的平衡，适用于持续实时的机器人分拣。在此基础上，集成了若干面向任务的预处理、优化和决策模块，以抑制多模态干扰、提高抓取定位鲁棒性、减少冗余机器人操作并加速推理效率。所提出的框架进一步部署在智能机器人分拣平台上，在统一的感知-执行流水线中实现实时感知、抓取规划和机器人执行。

本文的主要贡献总结如下：

• (1)
  系统级集成。开发了一种端到端的RGB-D多模态感知-执行框架，称为G-YOLOLoc-CDW，通过将目标检测、抓取预测、空间定位和机器人执行集成到一个统一的C&D废弃物机器人分拣系统中。
• (2)
  方法论改进。整合了若干面向任务的模块，包括深度阈值分离模块（DTSM）、深度标准化与裁剪（DSC）、自适应去噪与增强模块（ADEM）、检测信息选择机制（DISM）、基于焦点损失的优化以及JIT加速，以提升在杂乱传送带环境下的鲁棒性、计算效率和抓取可靠性。
• (3)
  实现级优化与工程验证。所提出的框架被实现为一个完整的感知-执行机器人分拣系统，集成了实时RGB-D感知、抓取规划、机器人控制和系统级优化。该框架在杂乱和噪声条件下的智能机器人分拣平台上进行了验证，证明了可靠的实时性能和自动C&D废弃物分拣的实际可行性。

章节摘要

方法论

本节介绍了所提出的面向自动C&D废弃物分拣的RGB-D多模态融合感知-执行系统的方法论。方法论涵盖RGB-D数据准备与预处理、多模态感知与空间定位，以及面向任务的机器人分拣信息处理。

结果与讨论

展示了实验结果并进行讨论，以评估所提出的G-YOLOLoc-CDW框架的有效性、效率和实际应用性。分析涵盖模型性能、检测与抓取结果、机器人分拣性能以及所提方法的局限性。

结论

本文介绍了面向C&D废弃物自动检测和机器人分拣的RGB-D多模态融合感知-执行系统的开发。通过联合利用色彩和深度信息，所提出的系统在复杂分拣条件下实现了可靠的空间定位和抓取预测。在预处理阶段，设计了深度阈值分离模块、深度标准化与裁剪以及自适应去噪与增强模块以抑制

CRediT作者贡献声明

邓全学：撰写—初稿撰写、方法论、调查研究、数据整理。李佐华：撰写—审阅与编辑、指导、方法论、资助获取、概念化。黄琴：撰写—审阅与编辑、方法论、数据整理。杨其韬：撰写—审阅与编辑、数据整理。白晶：撰写—审阅与编辑、数据整理。

利益冲突声明

作者声明不存在已知的可能影响本文所报告工作的竞争性经济利益或个人关系。

致谢

本研究得到国家重点研发计划（项目编号：2023YFC3806601）、国家自然科学基金（项目编号：52478505）、深圳市基础研究自然科学基金一般资助项目（项目编号：JCYJ20250604145728038）、广东省土木智能与韧性结构重点实验室（项目编号：2023B1212010004）以及深圳市城市与土木

邓全学|李佐华|黄琴|杨其韬|白晶