基于三阶段合成到真实学习框架的、适用于建筑设备的鲁棒实时3D感知技术

《AUTOMATION IN CONSTRUCTION》：Robust real-time 3D perception for construction equipment using a three-stage synthetic-to-real learning framework

提出基于移动LiDAR的实时3D检测系统，结合大规模合成数据生成和三阶段（监督预训练、自监督域适应、监督微调）合成到真实学习框架，在有限真实数据下实现80.45% mAP@R40，相比仅用真实数据基线提升8.26个百分点，验证了合成数据与渐进式学习有效缓解数据稀缺性问题。

　　

钟杜浩 | 乔成宇 | 金佑翰 | 任成勋 | 金亨宽

韩国延世大学土木与环境工程学院研究生研究助理

摘要

在动态的建筑工地上，实现对各种建筑设备的鲁棒实时3D检测对于安全自主机器人的操作至关重要，但获取足够训练数据的难度限制了实际开发。本文通过结合大规模合成数据生成和三阶段合成到真实数据学习的框架，开发了一个在有限真实数据下的鲁棒检测系统。合成数据生成系统通过模拟各种建筑设备场景自动构建大规模数据集。三阶段学习框架包括：(1) 在大规模合成数据上的监督预训练；(2) 使用真实数据的自监督特征适应；(3) 在真实数据上的监督微调。实验结果表明，所提出的方法在四个建筑设备类别上的mAP@R40达到了80.45%，超过了仅使用真实数据训练的基线VoxelNeXt（72.19%）。值得注意的是，当真实训练数据大幅减少时，基线性能下降到52.79%，而所提出的方法仍保持了70.15%的性能，显示出在未见过的场地上的卓越数据效率和鲁棒性。

引言

为了解决建筑行业生产力低下和事故率高的主要问题，基于移动机器人的方法已被广泛应用于场地监测和3D重建等任务[1]。四足机器人等移动机器人通过自动化耗时且成本高昂的手动检查任务提高了建筑工地的效率[2]。然而，建筑工地的动态和不可预测性继续阻碍了自主机器人的实际部署和操作[3]。 ^{为了克服这些限制，自主机器人必须能够实时、鲁棒地感知建筑设备——这是推动现场动态变化的关键要素[4]。这种感知能力对于安全机器人操作至关重要，包括自主导航和碰撞避免。此外，它是实现智能建筑自动化的一项核心技术，能够基于全面的情境感知实现不同自主代理之间的无缝协作。 基于移动激光雷达（LiDAR）的3D点云直接提供了物体的3D空间信息，使其成为机器人进行实时环境感知的有效数据格式。移动激光雷达具有广泛的扫描范围，能够在大规模场地中有效获取空间信息，并支持在各种条件下的机器人操作，具有高度的环境适应性[5]。此外，移动激光雷达在机器人移动过程中持续获取数据，可以从多个视角观察被遮挡的区域，从而快速高效地理解环境[6]。另外，将移动激光雷达与同时定位与地图构建（SLAM）算法相结合，可以实现静态结构重建和动态物体检测[5]。这种实时3D感知能力，既能实现静态结构重建，又能实现动态设备检测，可以作为建筑项目中综合场地监测系统的基础[4]。 尽管具有这些潜力，但从移动激光雷达的单次扫描帧中鲁棒地检测各种建筑设备仍然是一项具有挑战性的任务。单次扫描帧仅捕获环境的一部分，导致点云稀疏，只能提供物体的部分观察结果。此外，建筑设备的复杂几何结构使得在这些稀疏和部分观察条件下进行鲁棒检测变得更加困难。此外，实时检测系统必须在移动机器人上的边缘设备上运行，而不是高性能服务器上，这需要能够利用有限计算资源进行实时处理的高效模型设计。 除了这些技术挑战之外，另一个实际障碍是大规模训练数据的稀缺。与城市道路环境不同，建筑工地缺乏专门针对建筑设备的大规模标记点云数据集。现有的解决数据稀缺问题的策略可以分为以模型为中心和以数据为中心的方法。以模型为中心的方法通过迁移学习或架构优化等技术在数据有限的情况下进行训练，但在真实数据极其稀缺时难以实现鲁棒性能。同时，以数据为中心的方法利用仿真或程序生成来构建大规模合成数据集，从而能够低成本地大规模获取标记数据。然而，在真实世界环境中，由于合成数据和真实数据之间的领域差异，性能会下降。 为了克服这些限制，本文提出了一种在有限真实数据下实时鲁棒检测各种建筑设备的3D感知系统。该系统通过大规模合成数据生成和三阶段合成到真实数据学习框架构建。本文的主要贡献如下： 首先，我们开发了一个基于移动激光雷达的鲁棒实时3D建筑设备检测系统。该系统能够在动态建筑工地的广阔区域内实时检测各种设备的3D位置。此外，它被设计为能够在计算资源有限的移动机器人边缘设备上高效运行。 其次，我们开发了一个自动生成用于建筑设备检测的大规模合成点云数据集的系统。这减少了数据采集和标注的高成本和时间，有效解决了建筑领域深度学习模型训练的数据稀缺问题。 第三，我们开发了一个三阶段学习框架，通过依次结合监督预训练、自监督领域适应和监督微调，有效地将知识从合成领域转移到真实领域。 第四，我们通过实验表明，即使在真实标记数据极其有限的情况下，所提出的框架也能保持高数据效率和鲁棒性能。这减轻了建筑工地数据收集的约束，在数据稀缺的环境中也能实现基于深度学习的感知系统的实际部署。 为了系统地验证这些贡献，本文提出了以下三个研究问题。首先，在大规模合成数据上的监督预训练是否比仅在有限真实数据上训练的模型具有更好的检测性能？其次，在未标记的真实数据上进行自监督适应是否能有效缩小合成到真实领域的差距？第三，这三个阶段的顺序组合是否比单独应用每个阶段都能实现更好的最终性能和数据效率？这三个问题直接对应于第4.3节中的消融实验结构，并通过实验结果得到系统回答。 本文提出了一种即使在数据有限的环境中也能构建鲁棒3D感知模型的实用方法，显著减少了建筑工地的数据收集负担。通过这种方式，我们加速了基于自主机器人的建筑自动化的实际应用，最终有助于实现安全高效的智能建筑工地。}

相关研究

相关工作

本节回顾了两个关键领域的先前研究。2.1节讨论了关于建筑设备实时感知的现有研究，这是本文要解决的核心问题。2.2节讨论了基于3D点云的合成到真实领域适应方法及其在建筑领域的应用。

方法论

本节介绍了所提出的方法论。3.1节提供了整体框架的概述，3.2节详细描述了合成点云生成系统，3.3节描述了三阶段合成到真实数据学习框架。

实验

本节介绍了所提出框架的实验验证。4.1节描述了实验设置，包括数据集构建和训练配置。4.2节讨论了合成数据背景的消融研究，4.3节讨论了学习框架的消融研究，4.4节分析了合成数据背景生成、每个学习阶段以及合成数据量对性能的影响。4.5节评估了框架的鲁棒性。

讨论与未来工作

本节深入讨论了实验结果，并概述了未来的研究方向。5.1节分析了实验结果，考察了每个学习阶段的贡献和分类性能。5.2节验证了所提出系统的实时能力。5.3节讨论了本文的局限性，5.4节提出了未来的研究方向。

结论

^{本文解决了开发建筑环境3D感知模型时的两个基本挑战：训练数据的严重稀缺性和单帧移动激光雷达点云的固有稀疏性，后者仅捕获复杂建筑设备的部分几何信息。为了克服这些挑战，所提出的框架结合了一个大规模合成数据生成系统和三阶段学习策略：} 钟杜浩：可视化、验证、监督、软件、项目管理、方法论、调查、形式分析、数据整理、概念化、撰写——审阅与编辑、初稿撰写。 乔成宇：验证、监督、软件、方法论、调查、撰写——审阅与编辑。 金佑翰：验证、监督、方法论、调查、概念化、撰写——审阅与编辑。 任成勋：监督、方法论、调查。 ^{利益冲突声明 作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。 致谢 本项工作得到了韩国国家研究基金会（NRF）的资助，该基金会由教育部资助（编号：RS-2018-NR031077），以及韩国政府资助的韩国国家研究基金会（NRF）的资助（编号：RS-2024-00457308）。 在准备本项工作期间，作者使用了Anthropic PBC的Claude工具进行校对。使用该工具后，作者根据需要对内容进行了审阅和编辑，并对内容负全责。}