利用单目3D检测技术，对不安全的移动高空作业平台操作进行自动化无人机检查

《AUTOMATION IN CONSTRUCTION》：Automated UAV-based inspection of unsafe mobile elevated work platform operations using monocular 3D detection

基于单目无人机的3D安全检测方法研究MEWPs作业中高空坠落风险识别，通过视频深度估计与已知平台尺寸标定生成全局尺度点云，结合7-DoF三维检测输出工人与设备空间关系，建立几何规则库（如姿态包含度降低和质心偏移稳定性损失）实现自动化风险判断。实验验证了厘米级尺度恢复、0.38-0.52 AP检测精度及18.4 FPS实时性能。

　　

徐文宇|林鹏腾|李娜娜|谭毅|易文

香港理工大学建筑与房地产系，中国香港

摘要

高处坠落（FFH）仍然是建筑行业中导致死亡的主要原因之一，而移动式高空作业平台（MEWPs）的广泛使用增加了高空作业的复杂性。本研究提出了一种基于无人机的单目3D方法，通过分析工人与MEWPs之间的空间关系来识别不安全操作。该系统包含一个与实际比例对齐的点云生成模块，该模块能够从视频深度估计中重建密集的点云，并通过校准恢复全局的度量尺度。随后，单目3D检测器会为工人和MEWPs预测7自由度的边界框。不安全操作通过基于几何的规则进行识别，这些规则涵盖了由于站立高度变化导致的围护范围减少以及由于重心偏移导致的稳定性丧失。在建筑工地上进行的实地实验表明，该方法能够实现厘米级别的尺度恢复，在严格的和宽松的3D IoU阈值下，平均AP值分别为0.38和0.52，检测速度达到18.4 FPS。结果证明了无需多传感器配置即可实现基于度量的单目无人机检测的可行性。

引言

建筑业是全球经济的重要组成部分，约占全球劳动力的7%，对全球GDP的贡献率为6% [1]，[2]。然而，它仍然是工人面临最高安全风险的行业之一。根据美国劳工统计局的数据，2021年至2022年间，建筑行业的致命事故增加了11%。在所有建筑工地事故中，高处坠落（FFH）占约54%，是导致死亡的主要原因 [3]。IPAF全球安全报告指出，尽管移动式高空作业平台（MEWPs）在高度、移动性和操作便捷性方面具有优势，但它们仍是高处坠落事故的主要诱因 [4]。尽管不断实施安全措施、提供指导和培训，事故仍然时有发生。因此，对MEWP操作进行安全检查以防止因工人不安全行为而引发的事故至关重要。

目前，MEWP操作的安全检查主要依赖于人工巡逻和固定摄像头系统，但在这类环境中，这两种方法都难以可靠地部署。与脚手架、楼层开口或屋顶等传统的高空作业界面不同，MEWP任务是在一个受限的篮子内进行的，其高度、横向位置和姿态在作业过程中可能会发生变化 [5]。同时，吊杆、篮子框架和周围的结构经常造成遮挡，且当工人在篮子内移动或改变姿势时，观察几何形状也会显著变化 [6]。因此，除非采用密集的多摄像头布局和频繁重新配置，否则固定摄像头通常无法持续监控篮子内的关键安全行为，而这在繁忙的建筑工地上通常是不切实际的。

随着无人机（UAV）技术的成熟，灵活的视角和快速部署使得基于无人机的检查成为MEWP操作的一种有前景的替代方案 [7]，[8]。然而，大多数现有的基于无人机的方法仍然集中在2D图像分析上 [9]，[10]，这对于MEWP场景来说是不够的，因为这些场景中的关键危险因素是由工人与篮子之间的度量3D关系决定的，包括由于站立高度变化导致的有效围护范围减少以及由于向外倾斜导致的稳定性下降 [11]。尽管基于点云的解决方案可以提供更丰富的几何信息，但它们通常需要额外的感测载荷和校准，并且计算需求较高，难以满足连续、近乎实时的无人机检测需求 [12]。因此，单目3D对象检测通过从单个RGB图像中提取3D线索，降低了感测复杂性并实现了实时能力，同时支持基于几何的安全推理 [13]。

因此，本文的目标分为两个层面：技术层面和应用层面。技术目标包括：（i）利用基于深度的密集重建和已知MEWP篮子尺寸的尺度校准，从单目无人机视频中恢复全局度量尺度，以支持基于度量的3D注释和数据集构建；（ii）开发一种单目3D检测器，从RGB图像中估计工人和MEWPs的7自由度边界框，并在无人机视角下保持稳定的3D位置、大小和方向；（iii）建立基于几何的规则来识别不安全行为，确保决策的透明性和可审计性。应用目标则是提供一种实用的无人机检测能力，该能力能够在运行时仅使用RGB输入实现近乎实时的连续检测，并提供可解释的几何指标，以支持MEWP操作的风险识别、警告生成和纠正措施指导。

本文的贡献总结如下：（1）通过结合基于视频的深度估计和篮子尺寸校准，为单目RGB输入开发了一种经过尺度校准的密集重建工作流程，生成用于离线7自由度3D注释和数据集构建的度量一致点云，并支持基于物理的、基于几何的规则评估。（2）建立并验证了一种仅使用RGB的单目7自由度3D检测能力，能够稳定输出工人和MEWPs的3D位置、尺寸和方向。在实地数据上，检测准确性和近乎实时的效率得到了验证，满足了行为级风险计算的输入要求。（3）将典型的MEWP相关不安全行为形式化为可计算的几何指标，通过对齐的阈值和可解释的标准定义了CRSE和SLCMS。由此产生的风险评估是可追溯和可审计的，并通过实地实验得到了验证。

本文的其余部分安排如下：第2节回顾了与高处坠落相关的不安全行为分析和基于计算机视觉（CV）的无人机检测。第3节描述了所提出的用于尺度恢复、3D对象检测和不安全行为计算的单目3D方法。第4节介绍了实验验证和性能评估。第5节讨论了局限性及未来工作方向。第6节总结了主要发现和实际意义。

相关研究

本节分为两个相互关联的主题：与高处坠落相关的不安全行为分析，突出了建筑行业中的核心安全挑战；以及基于计算机视觉的无人机检测，为提高安全检测提供了技术支持。这两个主题为本文奠定了概念基础。

方法

本文提出了一种用于MEWP操作的自动化单目3D对象检测和不安全行为计算方法，旨在提高建筑安全检测的效率。所提出的方法结合了基于视频深度估计的尺度对齐点云生成和3D边界框预测，从而能够有效分析和计算不安全行为。如图1所示，该框架由两个主要部分组成：

实验与结果

实验在中国深圳的一个建筑工地上进行，工人是在MEWP篮子内作业的。数据收集设备包括DJI Mavic 3 Enterprise无人机和Intel RealSense D455深度相机。所有数据处理和分析均在配备32GB RAM和NVIDIA GeForce RTX 4080 SUPER显卡的工作站上完成。

讨论

结果表明，在基于无人机的检测场景中，单目RGB感知可以支持基于度量的3D推理，用于评估MEWP操作中的不安全行为，从而实现安全关键事件的定量识别。为了平衡部署能力和几何可解释性，尺度对齐仅限于离线阶段的数据集构建和3D注释，而部署的流程仍然仅使用RGB数据。在运行时，系统支持7自由度

结论

本文提出了一种单目3D检测方法，用于识别MEWP操作中的高处坠落相关不安全行为。该工作流程将3D数据集构建、单目3D对象检测和基于几何的行为计算整合为一个统一的方法。首先，通过视频深度估计从视频中重建密集点云，并使用已知的MEWP尺寸进行尺度调整，以支持基于度量的3D注释。然后使用这些配对的2D和3D标签来训练单目3D检测器

作者贡献声明

徐文宇：撰写——原始草案、验证、软件开发、方法论研究、数据分析、概念化。林鹏腾：验证、资源协调、数据管理。李娜娜：验证、资源协调、数据管理。谭毅：撰写——审稿与编辑、项目管理、方法论研究、资金获取、数据分析。易文：撰写——审稿与编辑、监督、资源协调、资金获取、数据分析、概念化。

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的财务利益或个人关系。

致谢

本项工作得到了深圳市科技创新委员会（SZSTI）（编号：SGCX20250526142403005）的支持。收集的数据仅用于研究目的。受试者的身份将保持保密，并遵守香港理工大学的所有现行伦理规定。