在遮挡情况下，通过非模态实例分割和单目3D边界框重建技术来预防被撞击的危害

《AUTOMATION IN CONSTRUCTION》：Amodal instance segmentation and monocular 3D bounding box reconstruction for preventing struck-by hazards under occlusions

　　•该框架整合了无模态分割和单目3D重建技术。•改进的YOLOv8-seg结合GAM和形状感知损失（Shape-Aware Loss）提升了遮挡分割性能。•PCNet能够恢复被遮挡的建筑实体的完整几何结构。•单目深度估计和无模态掩码可以重建3D空间属性。•所提出的方法在真实的复杂现场测试中准确率达到0.948。

1. 引言
重型建筑机械是建筑行业中严重伤害和死亡事件的主要原因[1]。根据美国疾病控制与预防中心的数据[2]，被操作设备撞击的事故是建筑工人死亡的第二大原因，也是非致命伤害的首要原因。由于建筑现场条件的复杂性和动态性，地面工作人员与操作机械的接近性带来了较高的碰撞风险[3]。大型设备固有的视觉盲区和建筑现场复杂的遮挡情况进一步增加了这种危险[4]。因此，开发有效的安全监控系统以检测不安全的接近并减轻潜在的碰撞风险已成为提高建筑现场安全的关键焦点[5]。
为了降低工人与建筑机械之间的碰撞风险，已经提出了各种预防策略。传统的做法如定期安全培训和人工监督已被广泛采用，但这些方法劳动密集且成本高昂。基于传感器的自动化监控技术也被广泛采用以提高监控效果，包括射频识别（RFID）[6]、超宽带（UWB）[7]、全球定位系统（GPS）[8]和蓝牙[9]。然而，这些基于传感器的解决方案需要在每名工人和每台机器上安装活动标签或应答器，从而导致大规模部署和维护成本较高[10][11]。此外，当工人忘记佩戴标签或设备出现故障时，其可靠性可能会受到影响[12]。
得益于人工智能和深度学习的最新进展，计算机视觉（CV）技术在提高建筑现场安全方面变得日益重要[13]。通过利用监控摄像头，CV提供了一种非侵入式且成本效益高的替代方案，无需工人佩戴物理设备即可捕获丰富的语义上下文[14]。然而，现实世界的建筑环境复杂且杂乱，视觉遮挡是常态而非例外[15]。越来越多的研究正在探索使用光检测和测距（LiDAR）等3D传感技术来获取关于工人和建筑设备的精确3D信息。先前的研究表明，与红绿蓝（RGB）相机相比，LiDAR可以提供直接的度量深度测量和可靠的3D定位，并且对光照变化的敏感性更低[11][12]。尽管如此，基于LiDAR的监控仍然依赖于视线测量，因此无法恢复被前景物体遮挡的物体区域。大规模部署还需要高昂的传感硬件成本和大量的点云处理工作。此外，在这种条件下，单目CV模型通常会遭受显著的性能下降，经常无法检测到被材料或其他设备遮挡的目标[16]。即使成功识别了目标，现有方法也主要关注模态实例分割或二维（2D）目标检测[17][18]。这些方法只能捕捉到物体的可见部分，导致几何表示不完整[18]。最后，传统的基于CV的安全评估依赖于2D像素距离来评估碰撞风险，但由于透视失真，这无法准确反映物体之间的真实物理距离。尽管已经提出了一些3D方法，但试图根据不完整的模态掩码重建3D边界框会导致估计遮挡目标的质心、物理尺寸和方向出现严重误差。
为了解决这些问题，本研究旨在开发一个综合框架，将无模态实例分割与单目3D边界框重建相结合，用于建筑现场的人机碰撞主动监控。具体而言，有三个目标：1）开发并训练一个无模态实例分割模型，以恢复实体的不可见几何结构；2）在遮挡条件下提高实例分割的性能；3）重建准确的3D边界框，以动态评估碰撞风险。
本文的贡献可以总结如下：首先，本研究引入了一个用于人机碰撞监控的无模态感知框架。与传统仅识别物体可见区域的视觉感知方法不同，所提出的方法通过推断和恢复部分遮挡实体的不可见几何结构来解决视觉遮挡问题。其次，在YOLOv8-seg的基础上，我们整合了现有的全局注意力机制（GAM）来改进视觉杂乱建筑场景中的特征选择。此外，为了解决由于视觉遮挡导致的重型设备独特而刚性几何轮廓的分裂问题，设计了一种形状感知损失（SAL）来强制保持结构一致性并保护边界。第三，本研究将无模态掩码与单目3D边界框重建相结合，以促进基于区域的动态风险分析。该方法从单目2D图像中检索3D空间属性，并根据重型设备的实时运动状态评估碰撞风险，提供了一个更可靠且操作实用的安全监控解决方案。
本文的其余部分组织如下：第2节回顾了有关遮挡条件下基于视觉的建筑安全监控、单目3D边界框重建和主动风险评估的相关文献。第3节详细介绍了所提出框架的方法论。第4节展示了实验评估和现场测试结果。第5节讨论了消融实验，并与现有方法进行了定量和定性比较。最后，第6节总结了研究，指出了当前的限制，并概述了未来研究的方向。

2. 相关工作
本节回顾了有关遮挡条件下基于视觉的建筑安全监控、单目3D重建和主动碰撞风险评估的先前研究。回顾指出了现有方法在恢复完整物体几何形状和评估遮挡条件下人机碰撞风险方面的局限性。

2.1. 遮挡条件下的基于视觉的建筑安全监控
近年来，CV技术已被广泛用于自动化建筑现场的安全监控。传统的目标检测和实例分割模型，如Faster Region-based Convolutional Neural Network（Faster R-CNN）[19]、Mask Region-based Convolutional Neural Network（Mask R-CNN）[20]和You Only Look Once（YOLO）系列[21]，在识别工人[22]、跟踪重型机械[23]和监控个人防护装备（PPE）合规性[24]方面取得了显著成功。然而，这些方法的可靠性严重依赖于无遮挡的视野。现实世界的建筑现场是动态的、拥挤的且杂乱的，因此视觉遮挡是一个不可避免的挑战[15][16][25]。在这种复杂条件下，传统CV模型的性能显著下降[26]。当一个实体被建筑材料或其他设备部分遮挡时，这些网络经常无法提取连续特征，导致检测遗漏和分割掩码不完整。
为了减轻遮挡的不利影响，研究人员探索了多种解决方案。一种常见的方法是部署多摄像头网络从多个视角捕捉目标[27][28]。例如，Ahn等人[29]利用多摄像头网络开发了一种可靠的方法来跟踪挖掘机，实际现场验证中的准确率达到0.844。然而，多摄像头系统需要复杂的空间校准和大量的基础设施投资。另一种方法是采用基于部分的检测方法，专注于识别特定组件，如工人的安全帽或挖掘机的铲斗。例如，Xiong和Tang[30]开发了一种姿态估计器来检测工人体部，而Hong等人[31]专注于检测挖掘机的铲斗状态以识别设备动作。虽然这种策略在部分遮挡条件下提高了检测性能，但仍无法推断实体的不可见部分，而这对于准确估计碰撞是必要的。
为了解决这个问题，无模态实例分割成为了一种有效的方法，因为它能够识别物体的可见部分和被遮挡部分[32]。例如，Chou等人[18]将YOLOv8-seg模型与条件生成对抗网络（cGANs）相结合，分割并生成部分遮挡人员的完整掩码。类似地，Ding等人[33]将基于像素的语义分割与图像修复技术相结合，以重新创建隐藏在脚手架后面的区域。然而，这些方法根据视觉合理性生成缺失的像素，而不是恢复物理边界，这对3D空间推理和碰撞评估至关重要。此外，虽然已经探索了人员形状的恢复，但重型建筑机械具有更复杂的结构，使得现有方法难以准确划定边界。因此，开发一个针对重型建筑机械的强大、几何感知的无模态实例分割框架仍然是一个关键的研究空白。

2.2. 单目3D重建和主动风险评估
主动的人机碰撞预警系统基于准确的距离估计。早期的基于视觉的安全监控主要依赖于图像平面中的2D像素距离来评估碰撞风险。例如，Kim等人[34]使用YOLO算法检测建筑实体并量化它们的相对距离。然而，由于透视失真，物体离相机越远看起来越小，2D像素之间的距离测量无法可靠地指示现实世界的距离。为了解决这个问题，研究人员提出了将2D图像坐标转换为现实世界空间坐标的方法。例如，Jeelani等人[35]和Zhang等人[36]通过将原始图像转换为世界坐标系中的鸟瞰图（BEV）建立了碰撞风险预警方法。虽然坐标转换改善了定位，但将建筑设备和工人视为简单点或2D平面忽略了它们的实际体积。重型机械占据了大量的3D空间，如果不考虑其深度和物理尺寸进行表示，可能会导致计算错误。
认识到这一点，进一步的研究探索了基于视觉的相关性识别和3D边界框的重建，以表示实体的物理体积。例如，Yan等人[3]通过检测建筑车辆的不同部分建立了3D边界框重建方法。同样，Bao等人[37]将CV技术与空间相关性理论相结合，通过虚拟实验确定了不同碰撞风险级别的空间相关性值。最近，单目3D目标检测被引入用于接近度监控，可以从单摄像头图像中直接提取3D尺寸、方向和中心，而无需昂贵的传感器[38]。
尽管取得了这些进展，现有的建筑安全单目3D重建方法仍然严重依赖于初始2D边界框或掩码的几何精度。当机器或工人被部分遮挡时，传统的模态分割模型生成的2D边界不完整。如果将这些不完整的2D区域输入到单目3D重建模块中，系统将错误估计实体的物理尺寸、方向和中心，从而导致碰撞预警的错误。此外，传统的预警机制通常依赖于静态距离阈值，无法适应机械的实时运动状态（例如速度和方向）。因此，有必要开发一个基于无模态3D边界框重建的动态风险评估框架，以解决视觉遮挡和建筑现场的动态运动问题。

3. 方法论
本文提出了一个整合无模态实例分割与单目3D边界框重建的框架，以增强存在视觉遮挡的建筑现场的安全监控。如图1所示，该框架分为四个主要阶段：（1）改进的实例分割；（2）无模态掩码完成；（3）单目3D边界框重建；（4）基于区域的动态碰撞风险分析。在第一阶段，使用改进的YOLOv8-seg模型预测建筑机械和工人的模态掩码，其中将GAM集成到主干网络中，并引入SAL以提高分割性能。第二阶段使用部分完成网络（PCNet）生成无模态掩码，该网络执行实例排序恢复，然后完成无模态掩码。第三阶段通过单目深度估计和坐标系转换进行3D边界框重建。最后阶段在BEV表示中划定禁区和建议区，以评估潜在的碰撞风险。以下小节将详细介绍这些步骤。

下载：下载高分辨率图像（1MB）
下载：下载全尺寸图像
图1. 所提出方法的总体框架。

3.1. 改进的实例分割模型
采用YOLOv8-seg模型作为基础网络进行模态实例分割，修改后的网络布局如图2所示。它由三个主要组件组成：(1) 基于CSP-DarkNet构建的Backbone，负责从输入图像中提取层次化的视觉特征；(2) Neck，它聚合多尺度的特征表示以增强上下文理解；(3) Head，它输出边界框、分割掩码和类别预测。下载：下载高分辨率图像（790KB）下载：下载全尺寸图像图2. 改进的YOLOv8-seg模型的架构。为了提高在遮挡场景中的分割鲁棒性，对遮挡建筑场景进行了两项任务导向的调整：(1) 将现有的GAM集成到Backbone中以增强信息丰富的特征响应；(2) 在原始训练目标中添加了形状感知损失（SAL）以规范局部轮廓的一致性。3.1.1 全局注意力机制GAM由Liu等人在2021年提出[39]，旨在减少深度网络中的信息损失并加强特征之间的长距离交互。GAM的整体工作流程如图3所示。给定一个输入张量F1 ∈ ?^C×H×W，该模块生成中间表示F2和最终输出F3，具体步骤如下：(1)??2=??_c(??1)???1 (2)??3=??_s(??2)???2其中Mc和Ms分别表示通道和空间注意力图；?表示逐元素乘法。通道注意力分支应用一个3D排列操作，以保持通道、高度和宽度维度之间的依赖关系，然后是一个多层感知器（MLP）来增强跨维度交互。同时，空间注意力分支通过两个卷积层整合上下文线索，从而更有效地聚合空间分布的信息。这两个组件的结合使GAM能够突出显示信息丰富的特征，同时抑制冗余响应，最终有益于下游的分割任务。下载：下载高分辨率图像（250KB）下载：下载全尺寸图像图3. GAM概述。3.1.2 形状感知损失在遮挡场景中，现有的CV模型难以从障碍物边缘分割出实体的真实形状，导致如图4[19]所示的错误。因此，本研究提出了一种SAL函数，明确约束预测掩码和真实掩码之间的几何一致性。具体来说，我们首先通过对原始掩码logits应用sigmoid激活函数来获得软掩码预测。然后，使用固定的Sobel算子计算预测掩码和真实掩码在水平和垂直方向上的梯度。SAL定义为两个掩码梯度场之间的L1距离：(3)?shape=‖???(??^2(??'))????(??)‖1+‖???(??^2(??'))????(??)‖1其中?x和?y分别表示沿x轴和y轴的梯度。M表示真实掩码，M'表示预测掩码logits。σ表示sigmoid激活函数。因此，改进的YOLOv8-seg模型的最终损失函数定义为：(4)?=?box+?dfl+?mask+?cls+??·?shape其中?box、?dfl、?mask、?cls和??·?shape分别表示框回归损失、分布焦点损失、掩码二进制交叉熵损失和形状感知损失。系数λ控制形状感知损失对总训练目标的贡献。所提出的SAL与现有的边缘感知和边界一致性损失相关，因为所有这些方法都引入了轮廓信息以补充基于区域的分割监督。然而，传统的边缘感知损失要么给靠近提取边界的像素分配较大的权重，要么测量二值化、方向无关的边缘图之间的一致性。相比之下，SAL对预测的软掩码和真实掩码应用固定的Sobel算子，并使用L1约束对齐它们的水平和垂直梯度场。因此，SAL保留了边界位置、局部梯度幅度和方向变化，同时惩罚缺失的轮廓和虚假的过渡。此外，由于它直接作用于连续的掩码概率，SAL不需要边界阈值处理或额外的边缘预测分支，并且可以使用原始的分割目标进行优化。下载：下载高分辨率图像（432KB）下载：下载全尺寸图像图4. 遮挡场景中的错误。3.2 多模态掩码完成本节描述了如何使用改进的实例分割模型获得的多模态掩码来完成建筑实体的遮挡区域。以下小节介绍了部分完成机制、PCNet的训练框架以及多模态掩码完成的排序引导程序。3.2.1 部分完成全完成是指在给定被遮挡物体及其遮挡物的情况下，一步恢复被遮挡物体的完整多模态掩码的过程。这个过程通常依赖于真实多模态掩码的可用性作为监督。如图5所示，我们观察到一步全完成可以等效地分解为一系列部分完成过程。在这项工作中，部分完成被定义为仅恢复被特定遮挡物遮挡的目标物体区域。例如，当考虑一个圆形遮挡物时，可以通过仅恢复被圆形物体遮挡的区域来部分完成可见掩码M0到M1。然而，这些部分完成过程仍然无法直接训练，因为在训练过程中通常无法获得中间完成状态M1以及最终完成状态M2，因此不能用作监督。下载：下载高分辨率图像（267KB）下载：下载全尺寸图像图5. 全完成和部分完成机制。图5展示了所提出的部分完成机制。具体来说，通过引入额外的合成遮挡来进一步修剪M0。从数据集中随机选择一个对象，将其多模态掩码用作遮挡物覆盖M0，从而得到一个更严重被遮挡的掩码，记为M?1。然后训练PCNet从M?1恢复M0。由于在训练期间M0和M?1都是可用的，这种形式使得部分完成过程成为自监督学习过程。3.2.2 部分完成网络框架基于Zhan等人提出的自监督部分完成机制[40]，我们在当前框架中采用了PCNet作为多模态掩码完成模块，如图6所示。给定一个目标实例A及其多模态掩码MA，从数据集中随机抽取另一个实例B及其多模态掩码MB来合成一个遮挡场景。所提出的框架考虑了两种不同的训练情况。在第一种情况下，采用上述的部分完成机制。具体来说，使用多模态掩码MB遮挡实例A的一部分，得到一个被遮挡的掩码MA/B。然后训练PCNet从MA/B重建原始的多模态掩码MA，其中MB作为条件输入。第二种情况作为规则化约束引入。在这种配置下，实例B位于实例A后面，使得A充当遮挡物，而B成为被遮挡物体。在这种配置下，PCNet在条件为复合掩码MB/A的情况下被鼓励保留原始的多模态掩码MA，从而防止不必要的完成。下载：下载高分辨率图像（404KB）下载：下载全尺寸图像图6. 部分完成网络框架。对于这两种情况，相应的损失函数定义如下：(5)?1=1/??∑_{A, B}?_cel(??_{θ}(??_A\B; ??_B, ??\_??_B), ??_A) (6)?2=1/??∑_{A, B}?_cel(??_{θ}(??_A; ??_B\B, ??\_??_B\B), ??_A)其中?_cel表示二进制交叉熵损失，Pθ表示PCNet，I表示图像块。因此，最终的损失?_PCNet计算为：(7)?_PCNet=??·?1+(1???)·?2, ??～Bernoulli(??)其中γ是选择第一种情况的概率。在训练过程中，两种情况随机切换。因此，网络需要从输入中推断目标物体是否被替代物体遮挡。只有当目标物体被识别为被遮挡时，网络才会执行部分完成；否则，目标掩码将保持不变。为了处理由预定义前景类之外的场地基础设施引起的遮挡，PCNet引入了一种不依赖于遮挡物的自监督训练策略。从完全可见的机器实例开始，生成一个不规则的边界连接区域并从其掩码中移除，形成一个部分可见的输入。生成的区域不提供给网络，相应的遮挡物通道被设置为零，而原始的完整掩码作为监督目标保留。通过将注释的前景遮挡物和不规则的未知遮挡区域应用于相同的目标，也构建了混合遮挡样本。在这种情况下，只有注释的前景遮挡物掩码被提供给遮挡物通道，而不规则区域则从网络中省略。此外，还包括了具有全零遮挡物通道的完全可见掩码作为形状保持样本。3.2.3 排序引导的多模态掩码完成排序图对于识别所有相邻实例对之间的遮挡关系至关重要，这些实例对被定义为模态掩码接触并因此参与遮挡的实例对。为此，本研究提出了一种遮挡排序恢复方法。给定一对实例A和B，首先将A视为目标物体，而B作为替代物体。在这种设置下，PCNet不会在A的区域产生任何明显的扩展。相反，当角色反转，B被视为目标物体而A作为替代物体时，B的预测掩码显示出明显的面积增加。这种不对称响应使我们能够推断出实例A遮挡了实例B。根据上述方法，构建了一个遮挡排序图，其中有向边表示从遮挡物到被遮挡物的遮挡关系。在这种公式下，与给定实例相关的祖先节点集表示所有遮挡它的对象。图7展示了一个排序引导的多模态掩码完成示例。给定特定的被遮挡实例A（节点4），确定三个实例（节点1、节点2和节点3）为其遮挡物。确定了遮挡顺序后，进一步使用PCNet重建实例A的多模态掩码如下：(8)??_{anc, A}=??_{A∪??}=1/??_{a???}=??_{θ}(??_{A; ??_{anc, A}, I\??_{anc, A})其中???_{amA表示实例A的预测多模态掩码，MA表示其多模态掩码。??_{a???是实例A的第i个祖先的多模态掩码，KA是祖先的总数。M_{anc,A表示所有祖先掩码的并集，而I\M_{anc,A表示带有相应祖先区域的图像块。下载：下载高分辨率图像（465KB）下载：下载全尺寸图像图7. 排序引导的多模态掩码完成过程。在推理过程中，首先使用排序图确定检测到的前景实体之间的遮挡关系。对于每个目标，将其前面所有检测到的前景遮挡物的掩码合并并提供给PCNet的遮挡物通道。如果没有可用的前景遮挡物掩码，该通道被设置为零。然后PCNet根据可见目标掩码和可用的遮挡信息预测多模态掩码。由于增强了自监督训练，同一个网络可以从剩余的可见形状恢复部分可见目标的完整掩码，同时保留输入掩码。然而，目标必须保留足够的可见区域才能被上游分割模型检测到；完全不可见的对象无法从单张图像中恢复。3.3 单目3D边界框重建基于上述多模态实例分割，可以获得几何约束。然而，如果没有深度信息，很难从2D边界框重建3D边界框。因此，采用Depth Anything V2模型通过单目深度估计算法从单张图像中获取深度信息。Depth Anything V2模型于2024年提出，与其他模型相比，它实现了更快的推理速度、更少的参数和更高的准确性[41]、[42]。本研究使用了在Virtual KITTI 2数据集上微调的Depth Anything V2模型，该模型可以直接以米为单位预测深度。给定一个2D边界框及其对应的度量深度，目标是恢复一个由其空间位置、物理尺寸和方向特征描述的3D边界框。重建过程包括四个阶段：(1) 2D到3D反投影和坐标变换，(2) 深度感知维度估计，(3) 地面对齐的方向估计，(4) 使用卡尔曼滤波的时间细化。对于第i个对象，其边界框表示为：(9)??_i=(???, ??, ???, ??, ???, ??, ???, ??)T在场地测试之前，通过相机校准获得了相机内在参数和畸变系数。使用测量的控制点在度量场地坐标系统中确定了相机外参数和地面平面方向。图像畸变校正后，边界框的底中心点???????_i =[??_i, ??_i, 1]T被用作近似的地面接触点，其中ui = (x?,i + x?,i) / 2和vi = y?,i。根据预测的度量深度 Zi，该点被反向投影到相机坐标系中，并转换为场地坐标系：(10)??c??=????????1????????????w??=??wc???c??+??wc????=??w???(??T?????w??+????)?????，其中 K 表示相机内参矩阵；??c?? 和 ??w?? 分别是相机坐标系和场地坐标系中的重构点；Gi 是最终的重合点。旋转矩阵 Rwc 包含了相机的俯仰、滚动和安装方向，而平移向量 twc 描述了相机位置和安装高度（以米为单位）。地面平面定义为 ??T?????w +???? =0，其中单位向量 ng 和偏移量 dg 描述了其方向和位置。因此，相机安装的倾斜和地面平面的方向被纳入到坐标变换中。在尺寸估计之前，使用校准后的相机旋转和地面平面法线将边界框校正为与地面对齐的虚拟视图。计算出的物体尺寸为：(11)???=????????????2?D,??????=???????????????=???????????????=????+???2?????，其中 fy 是以像素为单位的垂直焦距，???2?D,?? 是校正后边界框的高度，Ci 是重构的 3D 边界框的中心。对于每个物体类别 c，dc?=?(hc, wc, lc) 表示以米为单位的尺寸先验。在方程 (11) 中，绝对尺度由预测的度量深度和校准后的相机几何形状决定，而类别先验仅用于限制宽高比和长高比。随后根据其观察方向和物体相对方向估计物体方向。在相机坐标系中，光线角度计算为：(12)????,??=atan2?(??c??,??c??)，其中 ??c?? 和 ??c?? 分别是 ??c?? 的水平和深度分量。物体相对方向 β 是从 2D 边界框的纵横比和水平位置推断出来的。为了在与地面对齐的场地坐标系中表示结果方向，使用校准后的相机外参将相应的航向向量旋转并投影到地面平面上：(13)??c??=[sin?(????,??+????),cos?(????,??+????)]T???w??=??wc???c????w??=???w???(??T??????w??)?????????=atan2?(??w??,??,??w??,??)。为了确保时间一致性并抑制深度噪声，对每个跟踪的物体使用卡尔曼滤波器 [43]。状态向量定义为：(14)????=[??,??,??,??,?,??,??,·??,· ??,·??,·??]T，遵循恒定速度运动模型。观测值包括估计的位置、尺寸和方向。此外，对最近的估计值应用指数移动平均以进一步平滑突然的变化，这在动态场景中显著提高了稳定性。最终输出是一个时间一致的 3D 边界框，其特征是其位置、大小和方向。估计的 3D 边界框可以投影回图像平面进行可视化，或者转换为 BEV 表示形式进行风险分析。3.4. 基于区域的动态风险分析在重构 3D 边界框后，可以绘制 BEV 表示。可以使用相应 3D 边界框底部面的中心坐标来计算每个工人和施工机械之间的相对距离。然而，由于单目 3D 边界框重建的固有不确定性，直接计算工人和机械之间的精确欧几里得距离可能是不可靠的 [38]。为了解决这个问题，本研究提出了一种基于区域的动态风险分析方法，如图 8 所示。与传统的静态基于距离的方法不同，所提出的方法将碰撞风险描述为一个运动自适应的空间场，其范围和角度覆盖范围根据施工机械的估计运动状态动态调整。具体来说，周围空间被划分为三个风险区域：危险区、潜在区和安全区。危险区表示工人（例如图 8 中的工人 A）面临立即碰撞危险的区域，因为空间接近性和运动方向表明在没有立即干预的情况下有很高的碰撞概率。潜在区表示一个过渡区域，在此区域碰撞尚未不可避免，但可能在不利条件下发生，例如突然加速、转向调整或延迟的人为反应（例如图 8 中的工人 B 和 C）。相比之下，安全区对应于机械运动有效影响之外的区域，在正常操作条件下，距离和相对方向表明碰撞概率可以忽略不计（例如图 8 中的工人 D 和 E）。下载：下载高分辨率图像（310KB）下载：下载全尺寸图像图 8. 基于区域的动态风险分析方法（以 BEV 表示）。对于每个检测到的施工机械，可以从卡尔曼滤波器算法 (14) 中获得状态向量和未来位置。考虑到碰撞更可能发生在施工机械的前进运动方向上，定义了一个风险参考点 cm 作为 3D 边界框前端面的中点。在 cm 周围构建了一个扇形风险场，其特征是动态的角度范围和多个同心径向区域。风险场的角度宽度根据机械的运动状态自适应确定：(15)Φ??=Φmin+???‖????‖，其中 Φmin 是机械静止时的最小角度范围，vm 是速度，γ 是一个缩放系数。在角度范围 [?Φm/2, Φm/2] 内，每个区域的半径计算为：(16)????=?????????+?????????，其中 αk 和 βk 是满足 Rdangerous?
4.4.1 无模态掩码完成的结果
图11(a)展示了PCNet模型的训练和验证损失情况。可以看出，两条损失曲线在初始训练阶段都有显著的下降，表明网络迅速学会了掩码完成的特征表示。随着训练的进行，曲线在大约20,000次迭代后逐渐变平并稳定下来。在整个100,000次的训练过程中，验证损失与训练损失保持一致，并且值较低。这种收敛行为表明PCNet模型具有良好的泛化性能，能够有效恢复被遮挡的区域而不会出现严重的过拟合。
下载：下载高分辨率图像（243KB）
下载：下载全尺寸图像
图11. PCNet模型的训练过程和实地测试结果。
图11(b)进一步详细展示了PCNet模型在10个实地测试场景中的定量分割性能。所提出的方法表现出强大的泛化能力，在10个案例中有7个案例的无模态IoU得分超过了0.800。特别是在像场景9和场景10这样具有挑战性的情况下，无模态IoU明显优于相应的可见IoU，分别从0.691和0.641提高到了0.864和0.869。这些结果表明，即使由于严重的遮挡导致可见信息受限，所提出的无模态实例分割方法也能通过利用学到的形状先验有效地恢复完整的对象结构。相比之下，在像场景1和场景2这样简单的案例中，可见IoU和无模态IoU的值都超过了0.900，验证了该模型在遮挡较少的环境中的高分割精度。
图12可视化了实地测试中无模态掩码完成的结果。首先，关于恢复被遮挡区域的能力，即使物体的大部分被前景物体遮挡，模型也能成功推断出几何结构并恢复掩码的不可见部分。其次，结果突显了第3.2.2节中引入的正则化约束的有效性。通过将无模态掩码与真实掩码进行比较，可以明显看出，对于未被遮挡的物体，生成的无模态掩码与真实掩码完全对齐，没有不必要的扩展。这表明正则化机制成功使网络能够区分被遮挡和未被遮挡的状态，确保仅在必要时触发掩码完成，同时保留了完全可见实例的准确轮廓。
下载：下载高分辨率图像（1MB）
下载：下载全尺寸图像
图12. 可视化的真实掩码、模态掩码和无模态实例分割示例。

4.4.2 基于区域的动态风险分析结果
利用预测的无模态掩码和2D检测结果，采用单目3D边界框重建方法来恢复建筑实体的空间信息。随后，重建的3D边界框作为基于区域的动态风险分析的输入，用于定量评估工人的风险水平。图13展示了3D边界框重建和风险分析的可视化结果。第一行显示了单目深度估计图，它们作为将2D检测提升到3D空间的深度先验。第二行展示了从模态掩码派生的3D边界框。可以看出，由于遮挡的存在，模态掩码是不完整的，导致3D边界框与实际物体边界对齐不正确（例如，卡车的左后部和工人的身体被裁剪掉）。相比之下，第三行显示基于无模态的重建成功恢复了目标的完整物理尺寸，生成的3D边界框准确地围住了整个物体，尽管存在视觉障碍。这种精确的3D定位为第四行所示的基于区域的动态风险分析提供了可靠的基础，在该分析中，根据工人和机械之间的准确空间关系正确识别并可视化了风险级别（绿色表示安全，黄色表示潜在风险，红色表示危险）。
下载：下载高分辨率图像（1MB）
下载：下载全尺寸图像
图13. 3D边界框重建和风险分析的可视化结果。
表3总结了单目3D边界框重建在实地测试场景中的性能。所提出的方法在场景级别的3D IoU和BEV IoU平均值分别为0.748±0.035和0.795±0.041，中心定位的RMSE为0.22±0.08米，偏航的RMSE为6.6°±1.8°。在距离最大为5米的场景中，3D IoU的范围是从0.764到0.815，而中心和偏航的RMSE分别在0.11-0.15米和4.3°-5.2°之间。随着最大观察距离的增加，IoU值逐渐降低，定位和方向误差也有所增加。对于距离最远达到20米的场景，3D IoU仍然保持在0.70以上，而中心和偏航的RMSE分别增加到0.29-0.34米和9.2°-9.5°。此外，BEV IoU始终高于3D IoU，表明地面平面定位受到的影响小于对完整三维范围的估计。总体而言，结果证明了在不同实地条件下3D重建性能的稳定性，尽管随着观察距离的增加，精度逐渐下降。

表3. 不同实地测试场景中3D边界框重建的性能。
场景 距离 3D IoU BEV IoU 中心RMSE（米） 偏航RMSE（度）
Scene 01 最大5米 0.764 0.82 0.15 4.3
Scene 02 最大5米 0.796 0.84 0.11 5.2
Scene 03 最大5米 0.815 0.83 0.12 4.8
Scene 04 最大10米 0.735 0.80 0.19 5.4
Scene 05 最大10米 0.741 0.81 0.22 6.3
Scene 06 最大10米 0.745 0.82 0.25 6.7
Scene 07 最大15米 0.722 0.75 0.28 7.8
Scene 08 最大15米 0.737 0.765 0.26 6.9
Scene 09 最大20米 0.715 0.73 0.29 9.5
Scene 10 最大20米 0.708 0.744 0.34 9.2
平均（标准差） 0.748（0.035） 0.795（0.041） 0.22（0.08） 6.6（1.8）

为了评估所提出的风险评估框架的性能，从实地测试中提取的视频被分解成单帧。这些帧通过手动标注了真实的风险级别。然后将所提出的基于区域的动态风险分析方法应用于这些帧，并将结果与手动注释进行比较。表4总结了不同测试场景下的性能指标。
表4. 基于区域的动态风险分析方法的性能。
场景 类别 距离 遮挡 TP FP FN 精确度 召回率
Scene 01 自卸卡车和工人 最大5米 否 25 6 9 11 0.96 6 0.95 9
是 26 9 14 3 6 0.95 10.8 8
Scene 02 挖掘机和工人 最大5米 否 18 3 6 8 0.96 8 0.95 8
是 18 0 7 24 0.96 3 0.88 2
Scene 03 混凝土混合车和工人 最大5米 否 23 7 9 10 0.96 3 0.96 0
是 21 8 7 19 0.96 9 0.92
Scene 04 自卸卡车、挖掘机和工人 最大10米 否 32 21 12 8 0.96 7 0.92 0
是 24 7 14 49 0.94 6 0.83 4
Scene 05 自卸卡车、混凝土混合车和工人 最大10米 否 25 11 22 4 0.95 4 0.91 3
是 19 41 23 8 0.94 2 0.83 6
Scene 06 自卸卡车、混凝土混合车、挖掘机和工人 最大10米 否 24 66 18 0.97 6 0.93 2
是 22 22 16 5 0.91 4 0.77 4
Scene 07 自卸卡车、挖掘机和工人 最大15米 否 18 7 9 0.28 7 0.28
Scene 08 最大15米 0.737 0.765 0.26 6.9
Scene 09 最大20米 0.715 0.73 0.29 9.5
Scene 10 最大20米 0.708 0.744 0.34 9.2
平均（标准差） 0.748（0.035） 0.795（0.041） 0.22（0.08） 6.6（1.8）

为了评估所提出的风险评估框架的性能，从实地测试中提取的视频被分解成单帧。这些帧被手动标注了真实的风险级别。然后将所提出的基于区域的动态风险分析方法应用于这些帧，并将结果与手动注释进行比较。表4总结了不同测试场景下的性能指标。

表4. 基于区域的动态风险分析方法的性能。
场景 类别 距离 遮挡 TP FP FN 精确度 召回率
Scene 01 自卸卡车和工人 最大5米 否 25 6 9 11 0.96 6 0.95 9
是 26 9 14 3 6 0.95 10.8 8 2
Scene 02 挖掘机和工人 最大5米 否 18 3 6 8 0.96 8 0.95 8
是 18 0 7 24 0.96 3 0.88 2
Scene 03 混凝土搅拌车和工人 最大5米 否 23 7 9 10 0.96 3 0 9 0
是 21 8 7 19 0.96 9 0.92 0
Scene 04 自卸卡车、挖掘机和工人 最大10米 否 32 21 12 8 0.96 7 0.92 0
是 24 7 14 49 0.94 6 0.83 4
Scene 05 自卸卡车、混凝土混合车和工人 最大10米 否 25 11 22 4 0.95 4 0.91 3
是 19 41 23 8 0.94 2 0.83 6
Scene 06 自卸卡车、混凝土混合车、挖掘机和工人 最大10米 否 24 66 18 0.97 6 0.93 2
是 22 22 16 5 0.91 4 0.77 4
Scene 07 自卸卡车、挖掘机和工人 最大15米 否 18 7 9 0.28 7 0.28
Scene 08 最大15米 0.737 0.765 0.26 6.9
Scene 09 最大20米 0.715 0.73 0.29 9.5
Scene 10 最大20米 0.708 0.744 0.34 9.2
平均（标准差） 218.5（44.7） 11.7（4.0） 36.0（18.1） 0.948（0.020） 0.855（0.078）

所提出的框架在不同条件下滑展现了稳健的性能，平均精确度为0.948，平均召回率为0.855。虽然在遮挡情况下召回率会因视觉信息的丢失而下降，但精确度保持稳定且较高。这表明尽管严重的遮挡对检测的完整性构成挑战，基于区域的风险分析很少产生误报。此外，结果表明距离和场景复杂性会影响性能。在距离最远达到20米的场景（如Site 09和Site 10）或涉及多种机械交互的场景（如Site 06）中，遮挡情况下的召回率有所下降。然而，考虑到长距离下单目深度估计的复杂性，整体性能仍在实际安全监控应用的可靠范围内。

5.1. 计算效率和实时性能
为了评估所提出框架的计算效率和实时可行性，所有模块都在配备了NVIDIA GeForce RTX 4090 D GPU的相同工作站上进行了基准测试。实地测试数据的输入大小为640×640，每个模块进行了100次运行。每秒帧数（FPS）计算为1000除以平均推理延迟。GPU成本是通过推理期间分配的峰值张量内存来评估的。
如表5所示，模态和无模态实例分割分别达到了110.55和62.35 FPS。3D边界框重建是主要的计算瓶颈，每帧需要51.38毫秒。碰撞风险分析仅在CPU上需要0.566毫秒。整个框架的端到端延迟为53.65毫秒，处理速度为18.64 FPS，峰值GPU内存消耗为509.77 MiB，证明了其在所研究建筑场景中的实时可行性。

表5. RTX 4090 D工作站上的计算效率和实时性能。
模块 推理延迟（毫秒/帧） FP PeAK GPU内存（MiB）
模态实例分割 GPU 9.05 110.55
A模态实例分割 GPU 16.04 62.35
3D边界框重建 GPU 51.38 19.46
碰撞风险分析 CPU 0.57 176 7.75

5. 讨论
本节通过消融实验探讨了分割模型改进的贡献，并将所提出的框架与现有方法进行了比较。还分析了典型的失败案例，并讨论了对建筑安全管理的实际影响。

5.1. 消融实验结果
通过分别排除GAM或SAL，同时保持其他所有因素不变，我们评估了这些改进的单独效果，如表6所示。总体趋势表明，所提出的模型优于基线YOLOv8-seg模型。引入的GAM有效增强了特征提取能力，从而在评估指标上带来了稳定的改进。同样，SAL功能提高了分割质量，特别是在与掩码相关的指标上。此外，随着遮挡程度的增加，基线模型的性能急剧下降，mAP5与现有无模态实例分割方法的定量比较
为了评估所提出框架在无模态实例分割方面的竞争力，选择了五种代表性方法进行比较，包括Mask R-CNN [20]、Occlusion R-CNN (OR-CNN) [45]、双层卷积网络 (BCNet) [19]、基于Transformer的无模态实例分割 (AISFormer) [46] 和 ShapeFormer [47]。为了公平比较，所有方法都在相同的数据集上进行了训练，并使用相同的指标进行评估。定量结果如图15所示。Mask R-CNN在处理遮挡条件时表现有限，边界框的AP值为0.575，掩膜的AP值为0.554。OR-CNN通过联合建模可见区域、无模态区域和遮挡区域，将这些值提高到了0.592和0.563。BCNet通过其对遮挡和被遮挡实例的双层表示，进一步将相应的AP值提高到了0.603和0.585。基于Transformer的方法也展示了竞争性性能。AISFormer的边界框和掩膜的AP值分别为0.623和0.594，而ShapeFormer在相应指标上达到了0.619和0.603。值得注意的是，所提出的方法优于所有比较方法，边界框的AP值为0.636，掩膜的AP值为0.606。这些结果表明将GAM和SAL融入分割模型的有效性，以及从PCNet中获得的全局形状先验的关键作用。

图15. 与现有无模态实例分割方法的性能比较。

5.2.2. 与现有的人机碰撞监测方法的定性比较
为了进一步展示所提出框架的优势，我们对本研究与现有的人机碰撞监测方法进行了定性比较，如表7所示。大多数现有方法专注于工人和机械之间的空间关系分析或运动跟踪。然而，它们通常忽略了无模态感知和CV模型的改进，这意味着它们的性能容易受到施工现场视觉遮挡的影响。虽然一些基于跟踪的方法 [36], [38], [48] 可以提供运动感知的碰撞警告，但它们的风险评估方法需要无遮挡的视图，这意味着在遮挡条件下它们可能会失败或产生误报。相比之下，所提出的方法将改进的无模态实例分割模型与基于区域的动态风险评估相结合。通过增强特征提取和掩膜补全，该框架确保了后续的动态风险评估是基于完整的空间信息进行的。此外，所提出的框架已通过现场实验得到验证，证明了其在遮挡条件下的实际适用性和可靠性。

表7. 与现有的人机碰撞监测方法的定性比较。

方法 作者 无模态感知 CV模型改进 三维空间分析 动态风险评估
所提出方法 – 是 是 是 是 是
3D位置估计 Son等人 [13] 否 否 是 否
3D空间接近度 Yan等人 [3] 否 否 是 否
运动预测 Gan等人 [48] 否 否 否 是
鸟瞰图转换 Zhang等人 [36] 否 否 否 是
空间相关性评估 Bao等人 [37] 否 是 是 否
3D对象检测 Ding等人 [38] 否 否 是 是
现场检查 – 否 否 否 是
视频监控 – 否 否 否 是

5.3. 失败案例分析
图16展示了所提出框架的代表性失败案例。如图16(a)所示，自卸卡车被前景挖掘机严重遮挡，被无模态实例分割模块遗漏。因此，没有为该实例生成掩膜，随后的无模态补全模块也无法恢复其完整掩膜。图16(b)展示了一个远距离场景下的失败情况。随着相机到物体的距离增加，混凝土搅拌机在图像中占据的像素减少，使其边界、明显尺寸和方向线索的区分度降低。因此，在2D到3D反投影过程中，掩膜定位和单目深度预测中的小错误被放大。例如，由黄色长方体表示的左侧混凝土搅拌机被错误地估计为距离相机只有5.3米。投影的3D边界框没有准确对齐图像中车辆的实际方向和空间范围。

图16. 所提出框架的代表性失败案例。

5.4. 对建筑安全管理的实际影响
本研究的结果对增强建筑现场的安全管理实践具有重要意义，尤其是在复杂和动态的环境中。首先，所提出的无模态实例分割框架解决了视觉遮挡的挑战，这是基于视觉的碰撞监测中遗漏检测的主要原因。传统的基于视觉的监测系统通常无法检测到被材料或其他设备部分遮挡的工人或机械。通过恢复被遮挡实体的完整几何形状，所提出的方法为安全管理人员提供了更完整的现场视图，减少了盲点。这种能力使得能够早期检测到从障碍物后面出现的工人，从而防止了由于视觉线索碎片化而可能被标准对象检测模型遗漏的事故。其次，与静态基于距离的监测相比，我们基于区域的动态风险评估提供了更精确且操作效率更高的安全解决方案。当前的安全规定通常依赖于固定的禁区，这可能会妨碍生产率或无法考虑高速机械。所提出的方法根据建筑机械的实时运动状态动态调整风险区域。第三，利用单目3D重建为现场部署提供了一种成本效益高的策略。与依赖于昂贵的LiDAR或立体相机设置的方法不同，所提出的框架可以从单摄像头画面中提取3D空间信息。这意味着建筑公司可以利用现有的监控摄像头实施3D安全监测，而无需大量投资硬件。

6. 结论
本文开发了一个框架，将无模态实例分割与单目3D边界框重建相结合，以解决建筑安全监测中的视觉遮挡问题。所提出的框架不仅能够检测可见的部分，还能够分割建筑实体的可见和不可见部分，并在遮挡条件下进行动态风险评估。实验结果表明，在严重遮挡情况下，所提出的框架将掩膜分割的mAP50和mAP50–95分别提高了0.072和0.141。现场测试结果表明，所提出的框架能够有效恢复建筑实体的不可见部分，并分别实现了0.948和0.855的平均风险评估精度和召回率。预计所提出的方法将为频繁发生遮挡的建筑环境中的人机碰撞提供预防性解决方案。

尽管结果很有希望，但仍需承认几个限制。首先，作为一个纯基于CV的方法，所提出的框架适用于部分遮挡的情况，但在完全遮挡的情况下会失败。其次，当前框架主要在正常天气和日光条件下进行了验证。其在极端视觉退化条件下的鲁棒性，如大雨、雾或低光照夜间操作，需要进一步探索。最后，所提出框架的性能需要在更多条件下进行验证，包括不同的机械规模、建筑活动和更复杂的现场布局。

这些限制将在未来的研究中得到解决。首先，未来的研究将专注于集成多模态数据，例如将单目视觉与UWB或RFID传感器融合，以确保即使在实体完全隐藏在相机视野之外时，所提出框架的有效性。其次，将在分割阶段之前应用先进的图像增强算法，如低光增强和去雨网络，以克服视觉退化。最后，将进行广泛的现场测试，以评估该方法在不同相机视角、复杂机械类型和多种现场操作下的可靠性。

CRediT作者贡献声明
Hangdong Bu：写作 – 审阅与编辑、写作 – 原始草稿、可视化、验证、软件、方法论。
Sheng Bao：写作 – 审阅与编辑、监督、项目管理、资金获取、概念化。