立体匹配（Stereo Matching）与时空交互分析（Spatiotemporal Interaction Analysis）融合：一种施工现场挖掘机相关撞击危险（Struck-By Hazards）检测方法

《Buildings》：Fusion of Stereo Matching and Spatiotemporal Interaction Analysis: A Detection Method for Excavator-Related Struck-By Hazards in Construction Sites Yifan Zhu, Hainan Chen, Rui Pan, Mengqi Yuan, Pan Zhang and Wen Wang

　　

在建筑行业中，涉及履带式挖掘机（Crawler Excavators）等重型设备的撞击事故（Struck-By Accidents）是导致工人伤亡的主要原因。现有的基于视觉（Vision-Based）的危险检测方法受限于近似评估、对特定参考物（Specific References）的依赖以及对设备与工人之间空间关系（Spatial Relationships）的忽视，使其难以适应复杂动态的施工环境。本研究旨在通过提出一种精确且适应性强的撞击危险检测方法来解决这些局限性。该方法集成了四个核心模块：通过YOLOv5-DeepSORT模型进行目标跟踪（Object Tracking）以检测工人、挖掘机及其关键部件；活动识别（Activity Recognition）以识别挖掘机的工作或静止等工作状态以及工人的驾驶员或现场工人等身份属性；基于立体视觉（Stereo Vision）使用BGNet模型和相机标定（Camera Calibration）计算三维空间距离（3D Spatial Distances）的近距离估计（Proximity Estimation）；以及安全识别（Safety Identification）以实时评估工人安全状态。通过在平地（Flat Ground）、崎岖地形（Rugged Terrain）和斜坡（Slope）三种虚拟施工场景中的验证，该方法分别实现了92.71%、90.04%和94.25%的高安全状态识别准确率。研究结果证明了其在适应多样化施工环境和准确捕捉设备-工人空间交互（Spatial Interactions）方面的鲁棒性（Robustness）。本研究拓展了复杂环境下危险监测的应用范围，提高了安全识别效率，并为改善施工现场安全管理提供了可靠的技术解决方案。

在建筑行业中，撞击事故（Struck-By Accidents）是导致工人死亡和受伤的第二大原因及首要非致命伤害原因，其中近75%的此类伤亡由重型设备在行人附近运行造成。传统人工检查方法存在劳动密集、耗时且距离评估不精确等缺陷，而现有的基于计算机视觉（Computer Vision）的自动化检测方法通常仅提供近似估计，或依赖特定参考物（如已知长度或地形假设），且未充分考虑设备运行状态与工人身份属性等空间关系因素，导致其在复杂动态施工环境（如存在高差变化的斜坡或坑洼地形）中的检测精度不足。为填补上述研究空白，研究人员提出了一种基于立体视觉（Stereo Vision）的挖掘机-工人交互撞击危险检测方法，并构建包含目标跟踪、活动识别、近距离估计与安全识别的多模块协作框架。该研究通过三种虚拟施工场景的实验验证，证明了方法在多样化环境中的适应性与鲁棒性，为施工现场安全管理提供了更准确的技术解决方案。本论文发表于《Buildings》期刊。

研究人员采用YOLOv5-DeepSORT模型进行目标跟踪（Object Tracking），检测并追踪工人、挖掘机、驾驶室及履带等关键部件；利用质心（Centroid）变化与图像差分（Image Differencing）法识别挖掘机工作状态，通过改进的交并比（Intersection over Union, IOU）指标即交驾驶室比（Intersection over Cab, IOC）判定工人身份属性；基于BGNet立体匹配（Stereo Matching）模型与针孔成像模型（Pinhole Imaging Model）进行三维空间距离计算；最终整合多模块信息实现安全状态实时判定。研究使用Unity实时开发平台构建虚拟场景，采用MOCS数据集（包含12051个挖掘机、8879个驾驶室、7431个履带和89410个工人标注的21615张图像）训练检测模型，并通过 MATLAB Camera Calibrator 进行相机标定。

**目标跟踪模块（Object Tracking Module）**：研究人员采用YOLOv5-DeepSORT模型检测并长期追踪监控视频中的多类施工实体（Construction Entities）。该模块可识别挖掘机、驾驶室、履带及工人的边界框（Bounding Box）位置与类别，其中驾驶室用于判断工人是否为驾驶员，履带用于确定挖掘机位置。

**活动识别模块（Activity Recognition Module）**：该模块通过质心变化计算与图像差分技术识别挖掘机的工作（Working）或静止（Static）状态。质心变化通过欧氏距离（Euclidean Distance）计算边界框中心点位移，当位移超过阈值时判定为移动状态；若位移小于阈值，则通过计算连续帧边界框内像素值绝对差分的总和识别形状变化，从而判断挖掘机是否处于工作状态。对于工人身份识别，研究人员提出交驾驶室比（IOC）指标，通过计算工人边界框与驾驶室边界框的重叠面积与工人边界框面积的比值，判定工人是驾驶员（Driver）还是现场工人（Field Worker）。

**近距离估计模块（Proximity Estimation Module）**：为解决二维图像投影失真（Projection Distortion）问题，研究人员引入基于立体视觉的三维空间距离计算方法。该模块首先通过张正友标定法获取相机内参（Intrinsic Parameters）与外参（Extrinsic Parameters），然后利用BGNet模型进行立体匹配生成视差图（Disparity Map），基于公式 Z_c=f·b/(u_L-u_R) 计算深度值（Depth Value），其中f为像素焦距，b为双目基线长度（Baseline Length），u_L与u_R分别为左右图像中特征点的横坐标。最后通过针孔成像模型将像素坐标转换为相机坐标系（Camera Coordinate System）下的三维坐标，并计算工人与挖掘机代表点之间的欧氏距离作为空间近距离。

**安全识别模块（Safety Identification Module）**：该模块综合前述三个模块的输出信息，通过多层级判断逻辑实时识别工人安全状态。若未检测到挖掘机，则工人处于安全状态；若检测到挖掘机，则根据工人身份判断（驾驶员为安全，现场工人需进一步判断）；若工人靠近挖掘机，则根据挖掘机工作状态（工作状态下为危险，静止状态下为安全）最终确定安全状态。安全距离阈值设为8米，各模块阈值通过网格搜索（Grid-Search）调优确定。

**场景生成（Generation）**：研究人员在Unity平台构建了三种虚拟施工场景：平地（无高差）、崎岖地形（最大高差约1.5米）和斜坡（6度倾斜路面）。使用两个虚拟相机模拟立体相机，配置为高度5.0米、传感器尺寸36×24毫米、焦距40毫米、向下倾斜角10°、基线长度10厘米。通过记录100张不同角度的黑白棋盘格图像进行相机标定，验证参数准确性。

**数据集生成与模型训练（Dataset Generation and Model Training）**：基于MOCS数据集，研究人员提取包含挖掘机和工人标注的图像，并通过五名专业人员使用LabelImg工具标注驾驶室和履带部件，最终形成21615张图像的数据集，按0.7:0.15:0.15比例划分为训练集、验证集和测试集。YOLOv5模型在测试集上表现优异。立体匹配采用BGNet预训练模型（Sceneflow-BGNet-Plus.pth）。

**实验对比（Experiment Comparison）**：为验证立体视觉方法的有效性，研究人员同时采用基于参考物的方法（Reference-Based Method）进行对比，该方法假设地面平坦且已知工人与挖掘机的代表点高度（分别为0米和1米），通过相机高度、倾斜角和焦距计算深度。

**实验结果（Results）**：在目标跟踪方面，三种场景中工人、挖掘机、驾驶室和履带的识别率（Identification Rate）均达到93%以上。在活动识别方面，挖掘机状态识别准确率在98%以上，工人身份识别准确率达100%。在近距离估计方面，立体视觉方法在平地、崎岖地形和斜坡场景中的平均误差分别为0.81米、0.89米和0.59米，而参考方法在崎岖地形和斜坡场景中的误差分别高达3.17米和7.22米。在安全识别方面，立体视觉方法在三种场景中的整体准确率分别为92.71%、90.04%和94.25%，F1分数（F1-Score）表现稳定，而参考方法在崎岖地形和斜坡场景中的准确率分别仅为64.62%和74.96%。

**讨论（Discussion）**：研究表明，立体视觉方法在非平面复杂地形中的近距离估计精度显著优于基于参考物的方法，尽管参考方法在理想平地条件下表现略优。活动识别模块在处理驾驶室玻璃遮挡和挖掘臂遮挡工人时存在识别困难。研究局限性包括：目前仅在单工人单挖掘机的虚拟环境中验证，未充分考虑实际施工环境中的光照变化、天气影响、传感器噪声及标定误差等因素；多智能体（Multi-Agent）环境中的频繁遮挡和复杂交互模式可能增加跟踪不确定性。此外，当估计距离接近安全阈值时，深度估计的不确定性可能导致边界案例的分类波动，研究人员建议采用时间平滑（Temporal Smoothing）和多级安全状态而非单一二元决策来缓解此问题。

**研究结论（Conclusions）**：本研究针对施工现场挖掘机与工人之间的撞击危险（Struck-By Hazards）问题，提出了基于立体视觉（Stereo Vision）的检测方法。该方法通过集成目标跟踪（Object Tracking）、活动识别（Activity Recognition）、近距离估计（Proximity Estimation）和安全识别（Safety Identification）四个核心模块，实现了对复杂动态环境中工人安全状态的精确评估。在平地（Flat Ground）、崎岖地形（Rugged Terrain）和斜坡（Slope）三种虚拟场景中的验证表明，该方法具有92.71%、90.04%和94.25%的高准确率，证明了其在多样化施工环境中的强适应性和鲁棒性（Robustness）。研究的主要创新在于将立体匹配（Stereo Matching）技术与时空交互分析（Spatiotemporal Interaction Analysis）相结合，克服了传统二维视觉方法依赖参考物且无法准确反映三维空间关系的缺陷，通过多维度评估而非单一距离判断提高了安全识别效率。未来研究将聚焦于基于姿态估计（Pose Estimation）的活动状态检测、扩展至更多重型机械类型，以及优化近距离估计模块以进一步降低误差范围并提高精度。