《AUTOMATION IN CONSTRUCTION》:Occlusion-aware construction worker tracking with scene-aware transformers and hybrid bounding-box recovery
编辑推荐:
•该跟踪方法通过双重恢复机制增强场景感知能力,以应对建筑工地中的遮挡问题。•卡尔曼滤波用于处理短期遮挡,而基于活动特征的模板则用于解决长期遮挡问题。•数据集包含12种不同活动,3种遮挡程度(轻微、中等、严重),每种活动每种遮挡程度各有3段视频片段(共108段视频,240–450帧
- •
该跟踪方法通过双重恢复机制增强场景感知能力,以应对建筑工地中的遮挡问题。
- •
卡尔曼滤波用于处理短期遮挡,而基于活动特征的模板则用于解决长期遮挡问题。
- •
数据集包含12种不同活动,3种遮挡程度(轻微、中等、严重),每种活动每种遮挡程度各有3段视频片段(共108段视频,240–450帧)。
- •
与YOLO+SORT、DeepSORT以及仅使用SAMURAI的方法相比,该方法能提升交并比和跟踪连续性,减少目标识别错误。
- •
研究还确定了用于自适应恢复选择的经验性阈值。
引言
近年来,基于视觉的监控系统在建筑行业受到了广泛关注,因为它们有助于提升工人的安全保障及工作效率评估。与以往的感应方法(如RFID或可穿戴惯性测量单元)不同,基于视觉的方法能够实现无干扰监控,不会影响工人的舒适度或便利性[1]、[2]、[3]、[4]、[5]、[6]。通过自动检测和跟踪工人,这些系统能够支持实时风险评估、安全合规性检查以及进度评估。然而,在现实环境中,基于视觉的方法的可靠性常常会受到影响,因为存在两种主要问题导致跟踪数据缺失:其一为遮挡,即摄像头与目标工人之间的视线被设备、其他工人、结构元素或临时材料等物体阻挡;其二为系统性的采集故障,比如照明条件不佳导致视线受阻、摄像头暂时出现故障或数据丢失(如帧丢失或编码错误)。这些问题会导致跟踪数据出现大量空白,进而破坏目标的连续性,影响后续任务如进度评估、姿态估计和活动识别等的准确性。因此,一个重要的挑战就是开发出一种既能抵御遮挡又能应对短暂数据丢失的跟踪方法,即便在出现此类干扰时仍能保持目标框的连续性。
此前已有多项研究[7]、[8]、[9]、[10]、[11]试图通过帧间运动建模或轨迹平滑技术来保持目标身份,从而解决遮挡或视觉中断情况下的跟踪问题,这类方法可以填补短暂视觉干扰造成的数据缺口。还有其他一些方法[12]、[13]、[14]、[15]采用了基于外观的特征重识别技术,使得跟踪器能够在视线恢复后识别并重新关联之前观察到的目标。更为近期的研究[16]、[17]、[18]、[19]、[20]则运用了注意力机制或具有记忆功能的架构等时间建模技术,通过整合多帧的上下文信息,进一步提升系统对遮挡和复杂背景的适应性。
虽然这些方法在一定程度上提升了系统在轻微或中度遮挡条件下的跟踪稳定性,但在目标被完全遮挡较长时间,或者与其它工人视觉上难以区分的情况下,仍然存在局限性。在这种情况下,目标框的连续性可能会完全丧失,目标身份的一致性也会被打乱。此外,大多数现有方法通常不具备领域特异性,无法融入与建筑工地相关的工作空间行为特征这类重要信息。这些不足都表明,需要一种不仅能提升跟踪稳定性,还能结合领域知识在严重遮挡或视线缺失时重建缺失目标框的解决方案。
为了解决这些难题,本研究提出了一种适用于建筑环境的强大跟踪与恢复方法。我们旨在评估基于变换器的场景感知目标跟踪模型在易发生遮挡场景中的性能,并开发一种混合式恢复模块,该模块能够利用短期时间预测和基于活动特征的空间模板来重建缺失的目标框。我们的方法将基于变换器的场景感知跟踪技术与双重恢复模块相结合:使用卡尔曼滤波处理短期遮挡问题,同时使用基于活动特征的模板匹配器实现长期恢复。这样一来,即使面临长时间的视觉干扰,系统也能保持目标框的连续性。随后,我们在不同程度的遮挡条件下测试了该方法的性能,并将其与YOLO+SORT、DeepSORT以及SAMURAI等现有方法进行了比较。本研究的主要贡献有两点:一是提出了一种能够根据遮挡持续时间进行自适应调整的强大上下文感知跟踪方法;二是通过实验证明,结合与特定活动相关的恢复策略,能够提升实际建筑环境中的跟踪精度和目标身份一致性。
章节摘要
建筑领域视觉监控中的遮挡处理问题
建筑工地中存在着持续的移动、复杂的空间布局以及频繁的物理障碍物,这使得遮挡成为基于视觉的监控方法面临的一个重大挑战。当摄像头与目标工人之间的视线被静态结构(如脚手架、临时屏障)、动态障碍物(如设备、车辆)或正在工地内活动的其他工人所阻挡时,就会出现遮挡现象。这种情况下,目标物体可能只能部分被看到。
研究方法
本研究主要包括三个步骤:(1)数据收集与预处理;(2)基于场景感知的变换器跟踪算法及遮挡检测;(3)一种能够在严重遮挡情况下确保目标框连续性的混合式恢复模块。图1展示了整个研究的框架结构。
不同遮挡程度下的跟踪精度表现
我们从交并比、中心偏移距离以及恢复成功率这三个指标出发,评估了所提方法在轻微、中等和严重三种遮挡程度下的性能。这些指标可用于衡量该方法的空间精度、位置稳定性以及恢复效果,表3展示了其在复杂视觉条件下的性能表现。
在轻微遮挡情况下,共有476帧图像(占所有图像的5.2%)被判定为检测缺失,而所有这些缺失的帧都通过相应方法得到了恢复。
遮挡程度加剧时跟踪连续性的优势
研究发现,在所提出的方法中,短期内的目标缺失对跟踪连续性的影响要大于长期遮挡。短期缺失会导致跟踪完全中断,而长期恢复机制即便在空间精度有所下降的情况下仍能维持跟踪的连续性。短期卡尔曼滤波模块的设计目的是通过依据之前的运动状态来预测目标工人的目标框位置,从而应对短暂的遮挡情况。不过分析显示,短期遮挡...
研究结论
本研究提出了一种结合基于变换器的场景感知目标跟踪技术与双重恢复模块的混合框架,用于在遮挡情况下实现建筑工人的精准跟踪。通过弥补现有跟踪方法在严重视觉干扰下的缺陷,我们的方法提升了建筑环境中目标框跟踪的连续性与准确性。实验结果表明,无论是在轻微、中等还是严重的遮挡条件下,所提方法都具有很高的恢复成功率,且能够保持良好的跟踪效果。
CRediT作者贡献说明
洪成国:负责原始稿撰写、方法设计、实验研究以及正式分析工作。金贤洙:负责审稿与编辑、项目监督、项目管理以及概念构思工作。李博京:负责原始稿撰写、结果可视化、方法验证、资金申请以及数据整理工作。
利益冲突声明
作者声明不存在任何可能影响本文研究结果的已知财务利益关系或个人关系。
Sungkook Hong|Hyunsoo Kim|Bogyeong Lee