建筑工地中用于状态推理的悬挂物体深度感知检测

《AUTOMATION IN CONSTRUCTION》：Depth-aware detection of hanging objects for state reasoning in construction sites

针对传统视觉检测模型难以识别悬挂物体的挑战，本文提出基于单目深度信息的HODNet框架，通过深度感知特征模块和边界引导预处理提升检测精度，有效解决复杂场景中的视觉歧义问题，实验验证其显著优于现有方法。

　　

郑吉秀（Gilsu Jeong）| 李俊硕（Joonseok Lee）| 朴文秀（Moonseo Park）| 安昌彬（Changbum R. Ahn）

韩国世宗南13120，加川大学（Gachon University）建筑工程学院

摘要

悬挂物体是指通过塔式起重机提升和运输的材料或部件，需要持续监控，因为未被发现的悬挂负载可能导致严重事故并扰乱施工流程。然而，传统的基于视觉的检测模型由于视觉模糊性和对外观的依赖（而非空间推理）而难以识别悬挂状态。为了解决这一挑战，本文提出了一种框架，该框架利用单目深度信息更有效地推断悬挂状态。该方法包含一个深度感知特征模块，用于捕捉深度差异和空间上下文；以及一个基于分割的深度预处理步骤，以细化物体边界。将此方法集成到基线检测器中后，显著提高了检测精度并减少了复杂场景中的误报率。实验结果证明了深度感知建模的价值，为可靠地检测悬挂物体奠定了基础，从而实现了自动化监控，并支持施工环境中更高效的起重作业和现场流程管理。

引言

随着建筑项目的复杂性和规模的增加，对有效且可靠的监控方法的需求也在增长。施工现场监控对于跟踪项目进度、确保进度合规性以及识别可能影响整体生产力的低效率或延误至关重要[[1], [2], [3], [4]]。此外，有效的监控对于通过及时发现可能导致事故或伤害的危险情况来维护现场安全尤为重要。尽管现场监控至关重要，但依赖人工观察的传统方法受到人为错误的限制，且无法提供连续覆盖，尤其是在大规模或复杂的环境中。基于视觉的监控技术的最新进展显著增强了识别和分析各种建筑活动的能力[[5], [6], [7]]。特别是基于计算机视觉技术的自动化监控系统能够实现连续和客观的现场观察，从而减少了对人工检查的依赖，并提高了准确性和效率[[8], [9], [10]]。通过实现可靠和连续的现场观察，这些自动化系统帮助施工管理人员及时识别潜在危险和流程中断。然而，尽管取得了显著进展，但对于某些需要精确空间理解和上下文意识的关键监控任务，现有自动化方法仍然具有挑战性。

在各种建筑监控任务中，检测和跟踪悬挂物体（如通过塔式起重机提升和运输的材料）对于确保安全和生产力至关重要[[11], [12], [13]]。在此背景下，悬挂物体被定义为任何通过起重机绳索悬挂且明显与地面或其他支撑结构分离的材料或部件。这一定义仅关注物体的提升状态，而不考虑其具体类型或大小。提升作业通常在工人视野受限的位置进行，增加了悬挂材料引发事故的风险。对这些物体的实时监控不足可能导致严重伤害或死亡，这突显了在高风险建筑环境中系统观察的必要性[[14], [15], [16]]。除了安全问题外，有效监控提升作业对于保持工作流程效率和减少延误也很重要。适当的协调和及时处理材料有助于防止施工活动中的不必要的中断，从而提高整体现场生产力[17,18]。悬挂物体的自动化检测和跟踪使施工管理人员能够优化起重机调度、协调材料流动，并实时做出明智决策，直接促进更高效和可靠的施工过程。鉴于准确可靠地检测悬挂物体的重要性日益增加，显然需要开发能够替代人工观察并提高施工现场监控整体效率的自动化检测系统。

然而，传统的物体检测模型在识别施工现场的悬挂物体时面临重大挑战。这些模型主要依赖于形状、纹理或颜色等视觉外观线索，这些线索往往不足以区分由塔式起重机悬挂的物体和放置在地面上的物体。由于悬挂物体通常与地面物体具有相似的视觉特征，标准的基于RGB的检测方法难以准确推断其状态。这些模型的主要挑战在于它们无法解决视觉模糊性，并在视觉复杂的建筑环境中可靠地推断物体的上下文相关状态[19]。此外，施工现场遇到的各种物体为传统检测方法带来了额外的挑战。考虑到需要提升操作的多种材料和设备（包括梁、面板、容器和预制组件），预先定义和标注所有可能的提升物体类别往往不切实际。这限制了基于类别的识别方法在现实世界条件下的适用性。先前的研究进一步证实，即使是专为类别识别设计的最先进的物体检测器，也无法高可靠性地推断物体的悬挂状态。这些关键限制凸显了需要从基于外观的、特定类别的检测转向基于状态的检测范式的必要性，后者侧重于推断物体是否处于悬挂状态，而不是识别其类别。这种转变使模型能够泛化到不同的物体类型，并在动态和视觉复杂的建筑环境中提供更多与安全相关的信息。此外，悬挂物体与其周围背景之间的频繁接近和视觉相似性使得基于外观的模型难以清晰地划定物体边界或解释它们在场景中的上下文关系。这些挑战强调了从传统检测方法向能够稳健推断建筑现场复杂视觉环境中物体操作状态的基于状态的检测方法发展的必要性。

为了解决这一研究空白，悬挂物体检测已成为一个新挑战，需要能够准确推断复杂场景中物体悬挂状态的模型。之前的研究[19]引入了HangCon（建筑现场悬挂物体）基准数据集，作为建筑环境中悬挂物体的专用资源，提供了涵盖多种现实世界场景的全面注释。在此基准的基础上，本文提出了一种深度感知检测框架，该框架利用深度信息通过引入HODNet（悬挂物体深度感知特征模块）来识别悬挂物体，该模块旨在分析物体与其周围环境之间的深度差异。为了进一步提高基于深度的推理可靠性，引入了一个基于分割的深度预处理流程来细化物体边界并提高单目深度图的质量。在此基础上，HODNet被集成到基线检测网络中。整个模型使用了一个复合损失函数进行了优化，该函数包含了专为悬挂物体检测定制的深度一致性正则化项。通过在建筑现场悬挂物体场景的专用数据集上进行全面的消融研究和实验，验证了所提出方法的有效性。实验结果表明，所提出的方法显著提高了检测性能和在实际建筑环境中的自动化监控实用性。

本文通过提出HODNet为该领域做出了贡献，该模型旨在提高复杂建筑场景中悬挂物体的识别能力。通过利用深度变化和细化物体边界，所提出的模型能够更准确地识别悬挂物体。实验结果表明，所提出的方法优于现有的基于外观的检测器，突显了专门建模的重要性以及单目深度信息在推断物体悬挂状态方面的有效性。总体而言，本文为推进悬挂物体检测研究和发展更强大的建筑现场自动化视觉监控系统奠定了基础。通过实现更准确的安全监控和改进塔式起重机操作的过程管理，所提出的框架支持实现更安全和更高效的施工流程。

部分摘录

背景和相关工作

在建筑环境中检测悬挂物体的挑战在于，传统的物体检测模型仅基于视觉外观难以识别这些物体。这一限制在复杂的建筑场景中尤为明显，因为仅凭视觉线索不足以推断物体的物理状态。为了提供解决这一问题的必要背景，本节回顾了理论基础和相关文献。

方法论

与建筑现场的一般物体检测任务相比，检测悬挂物体面临独特的挑战。传统的物体检测模型主要依赖于从RGB图像中提取的外观特征，如颜色、纹理和形状。然而，悬挂物体通常缺乏指示其悬挂状态的明显视觉线索，因此仅凭RGB信息难以区分它们。在实际的建筑环境中，可以使用多种材料

实验设置

本节概述了用于评估所提出的悬挂物体检测方法有效性的实验框架。首先详细介绍了数据集规范，包括HangCon基准数据集和一个用于评估泛化能力的额外网络收集的测试数据集。随后定义了用于测量检测精度和定位质量的评估指标，以及一系列竞争模型。

实验结果和讨论

本节展示了实验结果和全面分析，以验证所提出的深度感知悬挂物体检测框架。首先，在HangCon基准数据集上评估了深度感知建模的定量性能。随后，分析了加入绳索注释的影响，以评估显式空间上下文的价值。然后使用从网络收集的分布外数据集检验了所提出方法的泛化能力。

结论

本文探讨了在建筑环境中检测悬挂物体的问题，传统物体检测模型常常由于依赖视觉外观线索、有限的上下文推理能力和对基于类别的识别的固有依赖而失败。为了克服这些限制，提出了一种结合视觉和空间线索的方法来改进悬挂状态的识别。HODNet是一个深度感知特征提取模块

CRediT作者贡献声明

郑吉秀（Gilsu Jeong）：撰写 – 审稿与编辑、初稿撰写、可视化、验证、项目管理、方法论、数据整理、概念化。李俊硕（Joonseok Lee）：撰写 – 审稿与编辑、方法论、概念化。朴文秀（Moonseo Park）：撰写 – 审稿与编辑、概念化。安昌彬（Changbum R. Ahn）：撰写 – 审稿与编辑、项目管理、概念化。

写作过程中生成式AI和AI辅助技术的声明

在准备本工作时，作者使用了ChatGPT来提高可读性和语言表达。使用该工具后，作者根据需要审查和编辑了内容，并对出版物的内容负全责。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

致谢

本研究得到了首尔国立大学人工智能研究所和韩国国家研究基金会（NRF）通过教育部资助的基础科学研究计划（RS-2023-00241707）的支持。作者感谢对此研究的支持。