建筑领域YOLO模型适应与部署的系统综述
《AUTOMATION IN CONSTRUCTION》:Systematic review of YOLO model adaptation and deployment in construction
【字体:
大
中
小
】
时间:2026年10月28日
来源:AUTOMATION IN CONSTRUCTION 12.6
编辑推荐:
•提出了建筑-YOLO适应框架,用于组织建筑领域中的YOLO研究。
•对149篇期刊论文(2016–2025年)进行了PRISMA指导的系统性综述。
•将应用综合为三个领域:缺陷检测、现场监测与安全、室内场景理解。
•识别出关键障碍:数据稀缺性、复杂现场鲁棒性、实时推理和边缘部署
•提出了建筑-YOLO适应框架,用于组织建筑领域中的YOLO研究。
•对149篇期刊论文(2016–2025年)进行了PRISMA指导的系统性综述。
•将应用综合为三个领域:缺陷检测、现场监测与安全、室内场景理解。
•识别出关键障碍:数据稀缺性、复杂现场鲁棒性、实时推理和边缘部署。
•提出了五项建议,以支持YOLO在建筑领域的规模化部署。
1. 引言
随着建筑4.0的发展,建筑行业正朝着更智能、更自动化、数据驱动的实践方向迈进。人工智能(AI)和计算机视觉(CV)通过实现建筑活动中视觉和空间信息的自动解读,为这一转型提供支撑。深度学习的进展提升了建筑场景的几何理解和实例级识别能力[1]、[2],为将现场观测转化为结构化信息奠定了基础。这些能力为进度评估、质量检查和安全管理的支持创造了机会。然而,不断变化的现场布局、复杂背景、遮挡和不同的采集条件使可靠的感知面临挑战,增加了对适合建筑特定任务和运行需求的方法的需求。
在基于AI的视觉感知方法中,YOLO(You Only Look Once)系列已被广泛应用于建筑领域,尤其是需要及时目标检测的应用。基于YOLO的模型可识别个人防护装备(PPE),如安全帽和反光背心,以支持工人安全监控[3]、[4],并可在现场图像中识别工人、车辆和重型设备,以支持态势感知[5]、[6]。它们还可检测建筑物、道路、桥梁和其他基础设施资产中的裂缝、表面缺陷和材料劣化[7]、[8]。这些应用证明了YOLO与建筑感知的相关性,而它们不同的目标、传感条件和所需输出则推动了在数据准备、模型设计和系统部署方面的适应性调整。
建筑安全管理、工人与设备监控、吊装作业监控、进度跟踪和无人机巡检都需要及时的视觉信息。YOLO是与这些应用相关的实时检测器系列,因为其单阶段预测结构和可用的轻量化实现支持对精度、延迟和部署权衡的探索。某一特定实现是否满足实时要求,取决于模型配置、硬件、输入条件和完整处理流程。本综述选出的149篇期刊论文提供了大量关于YOLO如何适应这些要求的建筑领域特定证据。这促使我们对YOLO的演进、面向建筑的适配策略和实际部署问题进行聚焦性综合。
两阶段和基于Transformer的检测器为建筑目标检测提供了替代技术路径;Faster R-CNN和DETR是代表性基础模型[9]、[10]。本综述聚焦于YOLO,因为其在建筑领域使用广泛且与实时感知相关。检测器系列之间的性能比较需要可比的数据集、输入分辨率、硬件、批大小、数值精度、运行时实现和计时边界。端到端延迟包括预处理、检测器推理、后处理以及任何额外的跟踪或系统集成步骤。
现有综述确立了YOLO的发展及其在工业检测和自动驾驶中的应用[11]、[12],其中农业应用展示了向另一操作领域的适配[13]。面向建筑的综述绘制了计算机视觉应用及其实际机会[14]、[15],综合了视觉分析和深度学习的使用[16]、[17],并提供了关于监督学习研究设计的指导[18]。在此基础上,本综述考察了YOLO能力、建筑需求、数据条件和部署证据之间的关系。建筑-YOLO适应框架将综合内容组织为四个模块:应用与任务定义层、数据为中心引擎、算法适配引擎,以及部署与系统集成层。各模块之间的关系和证据空白为五项研究建议提供了依据。
本文其余部分结构如下。第2节描述综述方法和文献选择过程。第3节回顾YOLO算法的演进并介绍所提出的研究组织框架。第4节“模块I:应用与任务定义层”、第5节“模块II:数据为中心引擎”、第6节“模块III:算法适配引擎”、第7节“模块IV:部署与系统集成层”分别对建筑领域的YOLO应用进行详细综述,涵盖应用场景、数据为中心策略、算法适配以及部署与系统集成。第8节讨论未来研究方向和推荐建议,第9节总结全文。
2. 方法
本综述结合了结构化的文献选择过程、描述性文献计量学和演绎式定性综合。识别、去重、标题与摘要筛选、全文评估和纳入均采用PRISMA报告。
2.1. 搜索策略和选择标准
本综述涵盖2016年至2025年10月15日期间发表的、关于YOLO在建筑、土木工程和基础设施领域应用的英文同行评审期刊论文。合格方法包括官方YOLO版本以及具有明确YOLO设计谱系和实质性图像或帧级检测、定位或分割作用的基于YOLO、YOLO衍生或YOLO启发的变体。发表资格由出版商确认的最早发表日期确定,包括在线优先出版日期。文献计量统计描述合格的主要语料库。相关的时空方法,包括You Only Watch Once(YOWO)[19],为叙述性综合提供补充证据。
搜索将算法术语(“YOLO”或“You Only Look Once”)与领域术语(“construction”或“civil engineering”或“infrastructure”或“building”或“site safety”)用AND连接。数据来源包括Web of Science核心合集和Scopus文献索引,以及ScienceDirect、Wiley Online Library和ASCE Library出版商平台。各来源特定的搜索表达式、字段、过滤器和检索记录见附录11。
Web of Science核心合集、Scopus、ScienceDirect、Wiley Online Library和ASCE Library分别产生947、909、221、33和202条记录,共2312条。去除1334条重复记录后,剩余978条唯一记录用于标题与摘要筛选。此阶段排除765条记录,剩余213篇文章进入全文评估。全文评估因领域或方法原因排除27篇,因报告不充分排除37篇,最终纳入149项研究。图1总结了选择流程。
下载:下载高分辨率图像(241KB)
下载:下载全尺寸图像
图1. 文献识别与选择流程。
主要语料库包含符合所述资格标准的帧级YOLO研究。对相关架构的补充搜索使用(“YOWO”或“You Only Watch Once”或“YOLO-inspired”)AND(“construction site”或“built environment”或“structural health monitoring”或“bridge”或“tunnel”或“pavement”或“road”或“railway”)。基于片段的活动识别研究为第4.2.3节中时间监控的讨论提供信息;主要语料库为149项研究的文献计量分析提供基础。
研究依据六项资格标准进行评估:(i)发表窗口内的英文同行评审期刊论文;(ii)建筑、建成环境、土木工程或基础设施应用;(iii)实质性使用合格的YOLO系列模型;(iv)可识别的数据集或数据源;(v)足够的方法学细节以确定模型配置和评估设计;以及(vi)定量性能证据。排除标准包括非建筑应用、仅将YOLO作为比较对象使用、数据、方法或评估报告不足,以及不合格的出版类型,包括会议论文、书籍章节、社论、学位论文和非同行评审记录。每篇全文排除记录一个主要原因。例如,Xu等[20]因YOLO不是主要检测方法而被排除,Gugssa等[21]关于YOLOv3建筑手套的研究因是会议论文而被排除。
建筑-YOLO适应框架采用基于建筑需求与运行感知系统之间工程关系的演绎结构。其四个模块分别涉及所需任务和输出、支撑数据和传感条件、YOLO适配,以及部署或系统证据。这些维度定义了用于分析149项研究语料库的编码类别。
每篇出版物是一个分析单元,可为多个模块贡献证据。编码捕获建筑任务和所需输出;数据来源、标签和评估设计;模型配置和适配;以及部署环境、测试和结果。每项结果归因于被评估的组件或系统,区分拟议应用和已验证应用。来源中未报告的信息记录为“NR”。综合考察任务需求、数据条件和模型选择如何与报告的部署结果相关联。
所有149篇纳入论文均使用统一协议进行编码。附录12提供编码规则和30项具有来源参考的示例研究矩阵。分析比较了相同研究的以版本为中心、以应用为中心和四模块解释,以考察建筑需求、数据、模型和部署证据之间的关系。
2.2. 文献计量分析配置
为了绘制所选研究的主题景观,使用VOSviewer进行关键词共现分析。为确保可视化地图的可复现性并过滤低频术语的噪声,为分析设定了特定参数:采用“全计数”方法对所有出现次数进行等权加权;关键词出现的最小阈值设为5;使用“关联强度”方法进行归一化。聚类分辨率设为1.0。
所得网络如图2所示,揭示“YOLO”、“deep learning”和“object detection”等中心节点锚定研究网络。这些节点连接到三个不同颜色编码的聚类,代表主要研究方向:红色连接表示与现场安全相关的主题(如“PPE”、“construction site”);蓝色连接突出结构健康监测(如“crack detection”);绿色连接代表方法论主题(如“instance segmentation”)。该网络描述了所选语料库的主题结构,并为定性综合提供信息。
下载:下载高分辨率图像(312KB)
下载:下载全尺寸图像
图2. 关键词共现网络。
所选语料库包含149项研究。图3显示了它们的发表年份分布,2023年和2024年的数量高于前几年。
下载:下载高分辨率图像(87KB)
下载:下载全尺寸图像
图3. 按发表年份统计的文章数量。
《Automation in Construction》贡献了82项研究(55.0%)至所选语料库,其他期刊贡献67项(45.0%)(表1)。其在建筑自动化和信息技术方面的覆盖与综述主题密切契合。所有期刊均采用相同的建筑相关性、实质性YOLO使用、出版类型和报告充分性标准。
表1. 所选论文的期刊分布。
序号 期刊 频次
1 Automation in Construction 82
2 Journal of Computing in Civil Engineering 13
3 Journal of Construction Engineering and Management 12
4 Journal of Building Engineering 12
5 Computer-Aided Civil and Infrastructure Engineering 11
6 Advanced Engineering Informatics 11
7 其他期刊 88
8 总计 149
其他期刊的研究对多个分析维度有所贡献。《Journal of Computing in Civil Engineering》中的ACID研究[22]为机械识别数据和标签覆盖提供信息;《Journal of Construction Engineering and Management》中的边缘设备PPE研究[23]将安全需求与模型部署联系起来;《Journal of Building Engineering》中的YOLOv7裂缝识别研究[24]为模型能力的任务特定解读提供信息。《Advanced Engineering Informatics》贡献了将裂缝识别与测量联系起来的证据[25],而《Computer-Aided Civil and Infrastructure Engineering》贡献了水下桥梁结构的声呐-相机检测[26]。这些研究支持第3节“YOLO在建筑中的演进与研究组织”、第4节“模块I:应用与任务定义层”、第5节“模块II:数据为中心引擎”、第6节“模块III:算法适配引擎”和第7节“模块IV:部署与系统集成层”中发展的数据、适配和系统级分析。来源覆盖、英文和仅期刊限制以及报告标准定义了所考虑的证据;文献计量结果描述了这一选定语料库。
3. YOLO在建筑中的演进与研究组织
本节为综述奠定技术和分析基础。第3.1节概述与建筑应用相关的YOLO能力。第3.2节引入基于工程的分析框架,并解释建筑决策、数据条件、YOLO修改和部署需求在所综述研究中如何相互塑造。
3.1. YOLO的演进:从通用检测到建筑相关能力
表2总结了与建筑最相关的YOLO能力。比较围绕目标尺度、所需输出和部署约束进行组织,使用代表性版本解释可用能力如何发展。
表2.关于YOLO演进的施工相关解读及代表性应用。版本分组与关键来源算法变化施工特定挑战代表性施工证据主要边界YOLOv1-v2YOLOv1引入单阶段定位[27];YOLOv2增加了高分辨率输入和基于锚框的预测[28]。时间敏感型粗筛;确立了现场感知的速度基线。基础阶段;在综述语料中,直接用于施工的情况仍然有限。对细小缺陷、小型个人防护装备、远处工人、重叠和遮挡的检测能力较弱。YOLOv3-v4YOLOv3引入多尺度预测[29];YOLOv4结合了空间金字塔池化和特征聚合[30]。小型或远处目标以及杂乱的施工背景。改进型YOLOv3用于道路损坏检测[31];MO-YOLOv4用于桥梁损伤分割[32]。无法恢复缺失像素;对视角、类别不平衡和标签质量仍然敏感。YOLOv5模块化生态系统;可轻松实现特定任务的特征融合、注意力机制和头部修改。快速适应个人防护装备、工人操作和管道缺陷任务。管道缺陷检测[33];工人操作识别[34];地下污水管道缺陷检测[35]。便捷的定制化并未证明可跨项目迁移;结果仍然依赖于数据集和现场。YOLOv6-v7YOLOv6强调工业部署效率[36];YOLOv7开发了特征聚合和训练策略[37]。资源受限下的速度-精度权衡,包括细小裂缝和损伤监测。YOLOv7用于表面裂缝识别[24];YOLOv7-WMF用于路面裂缝实例分割[38]。检测器FPS并非完整系统延迟;传感、预处理、通信和决策逻辑同样重要。YOLOv8扩展输出,包括分割、姿态和定向检测,以及面向导出的部署工具。缺陷几何、构件状态、安全监测和具有空间意义的观测。基于边缘的个人防护装备检测[23];结构损伤分割[39];资源识别[40];天花板损伤评估[41]。输出类型必须与决策匹配;更丰富的输出需要任务匹配的标签和评估。YOLOv9-v10YOLOv9开发了信息保持特征设计[42];YOLOv10研究了减少后处理的端到端检测[43]。复杂场景中个人防护装备、设备和立面缺陷监测的精度-效率权衡。非个人防护装备检测[44];重型设备检测[45];玻璃幕墙损伤检测[46]。部署声明仍需独立的跨站点验证和组件级延迟分析。YOLOv11-v12YOLOv11开发了特征聚合[47];YOLOv12引入了面向注意力的设计[48]。对小目标和复杂视觉条件的潜在改进。YOLOv11的早期施工裂缝检测证据[49];尚无YOLOv12的施工研究被汇总为成熟证据。新兴方向;缺乏针对施工的跨项目验证以支持一般性声明。三项发展尤为重要:多尺度特征支持小型或远处工人及缺陷;专门输出支持分割、定向或姿态;高效实现支持在受限设备上运行。最近的工人检测和井盖研究[50],[51]说明了对这些需求的持续适应。它们的相关性取决于任务和评估条件,而不仅仅是版本号。工程需求决定了哪种能力有用。边界框可以支持缺陷筛查,而测量则需要合适的几何信息。当检测与空间或时间关系相关联时,工人识别有助于接近警告。4 模块一:应用与任务定义层,5 模块二:以数据为中心的引擎,6 模块三:算法适配引擎,7 模块四:部署与系统集成层因此,根据施工任务所需的信息来比较数据、模型和系统选择。3.2. 框架概述施工-YOLO适配框架通过连接任务需求、数据条件、模型适配和部署证据,解释了基于YOLO的结果如何支持施工决策。其贡献在于使这些施工特定关系明确化:决策需要哪种输出,数据是否支持该输出,哪种YOLO适配解决了由此产生的约束,以及评估建立了何种实际使用水平。四个模块的操作定义和关联解释构成了4 模块一:应用与任务定义层,5 模块二:以数据为中心的引擎,6 模块三:算法适配引擎,7 模块四:部署与系统集成层中的分析结构。模块一记录施工任务、目标和所需输出,包括任何已声明的决策或响应要求。模块二记录传感方式、数据来源、标注、增强和评估设计。模块三记录YOLO版本、其在方法中的作用以及对模型或相关处理的更改。模块四区分检测器级测量与系统集成、原型测试、现场实验和操作结果。这些维度支持根据所报告的证据对同一篇出版物进行多重分配。模块顺序表达了工程依赖关系:预期的施工决策决定了所需的输出和观测,这指导了模型适配和部署。部署发现可以揭示需要修订任务定义、获取额外数据或更改模型。图4中的反馈代表了这些关系,并指导了4 模块一:应用与任务定义层,5 模块二:以数据为中心的引擎,6 模块三:算法适配引擎,7 模块四:部署与系统集成层中的跨模块分析。下载:下载高分辨率图像(527KB)下载:下载全尺寸图像图4. 施工-YOLO适配框架。该框架涵盖了从施工任务和输出定义到数据采集与标注、YOLO选择与适配以及系统部署的技术路径。4 模块一:应用与任务定义层,5 模块二:以数据为中心的引擎,6 模块三:算法适配引擎,7 模块四:部署与系统集成层考察了四个相应的问题:施工需求如何决定YOLO的预期输出;数据和标签如何影响训练;模型更改如何解决任务和数据条件;以及由此产生的性能如何转化为施工系统。这一共同结构连接了跨应用领域和检测器版本的分析。以版本为中心的组织识别检测器系列及其修改,而以应用为中心的组织识别施工用例。以组件为中心的组织支持对单个模型更改的分析,通用开发工作流描述系统构建的常见阶段。四模块框架增加了对任务需求、数据、模型输出和部署证据是否相互支持的一致检查。通过不同视角解释相同研究来展示这种比较。对于灌浆缺陷检测[52],该框架连接红外数据和增强与轻量级YOLO适配,同时区分检测器速度与完整工作流验证。对于路面病害检测[53],它区分SPD-YOLO检测、OSNet实例识别和检测车辆集成;所报告的99.4% mAP涉及OSNet识别。对于工人监控[54],它区分YOLO检测和跟踪与预期的操作员辅助用途。这些解读保留了施工应用,同时确定了结果所适用的模型阶段和测试条件。同样的推理适用于部署示例之外。多阶段石材裂缝方法[55]连接YOLO定位与下游分割和模式分组,而多特征背景研究[56]连接版本比较与数据复杂性和实例密度场景。领域自适应研究[57]连接跨站点数据差异与自训练和对抗性适配。总之,这些例子表明,一个共同的分析结构可以区分数据、模型和系统贡献,而不会混合不同的性能指标。编码研究将任务特定需求与不同形式的评估联系起来:隧道裂缝分割与尺寸误差[58],领域自适应与跨站点检测[57],以及模型压缩与消融和效率结果[59]。这些关系在综述中连接了数据、模型和部署分析。4. 模块一:应用与任务定义层模块一检查施工任务和后续决策所需的视觉输出,用户需求为任务定义提供信息[60]。时间敏感型监测依赖于单阶段检测,而涉及缺陷几何、构件方向或工人姿势的决策需要分割、定向边界框或姿态输出。时间关联将YOLO检测与跟踪方法结合。应用分为三个领域:缺陷识别、动态现场监测以及进度和空间场景理解。4.1. 缺陷识别缺陷识别是YOLO在建筑和基础设施检测中的主要应用。检测输出范围从空间定位的病害记录和裂缝分割[7],[8]到多类别损伤表示[32],[39]。这些输出服务于不同的工程目的:快速筛查可能需要类别和边界框,而状况评估可能需要多个损伤类别以支持安全决策[61]。维护规划可能需要进一步的分割、方向、测量或与物理资产的配准。证据按混凝土表面病理、钢结构和涂层劣化以及受限传感环境中的检测进行组织。图5呈现了该分类,表3总结了代表性证据。下载:下载高分辨率图像(556KB)下载:下载全尺寸图像图5. 建筑和基础设施检测中基于YOLO的缺陷识别应用分类。表3. 建筑中基于YOLO的缺陷检测应用概述。具体任务/缺陷类型YOLO版本/架构目标类别关键技术贡献参考文献实时桥梁裂缝检测YOLOv6-l;剪枝YOLO模型混凝土裂缝;剥落;露筋针对边缘计算(如Jetson Xavier NX)优化;通过模型剪枝平衡速度(FPS)与检测精度。[8],[62]细粒度表面病理YOLOv3/YOLOv4与注意力模块多类别损伤(裂缝、坑洞、泛碱)增强特征提取主干以解决“小目标”问题(裂缝的极端长宽比)。[32],[39]地下/不可见缺陷热成像YOLO(红外输入)分层;灌浆空洞;渗漏多光谱融合:利用热梯度检测标准RGB传感器不可见的内部缺陷。[52],[63]隧道结构检测YOLOv4/v5 + 几何投影楔形块;螺栓孔;衬砌裂缝二维到三维集成:将二维检测框映射到三维隧道点云以实现精确空间定位。[64],[65]光伏电站检测YOLOv5s-GBC(GhostConv + 注意力)热斑;太阳能板表面破损轻量级架构:用Ghost模块替换标准卷积以实现高效的无人机航空检测。[66]钢结构和涂层分析YOLOv5/v7(多类别头部)锈蚀等级;漆面剥落;起泡颜色/纹理分析:细粒度分割以区分腐蚀阶段和涂层失效。[67]水下基础设施YOLO-水下(定制变体)水下混凝土损伤;管道腐蚀领域自适应:针对水浊度、光折射和低对比度水生环境优化的算法。[68],[69]工程机械部件改进型YOLOv5缆机部件;吊物;钢管部件识别:从杂乱的现场背景中区分复杂机械部件以确保操作安全。[70],[71]混凝土检测需要识别异质背景下的裂缝和其他损伤[24],[72]。细小裂缝占据像素极少,而污渍、接缝和粗糙纹理可能类似损伤,因此特征增强和高效识别很重要[31],[62]。像素级分割为路面裂缝检测增加了几何信息[73],[74],这需要对线性裂缝几何敏感的评估[75]。红外热成像将检测扩展到分层和灌浆缺陷,其证据与可见表面损伤不同[52],[63]。因此,表面筛查和隐蔽缺陷检测需要不同的传感、标签和评估条件。钢结构和保护涂层检测更强调受影响区域表示、纹理和光照,采集平台约束也影响桥梁检测[67]。管道检测还需要适应水下图像退化[68]和不均匀光照[33],[76]。因此,缺陷类别、采集环境和所需检测输出应指导模型适配。检测环境为YOLO适配引入了额外要求。隧道评估通过定位、分割和视觉-点云集成将图像观测与空间资产信息连接起来[64],[65]。光伏检测使用表面和电致发光图像来揭示不同的缺陷证据[66],[77]。水下检测增加了能见度和机器人平台约束[69],[78],而石砌体检测需要适合不规则材料和裂缝几何的处理[55]。因此,性能应与资产类型、传感条件和评估环境一起解释。4.2. 动态现场监测动态现场监测构成YOLO在建筑中的第二个主要应用。建筑工地是高度动态的环境,工人、重型机械和危险材料之间频繁互动,传统的基于人工监督或被动闭路电视系统的监测通常是反应性和易出错的[5],[6]。当所实施的流水线满足应用的延迟和精度要求时,基于YOLO的方法可以支持视频流的及时分析以进行安全监测。最近的研究表明,从简单的目标检测转向交互感知分析,涵盖工人安全和个人防护装备合规性、机械操作和盲区监测,以及不安全行为和情境危害的识别。代表性应用场景如图6所示,代表性研究总结于表4。下载:下载高分辨率图像(588KB)下载:下载全尺寸图像图6. 建筑环境中基于YOLO的动态现场监测任务分类。表4. 建筑工程中基于YOLO的动态现场监测应用概述。操作挑战目标场景和背景关键YOLO适配/策略性能和影响参考文献密集遮挡和拥挤工人跟踪:在拥挤杂乱区域识别单个工人。损失和注意力调整:带有DIoU损失和加权三元组注意力的SOC-YOLO以分离重叠实例。AP:84.63%(对重叠具有鲁棒性)。[79],[80]小目标检测个人防护装备合规性:移动工人身上的安全帽、安全带和挂绳。轻量级架构:带有Ghost卷积和坐标注意力的YOLOv8用于小特征增强。mAP@0.5:92.52%(实时个人防护装备验证)。[3],[23]环境变化机械物流:雾、雨或眩光中的挖掘机/卡车。领域自适应:创建ExtCon数据集和领域自适应训练策略。极端天气条件下可靠检测。[57],[81]时空动态行为识别:焊接、装配、不安全接近。时间融合:YOLOv5-SFE结合哈希采样进行动作识别。mAP:92%(活动分类)。[34],[80]几何和姿态分析安全使用验证:正确佩戴安全帽;起重机姿态。关键点集成:目标检测与姿态估计结合(YOLO-Pose/关键点)。准确率:98.89%(状态验证)。[4],[82]碰撞风险预测工人-机械交互:工人与挖掘机之间的接近。跟踪集成:YOLOv4结合孪生网络或DeepSORT进行轨迹跟踪。准确率:96.04%(接近警告)。[54],[80]4.2.1.工作场所安全与PPE合规。YOLO在工地监控中最基础的应用是确保工人遵守安全规定,特别是穿戴个人防护装备(PPE)[3],[83]。与通用的行人检测不同,这一任务要求模型将特定的细小物体(安全帽、安全背心、安全绳)与个体相关联,通常采用多属性分类逻辑。大量研究聚焦于克服广角工地监控中固有的“小目标”和“遮挡”难题。例如,Nath等人[3]以及Xiong和Tang[83]开发了专门的数据集和轻量级YOLO架构,以区分合规与不合规的工人(例如“仅戴安全帽”与“安全帽+背心”)。这种细粒度对于执行多样化安全规程至关重要。此外,考虑到室内与室外场地视觉条件的差异,研究人员为特定环境定制了数据集;Duan等人[6]建立了SODA基准,以提高杂乱背景下工人的检测性能。最近的进展还将注意力机制集成到改进的YOLO模型(如YOLOv8的修改版本)中,以增强对安全带等细小装备的特征提取,确保即使在工人被脚手架或材料部分遮挡时仍能保持高精度[23]。
4.2.2. 机械监控与盲区检测。重型机械是撞击事故的主要来源,主要由于操作员盲区和设备的不规则移动。在这一领域,YOLO被用于在运行中的机械周围创建“数字安全气泡”。主要技术目标是对各类设备进行精确分类并实时跟踪其运行状态。为解决领域特定数据缺乏的问题,Xuehui等人[84]引入了建筑工地移动物体(MOCS)数据集,该数据集已成为训练YOLO识别13类不同机械(包括推土机和混凝土搅拌机)的标准基准。在此基础上,Xiao和Kang[22](ACID数据集)以及Ding等人[81](ExtCon数据集)扩展了训练数据的多样性,涵盖了极端光照条件和罕见设备类型,确保模型在恶劣现场环境中的鲁棒性。除了一般性土方设备,专门应用还针对高风险吊装作业。Wang等人[70]专门针对缆索起重机优化了YOLOv5,解决了在复杂天际线背景下跟踪动态悬挂荷载的独特挑战。同样,在自动化领域,Li等人[85]将YOLO集成到预制构件的机器人吊装系统中,使机器能够自主识别吊点并避免碰撞,从而将人工从最危险的区域中移除。
4.2.3. 不安全行为与情境化危险识别。超越简单静态目标检测(谁在那里?)之后,研究的前沿在于理解情境化行为(他们在做什么?)。这涉及识别复杂的语义动作,如坠落、在危险区域滞留或站在悬吊荷载下方,这需要分析空间和时间关系。该领域通常需要混合架构,将YOLO检测与跟踪算法或几何逻辑相结合。例如,Son和Kim[54]将YOLOv4与孪生网络集成,执行连续多目标跟踪(MOT)。这使得系统能够分析运动轨迹,识别工人何时在受限区域停留过久,而不仅仅是路过。类似地,Li等人[34]开发了YOLOv5-SFE模型来分类特定工人行为,区分安全作业与危险动作,如现场“吸烟”或“使用手机”。情境感知还延伸到物料搬运。Jeong等人[71]专注于悬吊物体的检测,使用YOLO识别悬吊荷载与下方地面人员之间的危险关系。在室内环境中,Chen等人[86]在移动机器人上应用YOLO来理解障碍物的语义情境(如识别家具与结构碎片),实现安全的自主导航。这些研究共同表明,监测正朝着“语义感知”方向转变,即人工智能不仅理解视觉场景的内容,还理解其含义。
时间上下文将施工监测从帧级实体检测扩展到工人活动分类和生产率评估[87],[88],以及机械活动识别[89]。这些基于片段的方法将外观与运动信息联系起来,并为视频感知监测的综合分析提供依据。视觉-语言和自然语言处理集成为解释PPE合规性和施工危险提供了进一步方向[90]。
4.3. 进度监测与语义场景理解。对于进度和空间场景理解,分析问题在于检测结果如何转化为状态、数量或位置信息。4.3.1 自动化进度估计与状态识别,4.3.2 材料库存与资源量化,4.3.3 室内语义场景理解区分了这些输出及其集成需求;图7和表5提供了应用概览。
下载:下载高分辨率图像(616KB)下载:下载全尺寸图像
图7. 基于YOLO的施工生产率优化应用分类。
表5. 基于YOLO的施工生产率优化应用概览。
应用维度 | 目标对象/状态 | 基于YOLO的策略 | 集成系统/输出 | 实际贡献 | 参考文献
进度相关场景采集 | 门窗(开口) | YOLOv8检测 + 点云和图像处理 | 数字建筑模型重建 | 自动化开口检测和几何重建,用于竣工信息采集 | [91]
MEP构件(暖通管道和风管) | YOLACT++实例分割,使用真实和合成图像 | 构件识别记录 | 自动化MEP识别,支持室内进度监测和报告 | [92]
材料库存 | 小型施工工具 | 轻量级YOLO + 合成数据/密集目标优化 | 工具检测记录 | 轻量级模型和合成训练数据实现小型工具识别 | [93], [94]
钢管和缆索起重机运输对象 | 改进YOLO + 密集目标检测和多目标跟踪 | 现场物流和吊装记录 | 密集钢管计数和基于轨迹的缆索起重机生产率分析 | [70], [95]
室内场景理解 | MEP构件(暖通管道和风管) | YOLACT++实例分割,使用室内图像 | 语义室内模型 | 复杂室内条件下MEP构件的识别和分割 | [92]
可通行空间、障碍物、临时对象 | 移动机器人上部署YOLO | 语义导航地图 | 自主巡检、导航安全和基于BIM的质量验证 | [86], [96]
4.3.1. 自动化进度估计与状态识别。进度评估需要将识别出的构件与其安装状态、资产身份和观测时间相关联。Mehranfar等人[91]的图像与点云工作流程使用YOLOv8在数字模型重建过程中识别开口。测量完成百分比还需要安装状态标签和与项目模型对齐的重复观测。因此,构件识别、几何重建和时间进度估计需要不同的评估指标。
4.3.2. 材料库存与资源量化。库存监测需要目标识别、实例计数和连续观测之间的关联。广泛的场地对象数据[6]以及真实/合成小型工具图像[94]提供了不同的训练覆盖范围。密集重叠使得计数误差对漏检或合并检测敏感,而跟踪有助于防止重复计数。评估应将检测指标与计数误差和关联精度相结合,以评估物料流记录的可靠性。
4.3.3. 室内语义场景理解。室内巡检需要空间配准和语义识别[97]。在BIM支持的四足巡检[86]中,目标检测是包含定位、建图和导航的工作流程的一部分。因此,评估需要将识别精度与几何重建、导航性能和目标建筑条件下的巡检覆盖率联系起来。
跨模块影响。施工任务不仅决定了应检测什么对象或缺陷,还决定了后续决策所需的视觉输出、空间信息和响应时间。例如,PPE合规性可通过目标级检测支持,而工人-设备接近警告需要可靠的关联、空间关系和及时更新。同样,缺陷筛查、进度状态识别、材料计数和室内导航需要不同的标签几何、传感条件和操作输出。这些要求定义了模块II中检查的数据和传感规范,并建立了后续解释算法改进或部署结果的标准。
5. 模块II:以数据为中心的引擎。图8总结了施工中YOLO适配的数据中心引擎。模块II检查决定施工YOLO模型能学习什么以及其报告性能应如何解释的数据条件。其YOLO特定重点在于施工数据与检测器任务头和训练配置之间的关系:边界框、掩膜、关键点和定向框分别支持检测、分割、姿态和OBB输出;小目标、密集或不平衡目标影响多尺度预测、目标分配和损失优化;场地多样性和评估设计决定了泛化主张的强度。由于YOLO版本在基于锚框或免锚框预测以及标签分配策略上有所不同,这些数据效应应根据报告版本和配置来解释,而不是在整个家族中泛化。训练时增强也被视为YOLO训练配置的一部分,以避免数据配方的收益与架构修改混淆。因此,本模块回顾了公共数据集和基准、施工特定数据增强和多模态数据融合,详见5.1 数据稀缺性与施工公共基准,5.2 施工特定数据增强策略,5.3 多模态数据融合。
下载:下载高分辨率图像(367KB)下载:下载全尺寸图像
图8. 施工中YOLO适配的数据中心引擎。
5.1. 数据稀缺性与施工公共基准。作为监督式深度学习算法,YOLO性能从根本上受训练和评估数据的影响。因此,数据集充分性不能仅由图像数量定义。对于施工应用,数据生成条件、操作目标、标签几何、传感模态和评估划分必须与对YOLO模型所做的部署声明相对应。因此,本小节回顾具有代表性的公共数据集作为证据资源:不仅检查它们包含哪些施工对象或缺陷,还检查其报告的覆盖范围能够支持何种模型输出和泛化声明。
施工特定数据集涵盖场地对象检测、安全监测、密集材料识别和结构检测。表6比较了它们的操作目标、标签覆盖、数据多样性和迁移相关证据。广泛的场地对象和点云基准支持多种识别任务[98],而专门构建的数据集针对特定危害、缺陷、传感器或不利条件。它们对YOLO适配的价值取决于这些特征与预期施工任务和部署环境的匹配程度。
表6. 基于YOLO的施工研究中使用公共数据集的关键比较。报告的覆盖范围表示可用于解释的证据,而非数据集质量的普遍排名。
数据集和规模 | 操作目标和标签覆盖 | 覆盖/迁移证据 | 解释YOLO证据的约束
SODA [6] 21,863张RGB图像;15类 | 涵盖工人、材料、机械和布局类别的场地对象;边界框检测。 | 具有跨类别施工分类的大型公共场地对象基准。 | RGB框标签不评估几何、关系、时间或非RGB传感需求。
MOCS [84] 41,668张RGB图像;13类 | 移动工人和设备;边界框和像素级掩膜。 | 174个场地,五种设备类型,以及不同的视角、光照和天气条件。 | 移动对象分类不涵盖材料、固定部件或完整操作语义。
ACID [22] 10,000张RGB图像;10类 | 施工机械检测;框级对象标签。 | 专为设备识别设计的开放基准。 | 仅机械分类无法建立对PPE、工艺或缺陷任务的迁移。
ExtCon [81] 506张RGB图像;13类 | 不利视觉条件下的工人和设备;目标检测标签。 | 真实低/强光、雾、灰尘和雨水测试数据。 | 其针对性规模和条件补充而非替代广泛的训练或部署证据。
PPE数据集 [3] 1,472张RGB图像;4类 | 安全帽和背心合规状态;框级检测。 | 针对安全合规标签设计。 | 小型特定任务数据集无法建立独立PPE类型或其他操作之间的迁移。
小型工具 [94] 8,000张图像;4类 | 使用真实和合成图像的小型工具检测。 | 使用施工场地测试样本进行明确的真实/合成比较。 | 受限工具分类;合成数据增益仍需独立场地验证。
结构损伤 [39] 41,132张RGB图像;4类 | 裂缝、剥落、泛碱和钢筋暴露;面向分割的检测。 | 多类结构损伤证据。 | 资产和病理范围限制了向其他结构、材料和检测条件的迁移。
桥梁涂层 [67] 3,600张RGB图像;3类 | 近距离/无人机检测的涂层剥落、褪色和空鼓。 | 针对涂层状况的视觉检测。 | 传感器、视角、资产和缺陷特异性限制广泛的施工视觉声明。
桥梁损伤 [32] 1,203张RGB图像;4类 | 裂缝、剥落、钢筋暴露和坑洞;多类损伤分割。 | 细粒度桥梁损伤任务证据。 | 小型桥梁特定样本无法建立跨资产或跨项目鲁棒性。
BM-PIPE [95] 1,017张RGB图像;1类 | 密集钢管识别和计数。 | 解决场地材料环境中重复目标密度问题。 | 单类计数任务无法支持多类、缺陷或安全泛化。
HangCon [71] 101,381张RGB图像 | 悬吊荷载和绳索相关监测;详细悬吊物标注。 | 随时间收集,具有时间分离的评估设置。 | 从两个场地收集限制了直接跨项目或区域泛化。
灌浆缺陷 [52] 1,200张热图像;4类 | 灌浆缺陷水平的红外识别。 | 针对目标任务考虑了天气、距离、角度和激励条件。 | 传感器、激励和缺陷特定分布不能视为通用施工视觉证据。
桥梁分层 [63] 11,620张热图像;2类 | 热力桥面分层检测。 | 数值和无人机红外检测证据。 | 热响应和目标结构依赖性限制向通用RGB或其他缺陷任务的迁移。
第一个关键问题是覆盖范围和采样。可用资源集中在若干高价值但分布不均的类别中:室外现场物体与安全监控;设备与小型工具;桥梁或管道缺陷;以及少量热红外检测任务。MOCS [84] 通过174个站点、多种设备以及边界框和掩膜标注提供了相对广泛的运动物体证据,而SODA [6] 覆盖了工人、材料、机械和布局类别。这些优势应当被认可。同时,MOCS有意将材料和静止部件排除在其运动物体分类之外,而SODA及大多数其他资源仍是基于RGB图像的基准。室内施工、MEP系统、室内装修、封闭空间、长时程过程监测以及跨区域现场变化在公共证据基础中相应地可见度低得多。
第二个问题是标注充分性。当预期决策是物体存在性或粗略位置时,边界框可能是合适的,但它无法提供实例边界、定向部件、工人姿态、空间关系、跟踪或测量导向检测所需的监督。MOCS [84] 是一个重要例外,因为它除了提供框之外还提供像素级掩膜。然而,表6中列出的大多数数据集是为框级检测或狭窄定义的检测目标而设计的。同样也不应仅从样本量推断标签质量:现有资源在标注协议、质量控制和标注者一致性的报告方面参差不齐。在这些程序未被报告的情况下,标签的可靠性及其对报告mAP的贡献无法仅凭分数进行评估。
第三个问题是泛化的边界。随机图像级训练/测试划分可以在划分两侧保留相似的相机、项目、天气、施工阶段和视觉相关帧。因此,它们提供了域内性能证据,但不能自动证明跨项目、相机、季节、区域或承包商的迁移性。专门构建的资源说明了这种区别。ExtCon [81] 为五种不利视觉条件提供了有价值的真实数据,但这是一个小规模的目标测试集;HangCon [71] 使用详细标注和时间分离的评估设置,但在两个站点采集;热辐射注浆和分层数据集 [52]、[63] 对其传感和缺陷条件具有信息价值,但不能被视为通用RGB施工视觉基准。这些在其声明范围内使用时是有意义的证据资源,而非可互换的现场级鲁棒性证明。
这些数据限制直接影响对YOLO适配的解释。来自骨干网络、颈部、注意力模块、损失函数或增强策略的表观增益可能反映真正的任务特定改进,但除非标签表示和评估协议与预期决策匹配,否则不应将其解释为可部署的施工能力。因此,未来研究应报告其数据的项目、区域、相机、时间和传感覆盖范围;标签协议和质量控制流程;项目、相机或时间不相交的划分;外部站点测试;以及每类和物体尺度指标。该数据证据将模块II与模块III连接起来:只有在数据和评估条件明确之后,算法改进才能被评估为可迁移、高效和具有操作意义。
5.2. 施工特定数据增强策略
施工数据增强针对缺失变异的不同来源。表7比较了外观变化、传感与缺陷模拟以及合成场景组合。相关问题是每种策略为训练数据添加了哪些施工条件。
表7. 基于YOLO的施工应用中所使用的数据增强技术概述。
增强类型 | 参考文献 | 初始样本 | 增强样本 | 详情
图像变换 | [38] | 457 | 1371 | 调整曝光、亮度和噪声,以模拟裂缝图像中各种光照和天气条件
图像变换 | [99] | 54 | 288 | 旋转图像(90°、180°、270°)并沿水平中心线翻转
图像变换 | [100] | 2360 | 13,688 | 应用翻转、旋转和亮度调整以扩展混凝土裂缝数据集
图像变换 | [52] | 1200 | 2067 | 应用CutPaste(基于CutMix)增强,通过在同一图像内复制和粘贴管道段来增加缺陷多样性
图像变换 | [101] | 4780 | 4780 | 采用Mosaic、CutMix和MixUp变换的组合
图像变换 | [82] | 43,752 | 110,000 | 包括旋转、亮度调整、高斯模糊和色相/饱和度变换
图像变换 | [102] | 200 | 4000 | 利用颜色抖动、缩放、水平翻转和随机旋转
数值模拟 | [63] | 362 | 11,640 | 通过CFD数值模拟生成合成图像,建模裂缝几何(尺寸、深度、形状)和结构配置
合成数据与几何变换 | [103] | 160 | 2600 | 结合DEM-FDTD数值模拟、DCGAN生成的合成数据以及随机裁剪和缩放等变换
合成数据与几何变换 | [92] | 1254 | 3135 | 基于BIM生成合成检测图像
增强应代表施工数据中缺失的变异,同时保留任务相关信息。裂缝变换必须保留缺陷几何 [38]、[100],平面图变换必须保留符号和布局关系 [99]。热辐射和GPR增强必须尊重模态特定缺陷特征 [52]、[103],而模拟分层和室内MEP数据需要物理和几何上合理的标签 [63]、[92]。表7比较了所报告的方法。施工特定的区别在于:是改变现有观测的外观,还是生成缺失的场景或传感条件;两者都需要在独立真实数据上进行评估。
该比较支持根据缺失变异来源选择增强方式。当现有站点得到表示但光照变化时,外观变换可能是合适的。当缺陷或传感条件缺失时,需要物理信息生成 [104] 或额外采集。在留出真实数据上的评估随后显示添加的变异是否迁移到预期条件。将同一源图像或样本的衍生数据保留在同一数据划分内,并将增强与固定检测器进行比较有助于隔离此效应。因此,增加图像数量在改善相关覆盖范围时是有用的,而不仅仅是再现现有场景。
5.3. 多模态数据融合
如第5.1节所述,仅依赖RGB图像限制了YOLO捕捉空间几何和检测地下或视觉遮挡缺陷的能力。为克服这些限制,近期研究日益探索多模态数据融合,将基于YOLO的二维视觉感知与互补传感模态(特别是三维点云)相结合,以支持几何感知的施工检测和监测。
大多数现有方法采用松耦合融合策略,其中首先使用YOLO在二维图像中执行快速语义检测,然后将所得检测投影到源自LiDAR或摄影测量点云的三维空间表示中。该范式结合了基于图像的语义识别与空间几何;其端到端时序也取决于传感、配准和数据融合阶段。代表性研究已证明其在基础设施检测中的有效性,其中基于YOLO的隧道特征检测(如楔块、螺栓孔和衬砌裂缝)被映射到三维隧道模型上以进行精确定位和维护规划 [64]、[65]。类似策略已应用于室内数字孪生,其中基于YOLO的建筑元素状态识别与基于点云的模型融合,以动态更新建筑表示并反映竣工条件 [91]。一项近期施工研究还将预测深度纳入四通道YOLO输入以进行实例分割 [105],提供了一个模型级融合示例,作为主要语料库之外的情境技术更新引用。
尽管取得了这些成功,当前融合流程通常依赖不同模态的单独模型,集成发生在后处理阶段。实现真正的端到端多模态学习——即视觉和空间特征在统一框架内联合优化——仍然是一个未解决的挑战。因此,未来研究应研究更紧密的集成策略,例如将基于点或体素的特征直接嵌入YOLO架构,并将融合从RGB和点云扩展到深度、热辐射或其他非视觉传感器。此类进展将显著增强基于YOLO的系统在复杂、低能见度和几何密集施工环境中的鲁棒性和泛化能力。
跨模块意义。数据策略决定了可以训练和有意义地评估哪些YOLO适配。当可用数据仅包含常规RGB边界框标签时,模型无法提供分割、定向定位、姿态估计、空间配准或多模态推理。同样,没有代表性的站点覆盖范围和与预期部署环境一致的评估划分,表观精度增益无法被解释为可迁移的施工能力。因此,模块II为模块III提供了证据条件:数据模态、标注格式、多样性和验证设计既约束了可行的算法修改,也约束了所得性能声明的强度。
6. 模块III:算法适配引擎
基于模块II,模块III考察在施工特定视觉和计算约束下直接修改YOLO架构的适配。仅当通用计算机视觉机制被集成到YOLO中或在YOLO内评估时才纳入。因此,分析确定一个方法是否改变YOLO的骨干、颈部、预测头、损失、特征融合、输出表示、后处理或模型复杂度,以及该改变是否针对小目标、不规则缺陷、尺度变化、遮挡、背景杂波或有限部署资源。所审查的适配分为损失函数适配、基于注意力的特征增强以及检测头和多尺度优化,详见6.1施工场景的损失函数适配、6.2用于鲁棒特征增强的注意力机制、6.3检测头和多尺度优化,并如图9所示。
下载:下载高分辨率图像(563KB)
下载:下载全尺寸图像
图9. 施工特定约束下YOLO的算法适配策略。
6.1. 施工场景的损失函数适配
施工损失比较涉及两个关联问题:损失强调哪些目标误差,以及哪些误差对工程任务重要。表8将损失机制与施工需求相关联。图10使用原始示意图说明其几何因素。蓝框表示真实标注,橙框表示预测,阴影重叠表示其交集。除重叠外,GIoU惩罚包围区域 [106],DIoU和CIoU考虑中心距离和长宽比一致性 [107],EIoU分离宽度和高度差异 [108],SIoU纳入位移方向 [109]。这些机制为解释表9中的施工特定比较提供了基础。
表8. 边界框损失比较的施工导向解释。损失系列描述机制,而非每种YOLO版本实现的固定默认值。
损失组件或系列 | 施工相关性 | 证据与解释要求
重叠与包围区域:IoU/GIoU | 缺陷区域的定位;注浆和下水道比较 [52]、[110] | 检查所选重叠阈值和每类结果;一种偏好损失不是任务无关的排序。
中心距离:DIoU/CIoU | 小型或重叠工人的位置误差 [79] | 评估小目标定位和漏检;框回归无法恢复被遮挡物体或执行跟踪。
形状或边长项:CIoU/EIoU | 细长或尺度可变的缺陷框,如施工比较中所述 [52]、[59] | 检查长宽比和尺度组。轴对齐框质量不能确定裂缝宽度或掩膜精度。
方向感知回归:SIoU | 管道和道路缺陷比较中考虑的方向位移 [35]、[59] | 将回归方向项与预测旋转框分离;保留匹配的训练和评估条件。
回归加权:Focal-EIoU | 回归样本的不等贡献;用于轴承损伤适配 [111] | 区分回归加权与类别采样。组合模型分数不能隔离损失贡献。
下载:下载高分辨率图像(220KB)
下载:下载全尺寸图像
图10. 六种基于IoU的边界框损失中的几何因素。
表9. YOLO施工应用中损失函数研究总结。
参考文献 | 任务 | YOLO版本 | 测试的损失函数 | 关键发现
[52] | 后张拉管道注浆缺陷检测 | YOLOv5 | CIoU, DIoU, GIoU, EIoU, SIoU | GIoU在记录的损失比较中产生最高mAP@0.5;其他指标排名不同。
[35] | 地下管道检测 | YOLOv5 | CIoU, GIoU, DIoU, MPDIoU, SIoU | SIoU产生最佳整体性能和最低漏检率。
[110] | 下水道缺陷检测 | YOLOv3 | GIoU, CIoU, DIoU | CIoU对根部检测最有效,GIoU对沉积物表现最佳。
[59] | 道路病害检测 | YOLOv7-RDD | CIoU, Wise IoU, EIoU, SIoU | SIoU在检测精度上优于其他损失函数,最终mAP达到0.701。
[112] | 路面裂缝识别 | YOLOv3 | IoU, EIoU | EIoU改进了边界框回归,减少了裂缝漏检。
[79] | 小型和重叠工人检测 | YOLOv5 | DIoU, GIoU | DIoU相比GIoU使AP提高0.42%。
[111] | 桥梁弹性支座损伤检测 | YOLOv8 | Focal-EIoU, CIoU | Focal-EIoU与LSK注意力在修改后的检测器中使用。最终mAP@0.5为83.4%,基线为77.7%;此组合结果未隔离损失效应。
[40] | 导航-电力枢纽项目目标检测 | YOLOv8 | OIoU, CIoU | OIoU优于CIoU,mAP@0.5提高3.39%,mAP@0.5:0.95提高1.36%。
表9显示损失排名取决于任务和评估指标。在注浆缺陷检测 [52] 中,GIoU产生最高mAP@0.5,而其他指标给出不同排名。下水道缺陷研究 [35]、[110] 也偏好不同损失,包括根部和沉积物的不同结果 [110]。实际含义是应针对预期检测相关的目标类别和误差标准比较损失,而非为所有施工缺陷选择一种损失。
预期用途确定比较标准。筛查需要在可接受的虚警水平下对漏检敏感;测量额外需要几何精度。当损失比较保持图像、划分、模型和训练预算固定并报告相关类别级误差时最具信息量。表9还区分了组件比较与组合适配:轴承研究 [111] 同时报告注意力和损失变化,因此其结果描述了该组合。这种区别阐明了证据是支持选择单个损失还是完整适配模型。
6.2.用于鲁棒特征增强的注意力机制表10比较了用于强调微弱缺陷或抑制干扰背景的注意力机制。道路损伤实验[31]在YOLOv3中比较了多个模块,而轴承检测[111]则将注意力机制放置与损失自适应相结合。这些设计提供了不同的归因强度:受控的模块比较可以评估其增量贡献,而组合模型的结果无法将全部增益单独归因于注意力机制。表10. 基于注意力机制的YOLO结构缺陷检测总结。参考文献任务YOLO版本注意力机制关键发现[111]桥梁弹性支座损伤检测YOLOv8CBAM、SimAM、SA、SE、EMA、GAM、LSKLSK注意力机制表现最佳,相比于YOLOv8n基线将mAP@0.5提高了4.4%。[59]道路病害检测YOLOv7-RDDSE、CBAM、LSKA、ELA、SimAMSimAM的mAP高于SE、CBAM、LSKA和ELA;具体而言,在CIoU损失下SimAM的mAP达到0.688,优于CBAM(0.659)。[52]后张法管道压浆缺陷检测YOLOv5SimAM将SimAM集成到YOLOv5s中以提高红外缺陷检测精度,特别是在外部后张法管道检测中。[31]道路损伤检测YOLOv3MLAB、SENet、ECA、CBAMMLAB的mAP为68.75%,而原始YOLOv3为61.09%,提升了7.66个百分点;比较在报告实验范围内进行。[25]混凝土裂缝检测YOLOv5注意力细化模块(ARM)ARM通过使用全局平均池化增强上下文感知,提高了分割精度和效率。[113]水下结构损伤检测YOLOv5SimAM将SimAM逐步集成到YOLOv5s中以增强特征提取,从而提高了mAP和整体检测精度。[114]消防设备检查YOLO-FSECPCA CPCA将召回率提高了4.6%,mAP@0.5提高了2.9%,表明在安全设备检测中性能得到增强。[99]建筑平面图目标检测YOLOv8AC-CBAM聚合注意力(AC-CBAM)将CBAM与C2f模块结合以抑制冗余特征并改善相关目标的检测。[101]结构损伤检测YOLOXCBAM、PAM、EEAM集成的EEAM模块通过增强对任务相关区域的关注,提高了结构损伤和多标签分类任务的精度。[66]光伏表面缺陷检测YOLOv5s-GBCCBAM、CA将CBAM和CA注意力模块纳入YOLOv5s-GBC网络显著提高了缺陷检测精度。特征选择与模型简化解决互补的施工约束。注意力机制支持热成像缺陷的识别[52],而轻量化设计和剪枝则面向资源受限的水下和无人机检测[59],[113]。它们的施工价值取决于识别改进以及实测运行时间和内存使用:参数数量描述模型大小,而目标设备上的延迟决定处理是否适合任务。所综述的消防和建筑绘图应用[99],[114]进一步表明特征增强被应用于不同的视觉问题。当可见目标相对于背景较弱时,注意力机制是相关的;压缩则解决处理模型所需的资源问题。因此,应使用目标级精度和同一设备上的运行时间来比较它们的组合。在相关遮挡、尺度和场地条件下的评估确定了组合自适应的适用场景。6.3. 检测头与多尺度优化表11区分了三个干预点:特征尺度和预测头、输出几何以及抑制或关联。它们的施工相关性取决于图像与所需决策之间丢失了哪些信息。表11. 通过检测头和预测层实现的改进总结。类别参考文献任务关键贡献锚点和输出层调整[110]污水管道缺陷检测使用K-means聚类生成锚点,提高了污水管道缺陷的检测性能。[79]小型重叠工人检测使用K-means++和低层特征增强小目标检测。[39]损伤检测(多尺寸)针对小、中、大损伤微调检测层,按分辨率和深度定制。检测头架构优化[101]混凝土裂缝检测引入解耦头用于分类和回归,提高了精度和效率。结合多个检测头(从小型到大型)以处理不同尺寸和形状的目标。[93]小型施工工具引入ASH以增强小目标特征和收敛性。[99]平面图目标检测多头检测设计用于有效检测小型建筑构件(如窗户)。边界框策略增强[115]路面裂缝检测NMS-ARS通过考虑拓扑和面积改进了抑制,减少了冗余检测。[32]桥梁损伤检测为边界框添加旋转角度(θ),以实现更好的方向感知检测。目标尺度将施工需求与预测结构联系起来。锚点生成和低层特征用于处理小型重叠工人[79],而检测层配置和聚类锚点使预测适应结构损伤和污水管道缺陷[39],[110]。此类更改可以改善可见小目标的表示,但无法恢复采集图像中缺失的细节。因此,其价值应结合目标尺寸和图像分辨率以及额外推理成本进行评估。解耦或多头结构将能力分配给分类、定位和不同目标尺度[99],[101]。这些设计需要组件消融实验,以区分头部效应与主干网络、训练或数据的并发变化。有向边界框为非轴对称损伤提供了不同的几何输出[32],而区域感知抑制改变了保留哪些重叠检测结果[115]。它们处理不同的误差:方向本身并不测量缺陷边界,抑制必须在重复消除和遗漏邻近目标之间取得平衡。比较结果表明,在选择自适应方法之前应先诊断误差。检查目标是否具有足够的图像分辨率以及标签是否表示所需输出。然后比较处理弱特征、定位或重叠实例的干预措施,使用与任务相关的误差以及可用的运行时间和内存预算。这将模型修改的选择与旨在解决的施工问题联系起来。跨模块意义。施工任务决定哪些误差重要,数据决定可以学习哪些条件,模型比较确定解决这些误差的自适应方法。第7节检查所得输出和实测性能是否满足完整施工工作流的要求。7. 模块IV:部署与系统集成层模块IV考察在完整的施工感知到决策工作流中,YOLO的推理速度和轻量化部署潜力能否维持。分析超越仅检测器精度或FPS,扩展到预处理、推理延迟、后处理、通信、硬件兼容性、输出传输和系统接口。其组织方式包括推理速度与硬件约束、YOLO输出与BIM和数字孪生系统的集成以及自主机器人平台部署,详见7.1节推理速度与硬件约束、7.2节与数字孪生和BIM的集成、7.3节机器人自主性,如图11所示。下载:下载高分辨率图像(613KB)下载:下载全尺寸图像图11. YOLO在施工应用中的系统级部署与集成。7.1. 推理速度与硬件约束在施工应用中,YOLO常被选择用于时间敏感的现场感知,轻量化变体为硬件受限部署提供选项。在报告的MOCS基准设置下,Xuehui等人[84]报告YOLOv3在30 FPS下运行,在该实验中超过Faster R-CNN和RetinaNet。该比较在其硬件、输入和实现设置内进行解释。对于连续监测,相关标准是完整部署流程是否能在施工任务所需的响应时间内提供足够准确的信息。表12中总结的研究通常以FPS或毫秒报告推理性能,许多安全监测和现场检测应用运行在大约10–46 FPS。这些结果表明YOLO可以支持时间敏感的感知,但它们不能直接比较,因为研究使用不同的YOLO版本、输入分辨率、硬件和测量边界。然而,报告的证据揭示了反复出现的精度-效率权衡:一些研究选择更快的YOLO版本[6],其他研究接受较低的FPS以换取更高的精度[54],轻量化设计减少参数或计算量以支持小目标和边缘应用[66],[93]。因此,这些更改的实际价值取决于所得速度是否足以满足预期的施工决策。表12. 施工应用中YOLO模型的推理速度。参考文献任务类型YOLO版本推理速度[3]个人防护装备检测YOLOv374.8毫秒[83]个人防护装备检测YOLOv322 FPS[23]个人防护装备检测改进版YOLOv89.11 FPS[54]工人检测(与孪生网络集成)YOLOv4+孪生网络22 FPS[34]工人行为检测YOLOv5-SFE43 FPS[84]施工现场移动目标检测YOLOv330.00 FPS[6]现场目标检测YOLOv431.94 FPS[70]缆索起重机检测改进版YOLOv546 FPS[5]小目标检测YOLOv57.37–8.26毫秒[66]光伏表面缺陷检测YOLOv5s-GBC10.6毫秒[116]基础设施缺陷检测YOLOv6-l15.9毫秒推理可行性还取决于YOLO的执行位置和方式。Jetson类设备已支持本地桥梁裂缝和小目标检测[5],[8],而剪枝和轻量化架构可减少边缘部署所需的资源[62]。然而,检测器FPS不包括图像采集、传输、预处理、后处理、跟踪、可视化或决策生成。因此,应一致地报告硬件、输入分辨率、模型大小、数值精度和端到端延迟,以及相关采集条件(如机器引起的地板振动[117])。这一要求对于缺陷检测研究尤为重要,因为此类研究经常报告精度却没有证明模型能否支持时间敏感的检测。7.2. 与数字孪生和BIM的集成BIM和数字孪生集成与本综述相关,因为二维YOLO检测的施工价值有限,除非其类别、位置、状态、掩膜或方向能够与物理资产或项目模型关联。运营资产信息还需要与管理职责相连接[118]。YOLO特有的集成问题因此是将基于图像或视频的输出转换为具有空间和语义基础的信息。这种连接使得检测到的缺陷、构件和施工状态能够支持定位、进度评估、资产管理、模型更新以及在合适的环境数据可用时进行建筑性能分析[119]。现有工作流将YOLO检测映射到点云、BIM几何或数字孪生元素。例如,隧道研究在二维图像中检测楔形块、螺栓孔和衬砌裂缝,并通过相机-表面配准将结果投影到三维模型中[64],[65];类似方法支持桥梁和地下资产的空间索引和维护决策[26],[120]。进度监测系统进一步使用YOLO状态标签(如打开、关闭或部分安装的构件)来更新几何项目模型[91]。这些应用展示了将YOLO输出与空间上下文连接的价值,但大多数集成仍然是单向的且依赖后处理。闭环使用需要自动配准、同步更新、不确定性处理以及能够接收实时YOLO分析的BIM或IFC接口。7.3. 机器人自主性自主平台根据其如何获取YOLO的输入、执行或接收YOLO推理,以及在检查、导航或操作工作流中使用所得输出来纳入本模块。无人机、水下机器人和地面机器人对机载计算、通信、延迟、能量使用、视点、操作连续性施加不同约束[121],[122]。代表性平台和应用总结在表13中。关于BIM-机器人交互和施工中腿足机器人的更广泛综述为这些集成需求提供了补充的系统级上下文[123],[124]。表13. 施工相关应用中YOLO部署平台总结。部署平台任务描述无人机人行道裂缝检测[121];基础设施缺陷检测[116]边缘计算设备桥梁表面裂缝检测[8];小目标检测[5]机器人——水下机器人供水管道缺陷检测[68];混凝土结构损伤检测[69]机器人——地面机器人预制构件智能吊装[85];室内构件检测[86];预制混凝土自动化构件放置[125]所综述的平台展示了不同的YOLO部署配置。无人机系统可以将图像传输到地面站进行推理[121],或在嵌入式硬件上执行YOLO以减少通信延迟[116]。水下机器人使用专用YOLO模型进行结构损伤检测[69],而地面和四足机器人将YOLO应用于构件放置、导航和室内构件识别[85],[86]。这些案例证明了在空、地和水中平台的可行性,但大多数仍然是任务和环境特定的。自主施工操作的证据因此需要不仅仅是机器人采集图像上的检测:YOLO输出必须连接到定位、导航或操作,并在通信限制、遮挡、动态障碍、能量约束和变化的场地条件下进行评估。跨模块综合。部署是四个模块中的假设一起经受检验的关键点。只有当任务定义指定了可执行的决策、数据代表相关场地条件、YOLO模型产生具有足够鲁棒性的所需输出、硬件和集成工作流在可用操作时间内提供该输出时,系统才能支持实际施工使用。因此,部署证据为早期模块提供反馈:现场失败可能表明任务定义不完整、数据覆盖不足、标签或感知不合适,或者算法设计无法满足硬件和系统约束。这一反馈回路解释了为什么施工-YOLO自适应应作为一个连接系统而非孤立模型优化来评估。8. 建议图12呈现了基于YOLO的施工智能的模块化研究路线图。四个框架模块识别了一组限制YOLO系统在施工中实际使用的证据缺口:任务可能未被充分指定以支持后续决策;可用数据、感知条件或标签可能不代表预期场景;模型修改可能无法解决由此产生的视觉和计算约束;或者有前景的模型无法在实际施工工作流中运行。以下五项建议将这些缺口转化为研究方向。建议一始于模块一中的任务输出定义以及模块三中相应的YOLO能力;建议二涉及模块二和模块三中的数据与模型鲁棒性;建议三将多模态数据设计、基于YOLO的融合以及系统集成贯穿模块二至模块四;建议四聚焦于模块二和模块三中的数据多样性、跨项目验证与知识迁移;建议五则考察模块四中的轻量化部署与系统集成。这些方向相互关联:部署证据可以揭示调整任务、数据、传感、标签或算法选择的必要性。该路线图将框架模块映射到证据缺口、五项建议及其预期能力。下载:下载高分辨率图片(621KB)下载:下载全尺寸图片 图12. 基于YOLO的施工智能模块化研究路线图。
8.1. 拓展施工任务与YOLO输出表示
建议一直接源自模块一,该模块表明施工任务不仅应指定要识别的对象或缺陷,还应指定后续决策所需的视觉输出、空间信息和响应时间。传统的边界框检测可支持某些任务,如基本个人防护装备识别或构件计数,但当决策依赖于缺陷范围、构件朝向、工人姿态、安装状态、空间邻近性或室内导航时,该方法并不充分。因此,未来研究应拓展YOLO,使其在施工任务需要时能够提供实例分割、定向边界框检测、姿态估计、跟踪以及空间配准输出。一旦定义了所需输出,模块二将确定学习该输出所需的数据、传感模态和标签几何,而模块三则确定YOLO如何在保持预期工作流所需速度的前提下提供该能力。
一旦这些任务输出需求得以定义,同样的逻辑便可支持更广泛的施工应用。基于YOLO的模型可用于自动化质量控制,通过检测施工错误、缺失构件和不正确安装;识别结构构件(如墙体、楼板和机电管线组件)以用于进度跟踪和数字孪生更新;并支持自动化施工流程中的废弃物分类、机器人地标识别和障碍物检测。
8.2. 增强施工变异性条件下的鲁棒性
建议二源自模块二和模块三的综合证据。施工条件随当地气候而变化[126],图像在光照、尺度、遮挡、视角和背景杂乱方面也存在差异。许多研究依赖有限的数据集或项目内评估。因此,未来工作应结合以数据为中心的措施(包括代表性采样、适当标签、面向施工的数据增强和跨条件验证)与算法措施(如多尺度特征、注意力机制、损失函数和轻量化架构)。一项改进不仅应通过单一测试条件下的准确率来评估,还应通过其鲁棒性、计算成本、延迟以及跨施工条件的可迁移性来评估。
8.3. 集成多模态传感与空间信息
建议三将模块二至模块四联系起来。仅靠RGB图像可能无法包含复杂施工决策所需的深度、热学、地下、几何或时间信息。因此,未来研究应开发同步多模态数据集、对齐标签以及基于YOLO的融合策略,将RGB与深度、热学、红外、探地雷达、激光雷达、点云或时间信息相结合。此类工作不仅应展示多模态融合是否提升检测性能,还应展示每种模态如何贡献、当某一模态退化或不可用时系统是否保持鲁棒,以及所得输出是否支持下游的空间或系统级应用。模块四进一步要求证明标定、同步、通信和多模态融合在部署的施工系统中保持可靠。
8.4. 加强跨项目迁移与数据高效学习
建议四主要回应模块二中数据多样性受限和迁移证据不足的局限,而解决该局限所采用的迁移学习和域适应策略涉及模块三中考察的算法选择。在一个项目内训练和测试的模型可能在该环境下表现良好,但在不同工地、承包商、摄像机、地区、材料和施工阶段之间则可能不可靠。未来研究应采用跨项目和跨条件验证,明确报告源域与目标域差异,并研究迁移学习[127]、域适应、数据增强、联邦学习[128]及其他数据高效学习策略。这些证据对于确定YOLO适应方案在迁移至其开发环境之外时能否保持可靠至关重要。
8.5. 验证轻量化部署与系统集成
建议五源自模块四。YOLO模型应作为完整的施工感知-决策工作流的一部分进行评估,而不仅仅作为训练好的检测器。未来工作应在摄像机、无人机、机器人、边缘设备、BIM平台和数字孪生系统上验证部署,同时考虑模型大小、内存使用、推理延迟、能耗、通信可靠性、接口设计、系统互操作性以及物理安装要求(如减振措施[129])。现场部署结果也应作为反馈:失败可能源于任务定义不完整、数据覆盖不足、传感或标签不合适,或算法设计无法满足可用硬件和系统约束。
9. 结论
本综述综合了2016年至2025年10月15日期间检索到的149篇同行评审期刊研究的主要语料库,考察YOLO如何适应建筑和基础设施需求。所提出的施工YOLO适应框架将证据组织为四个相互关联的模块:应用与任务定义层、数据驱动引擎、算法适应引擎以及部署与系统集成层。文献表明,缺陷检测仍是最成熟的应用,而现场监测、进度评估、多模态感知和空间集成系统正在快速发展。在这些应用中,有效的YOLO适应取决于将所需施工输出与适当的数据和标签、模型级修改以及操作约束相匹配,而非孤立地选择某一模型版本。
然而,重要的证据缺口仍然存在。许多研究依赖有限的项目数据和域内评估;算法增益并不总是在不同工地或硬件上进行测试;部署证据通常止步于检测器准确率或帧率。因此,未来研究应加强跨项目验证、支持更丰富的输出和多模态输入、一致地报告准确率-效率权衡,并在资源受限平台上评估完整的感知-决策工作流。通过将这些需求与四个模块相联系,本综述为解释当前YOLO证据和开发更具可迁移性和可部署性的感知系统提供了面向建筑的基础。这些结论涉及所选英文期刊语料库。期刊集中度、来源覆盖范围以及排除会议限制了向更广泛领域的推广。
CRediT作者贡献声明
Yue Hongzhe:写作——初稿,可视化,验证,软件,方法论,正式分析,数据管理。Li Zeyu:写作——审阅与编辑,正式分析,数据管理。Wang Qian:写作——审阅与编辑,监督,项目管理,方法论,资金获取,概念化。Zhang Shuolin:写作——审阅与编辑,正式分析,数据管理。Yang Tianqin:写作——审阅与编辑,方法论,正式分析。Jie Pengyu:写作——审阅与编辑,正式分析,数据管理。Huang Guanying:写作——审阅与编辑,方法论,正式分析。
资金
本工作受国家重点研发计划(编号:2023YFC3804300)、东南大学博士生创新提升计划(编号:CXJH_SEU 25101)、江苏省研究生科研与实践创新计划(编号:KYCX25_0497)以及国家留学基金委项目(编号:202506090087)资助。
Yue Hongzhe | Li Zeyu | Wang Qian | Zhang Shuolin | Yang Tianqin | Jie Pengyu | Huang Guanying
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号