《AUTOMATION IN CONSTRUCTION》:Addressing data scarcity in construction safety monitoring using low-rank adaptation (LoRA)-tuned domain-specific image generation
编辑推荐:
提出基于LoRA的轻量级领域自适应框架,通过多LoRA结构分别适配建筑背景与跌倒、物体打击、被困三大事故场景的合成图像生成。实验表明该方法在CLIP语义一致性得分最高且方差最小,FID降低86.72点,训练的YOLOv8模型在真实场景中mAP达94.1%。
郑仁洙 | 金俊勋 | 林承模 | 黄正彬 | 奇硕镐
韩国土木工程与建筑技术研究院,京畿道高阳市 10223,大韩民国
摘要
本文提出了一种轻量级的领域适应框架,用于通过使用低秩适应(LoRA)微调预训练的文本到图像扩散模型来实现建筑安全监控。为了模拟训练数据中较少涉及的高风险建筑环境,该模型被适配到环境特征和特定危险场景中,重点关注包括跌落、被撞击和被困在内的视觉上占主导地位的事故。为了解决数据稀缺问题,采用了Multi-LoRA微调方法,每种危险类型使用20张图像(三种危险类型共60张)和30张背景图像,从而实现了上下文相关和危险特定的适应。生成的图像在语义一致性方面表现最佳,获得了最高的平均对比语言-图像预训练(CLIP)分数,并且通过将Fréchet Inception Distance(FID)降低了86.72点,提高了视觉真实性。此外,仅在这些合成图像上训练的YOLOv8模型在真实世界帧上的平均精度(mAP@0.5:0.95)达到了94.1%,与在真实数据上训练的基线模型相当。
引言
确保建筑工地的安全并实施有效的危险管理是直接影响现场工人职业安全以及建设项目整体成功的关键问题。与更受控制的工业环境相比,建筑工地本质上是动态且复杂的,这使得安全管理变得更加困难和不可预测[[1], [2], [3]]。建筑业一直被认为是危险性最高的行业之一,每年都有数千人死亡[4,5]。其根本原因主要归结于现场条件的极端变化,包括工作区域的移动、多个分包商的参与以及重型设备的操作,还有环境因素如天气、现场可访问性和户外限制(例如,视线受限、地形不平以及极端温度)[6]。为了减轻这些风险,建筑工地通常会指派专门的安全人员负责频繁的现场检查、危险监控和执行适当的安全标准[7]。然而,合格的安全管理人员短缺,加上时间和财务资源的限制,往往使得全面监督所有建筑活动变得不切实际,从而突显了需要能够在数据有限条件下运行的自动化、可扩展的监控系统的必要性[8,9]。受到这些限制的启发,研究人员开始采用基于人工智能(AI)的技术来自动化安全管理[10,11],其中计算机视觉因其可扩展性、成本效益以及在高度非结构化和不可预测的现场环境中检测和评估与安全相关事件(如个人防护装备(PPE)合规性和危险行为)的卓越能力而成为一种特别有前景的解决方案[[12], [13], [14], [15]]。
为了在建筑工地上实现有效的基于视觉的监控,对象检测是一项基础的计算机视觉任务,也是实际应用中最广泛使用的任务之一[16]。然而,高质量事故数据集的缺乏在使用最先进的模型(如YOLOv8 [17] 和 YOLOv11 [18])时构成了重大挑战。收集关于建筑危险的真实世界视觉数据存在伦理和法律问题,因为这些事件是不可预测的、复制起来很危险,并且很少被摄像头捕捉到[19]。此外,这些事件很少被包含在公开可用的数据集中,重新生成它们进行数据收集既不可行也不安全[20,21]。为了应对这些限制,研究人员越来越多地探索合成图像生成作为获取真实世界数据的实际替代方案。为了解决这些困难,人们使用了网络爬虫技术来收集补充基于视觉的模型训练的建筑工地图像[22]。此外,游戏引擎也被用来生成合成数据集,例如,用于训练建筑环境中的活动识别模型[23],或模拟用于安全监控目的的危险场景[24]。最近,生成式扩散模型的出现为数据生成引入了一种有前景的新方法。像DALL·E [25]、Stable Diffusion [26,27] 和 Flux.1 [28] 这样的模型因其能够从文本提示生成高质量、具有丰富上下文的图像而受到了广泛关注,为它们在计算机视觉任务中的应用开辟了新的可能性。相应地,初步研究已经证明了文本到图像模型从领域特定的文本输入生成建筑危险合成表示的可行性[29]。
为对象检测生成有效的合成训练数据仍然具有挑战性,尤其是在建筑安全这样的特定应用中。由于大多数文本到图像模型是在像LAION [30] 这样的通用数据集上训练的,它们通常难以表示现场特定的特征,尤其是对建筑安全至关重要的特征。领域差距可能会影响生成图像的真实性,特别是在描绘危险场景、工人、设备和材料之间的复杂交互,以及固定视角建筑画面的独特视觉特征(如照明条件和典型的背景杂乱)时。为了更好地捕捉建筑环境本质上复杂和动态的特性,提示通常需要包含多个主题类别。包含多个主题类别通常会导致一种称为“概念溢出”的现象,即视觉上不同的对象(例如,工人、设备、材料)以不现实的方式融合在一起或发生扭曲,导致输出模糊,无法与预期的场景结构和伪标签对齐[31]。此外,即使在提示中明确描述了特定对象,有些对象也可能不会出现在生成的输出中,从而导致前景元素不完整或缺失。这些生成错误会削弱合成图像的一致性和可靠性,最终限制了它们作为建筑安全应用中对象检测训练数据的有效性。因此,建筑安全应用中的对象检测系统性能可能会受到影响,导致危险检测不准确和监控结果不可靠。
在这方面,本研究提出了一种经过低秩适应(LoRA)调优的、领域感知的图像生成流程,该流程(1)在实地数据上微调扩散模型,(2)通过结合建筑特定的背景和安全关键场景生成真实的训练图像,(3)证明了所得数据集在真实建筑环境中的对象检测适用性。利用LoRA的参数高效设计,该方法允许使用有限的数据进行微调,减轻过拟合,并支持针对特定安全场景的模块化适应。选择Flux.1作为基础模型,是因为它已被证明能够生成具有强空间一致性的高质量、逼真图像,这对于复制真实的建筑环境至关重要。为了考虑建筑场景的独特特征,微调过程采用了Multi-LoRA结构,其中背景特征和危险语义分别使用专用的LoRA模块进行学习。背景模块捕捉了建筑监控图像中常见的环境特征,如固定的摄像机角度、变化的照明条件以及由持续活动和结构元素引起的视觉杂乱。特定危险的LoRA专注于三种主要事故类型(即跌落、被撞击和被困),这些类型被职业安全与健康管理局(OSHA)确定为现场受伤的主要原因[32]。选择这些类别是因为它们在典型的建筑画面中具有视觉上可观察的特征,适合深度学习模型训练。尽管电击被认为是OSHA“四大致命原因”之一,但由于标准监控图像中很少出现明显的电弧或直接接触电源等视觉线索,因此本研究将其排除在外。此外,高质量训练数据的语义模糊性和稀缺性进一步复杂化了使用基于视觉的方法对电击场景的建模。因此,本研究专注于那些在视觉上更易区分且在结构上更适合当前生成和检测流程的危险。通过为选定的危险嵌入与安全相关的情境概念,所提出的框架能够生成逼真的安全图像,从而提高了基于视觉的危险检测系统在真实建筑环境中的准确性和鲁棒性。
章节片段
文献综述
本节回顾了关于建筑工地基于视觉的安全监控的现有研究。首先,它考察了用于检测建筑相关对象(如工人和设备)的计算机视觉技术,以及从视觉数据中分析不安全行为或动作以识别潜在安全风险的技术。然后,该节回顾了作为传统数据收集方法的有吸引力的替代方案的领域特定合成图像生成方法,解决了重要问题
方法论
本研究旨在生成针对建筑安全监控的领域特定的人工数据。在Flux.1-dev [28] 的能力基础上,该模型在开源文本到图像模型中表现出色,并且支持微调功能,本研究重点关注三种主要危险类型(即跌落、被撞击和被困事故),根据OSHA统计,这些事故的发生频率最高[32],同时它们在视觉上也具有代表性
实验
为了检验LoRA调优的领域特定图像生成方法的有效性,进行了一系列实验,重点关注语义对齐、视觉真实性和下游应用的适用性。评估包括对图像质量和语义一致性的定量评估,以及对生成数据在增强与建筑安全监控相关的下游对象检测任务性能方面的效用分析。用于训练的数据集包括
讨论
实验结果清楚地证明了基于Combined LoRAs的图像生成策略在构建适用于建筑安全应用的高质量合成数据集方面的有效性。在所有评估中,语义一致性(CLIP)、视觉真实性(FID)和下游任务性能(对象检测)方面,Background和Hazard-Specific LoRA模块的联合使用始终优于其他配置,包括单模块变体
结论
本文通过提出一种轻量级的领域适应框架,解决了建筑安全监控中数据稀缺的持续挑战。利用LoRA的参数高效设计,本研究在仅包含每种危险类型20张图像和30个建筑背景场景的小数据集上微调了一个预训练的文本到图像扩散模型(Flux.1-dev)。与依赖于在大型数据集上训练的通用生成模型的先前方法不同
CRediT作者贡献声明
郑仁洙:撰写 – 原始草稿、可视化、验证、软件、资源、方法论、调查、正式分析、数据整理、概念化。金俊勋:资源、方法论、数据整理、概念化。林承模:软件、资源、方法论、调查。黄正彬:验证、资源、方法论。奇硕镐:撰写 – 审稿与编辑、监督、项目管理、资金获取、概念化。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。
致谢
本工作得到了韩国基础设施技术促进机构(KAIA)的资助,该机构由国土交通部(RS-2024-00417877)资助。本工作还得到了韩国国家研究基金会(NRF)的资助,该基金会由韩国政府(MSIT)(编号:2021R1A2C2003696)资助。