ESD-RTDETR：面向复杂建筑工地环境的轻量化安全检测模型

《Digital Signal Processing》：ESD-RTDETR: A Lightweight Safety Detection Model for Complex Construction Site Environments

　　

摘要

建筑工地安全检测面临着对象尺度变化大、小目标密集、环境干扰复杂以及实时部署计算资源受限等多重挑战。针对上述挑战，本研究提出了ESD-RTDETR，一种面向复杂施工环境的轻量化RT-DETR检测框架。在高效特征提取方面，采用StarNet作为轻量化主干网络，其中Star Operation通过乘性特征交互增强非线性特征表示能力，同时降低模型复杂度。基于该轻量化特征表示，设计了一个双向跨尺度特征融合模块（BiCCFM），以增强跨尺度特征交互。通过双向信息流和可学习特征加权，BiCCFM自适应地聚合多层特征，增强不同对象尺度下的特征表示能力。为从优化角度补充上述结构改进，进一步引入了基于EMASlideVarifocalLoss的优化策略。该策略将基于EMA的质量估计与滑动IoU调制相结合，维持稳定的质量参考，并根据样本定位质量动态调整监督强度，从而提高分类置信度与定位质量之间的一致性。此外，还采用了面向环境的数据增强策略，以提升模型对施工场景中视觉变化的适应能力。在自建的大规模数据集上进行的实验结果显示，该数据集包含十类施工安全目标共计153,408个实例，ESD-RTDETR达到了93.0%的mAP50和74.3%的mAP50:95。与RT-DETR-R18相比，mAP50和mAP50:95分别提升了6.9和8.3个百分点。同时，参数量和计算量分别从19.9M降至9.2M，从57 GFLOPs降至22 GFLOPs，推理速度达到115.4 FPS。跨数据集实验进一步表明，在Gen-PPE数据集上，ESD-RTDETR达到了93.1%的mAP50和87.8 FPS；在VisDrone2019数据集上，在更大的域偏移条件下达到了34.4%的mAP50和119 FPS。总体而言，这些结果表明ESD-RTDETR在检测精度、模型复杂度和推理效率之间取得了良好的平衡，为资源受限条件下的建筑工地安全监控提供了一种高效解决方案。

引言

随着城市化进程的加速推进，建筑工地数量和相关的从业人员规模均呈现出显著的增长趋势。由于施工环境复杂、作业动态变化多、风险因素多样等特征，建筑行业具有较高的职业风险。根据美国劳工统计局（BLS）2024年发布的初步数据[1]，2023年美国建筑行业的死亡人数约为1,056人；尽管这一数字与2022年（1,069人死亡）相比略有下降（降幅1.2%），但占各行业总职业死亡人数的20%以上。关于印度，国际劳工组织（ILO）2024年的报告[2]估计2023年与建筑相关的死亡人数在12,000至14,000人之间；较前一年增长了8%，主要归因于城市化加速和大型基础设施项目激增。传统上，施工安全监控主要依赖人工检查、闭路电视（CCTV）系统和人工记录方式[3]、[4]、[5]。尽管这些方法为安全管理提供了基本支持，但它们仍然高度依赖人工干预，且在监控效率、覆盖范围和实时响应能力方面存在局限性[6]。与相对稳定的工业检测环境不同，建筑工地具有高度动态性，作业条件、对象分布和环境状况频繁变化，这对基于视觉的安全监控提出了额外的挑战[7]。因此，实用的施工安全检测系统不仅需要精确的识别能力，还需要在资源受限的部署场景下具备高效的推理能力和强大的适应性。

为了平衡检测精度和计算效率，研究人员广泛探索了对现有模型的轻量化改进。YOLO系列凭借其固有的轻量化设计，已成为该领域最活跃的研究方向。Grady Naftali等人[8]将深度可分离卷积引入YOLOv8以降低计算成本；Bacea和Oniga[9]将压缩-激励模块和跨阶段局部上下文增强引入YOLOv7-tiny以提高融合效率；Zhong等人[10]设计了一个双路径特征解耦模块，仅增加0.25M参数即实现了高效的多尺度特征融合；Qiao等人[11]对YOLOv12应用了结构重参数化以增强推理速度；Bo等人[12]在YOLOv8中构建了一个动态自适应聚焦金字塔网络以实现多尺度加权融合。尽管取得了这些进展，但所有基于YOLO的轻量化方法都存在一个共同的局限性：它们仅将卷积替换为更轻量的替代方案，同时保持加性特征聚合不变，导致非线性表示能力本质上受到限制。此外，YOLO依赖NMS进行后处理，这限制了推理速度并引入了超参数不稳定性。

理想情况下，一个不仅能克服固有的NMS局限性，还能具备更强的非线性特征交互能力，同时保留类似于YOLO的灵活可修改性的模型，将为轻量化施工现场检测提供更有价值的方向。近年来，RT-DETR[13]的出现恰好满足了这一需求。RT-DETR实现了端到端检测，从根本上规避了NMS后处理带来的效率瓶颈和超参数调优困难。其注意力机制自然地实现了更强的全局特征交互，为突破加性融合的理论天花板提供了结构基础。此外，RT-DETR的架构设计提供了与YOLO相当的可修改性，为针对施工场景的轻量化适配留下了充足的空间。

为了进一步提升RT-DETR的轻量化性能，近期研究聚焦于主干网络替换。Liu等人[14]针对雾气施工场景下的安全头盔检测提出了DST-DETR，采用ResNet-18作为轻量化主干网络，并结合针对小目标改进的BiFPN结构。然而，ResNet-18在建筑工地密集遮挡条件下对不规则纹理的建模能力有限；Kim等人[15]将RT-DETR与超分辨率增强和级联学习相结合，用于重型施工机械安全监控，但其改进主要侧重于输入增强，而未解决主干网络架构的固有局限性；Chen等人[16]基于RT-DETR和立体视觉提出了塔吊坠落区安全预警框架，采用StarNet作为轻量化主干网络，并引入了SSFF-P2颈部网络和D2GCST特征交互模块以降低计算成本并增强特征表示。然而，其优化主要聚焦于特定任务的检测需求和结构轻量化，而在复杂施工场景下轻量化特征编码与综合多尺度特征交互之间的协调仍未得到充分探索。Li等人[17]将图卷积嵌入RT-DETR中，以增强无人机视角的多尺度头盔检测，但主干网络仍沿用原始设计，导致轻量化程度不足。Rong等人[18]用GSConvNext-Net替换RT-DETR主干网络以进行安全保护装置检测，实现了面向边缘部署的高效轻量化，然而GSConv仍然是轻量化卷积变体，在复杂遮挡条件下的表示能力有限。Zhang和Zhao[19]提出了改进的RT-DETR模型，通过修改RepCAFPN编码器和InnerCIoU损失函数来增强建筑工地上小目标检测精度，但其改进侧重于特征融合，而非解决主干网络轻量化的核心计算瓶颈。Wang等人[20]用MobileNetV4替换RT-DETR主干网络以进行建筑工地PPE检测，然而MobileNetV4仍然是深度可分离卷积的堆叠，在极端尺度变化下建模不规则纹理的能力有限。

这一局限性与FPN[21]和PANet[22]中广泛采用的特征交互范式密切相关。在这些经典设计中，多尺度特征通过加性或拼接聚合进行整合。后续的改进如BiFPN[23]引入了加权融合，基于注意力的方法[24]、[25]实现了自适应重加权，然而大多数现有方法的核心操作仍然是加性组合。从数学角度而言，加性聚合等价于线性变换的组合，这从根本上限制了模型的非线性特征解耦能力——而这一能力是应对建筑工地上严重遮挡和尺度变化的关键能力。

同时，现有方法也很少考虑真实施工场景中非结构化环境干扰对检测性能的影响。在实际建筑工地上，光照变化、阴影遮挡、雨天/雾天等非结构化干扰因素难以在训练阶段被完全覆盖，使得在真实部署条件下难以确保模型鲁棒性。针对这一问题，Ghiasi等人[26]提出了一种自适应数据增强框架以增强模型对环境变化的适应能力；Ding等人[27]通过数据增强模拟恶劣天气条件，进一步提升了模型在复杂天气下的泛化能力。

基于以上分析，现有轻量化方法在特征交互中仍局限于加性聚合，在有限的计算预算下难以实现充分的非线性特征解耦。此外，它们缺乏有效的多尺度特征融合动态对齐机制，导致在面对建筑工地极端尺度变化时出现明显的信息不连续性。最后，现有方法很少考虑复杂环境干扰对检测性能的影响。为解决这些问题，本文提出了ESD-RTDETR，一种面向复杂建筑工地的轻量化安全检测模型，该模型通过轻量化主干网络设计实现高效的非线性特征交互，并进一步开发了双向跨尺度综合特征融合模块，以实现跨尺度特征的动态对齐和自适应聚合，辅以环境干扰增强策略，为复杂施工环境下的轻量化安全检测提供了有效解决方案。

我们的主要贡献总结如下：

1）设计并开发了一个面向复杂施工环境的轻量化检测框架ESD-RTDETR。采用基于StarNet的轻量化主干网络，在保持有效特征编码能力的同时降低计算开销，为整体框架提供高效的特征提取基础。

2）开发了一种双向跨尺度特征交互机制。本研究提出了双向跨尺度特征融合模块（BiCCFM）作为主要架构贡献。通过在多尺度特征间建立双向信息交换并引入自适应特征聚合，BiCCFM增强了跨尺度特征对齐能力，并改善了复杂施工场景下的对象表示。此外，还整合了基于EMASlideVarifocalLoss的优化策略，以提高分类-质量对齐和训练稳定性。

3）建立了一套全面的施工安全检测评估框架。通过构建覆盖十类安全相关目标的标注数据集，并集成场景自适应数据增强策略，本研究为验证所提框架在复杂施工环境下的有效性和鲁棒性提供了实用的评估基础。

章节摘要

模型概述

本研究提出了一种面向建筑工地安全图像的轻量化目标检测框架ESD-RTDETR，如图1所示，旨在在复杂施工环境下实现检测效率、特征表示能力和鲁棒性之间的有效平衡。该框架整合了RT-DETR架构与基于StarNet的轻量化主干网络，采用后者以降低计算开销，同时保留充足的特征编码能力。

数据集构建与预处理

本研究使用自建的施工安全目标检测数据集，包含2,777张图像，从Kaggle平台[31]和其他公开图像资源中收集。所收集的图像通过公开渠道获取，仅用于学术研究目的。数据集构建过程遵循原始来源的使用条件和访问政策，不涉及商业再分发。在数据集

实验参数设置

为确保实验结果的公平性和可复现性，本研究中的所有实验均在统一的硬件和软件环境下进行。实验平台的详细配置和统一训练参数汇总于表3。为确保不同模型之间结果的可比性，训练工作流中的关键超参数进行了标准化。所有对比方法和所提模型在同一CRediT作者贡献声明

Jian Shi：撰写——原始草稿、撰写——审阅与编辑、方法论、调查研究、概念构思、资源提供。Xu Huang：撰写——审阅与编辑、形式化分析、项目管理、监督指导。Mengjia Zeng：撰写——审阅与编辑、概念构思、监督指导。

利益冲突声明

作者声明，他们不存在任何已知的、可能影响本论文所报告工作的财务利益冲突或个人关系。

通讯作者

Jian Shi | Xu Huang | Mengjia Zeng

湖州学院信息工程学院，中国湖州，313000