《COMPUTERS IN INDUSTRY》:CASIA-Net: An indoor work site smoking detection framework
编辑推荐:
针对室内工作场所吸烟检测中目标小、背景复杂等问题,提出CASIA-Net框架,通过可变形特征提取和自适应注意力机制提升检测性能,在自建数据集上mAP50达0.917,验证其有效性和轻量化优势。
王萌|李梅
中国地质大学(北京)信息工程学院,北京,100083,中国
摘要
在室内工作场所检测吸烟行为面临重大挑战,因为目标规模小、能见度差且环境杂乱。这些因素显著增加了火灾风险。我们提出了基于上下文感知的小物体注意力网络(CASIA-Net),这是一种新的检测框架,用于解决这些问题。CASIA-Net结合了可变形特征提取(DFE)模块来处理吸烟目标的非显著特征,并根据目标规模自适应调整卷积核大小。此外,还提出了自适应特征注意力(AFA)模块来提取小物体,从而在复杂的室内工作场所背景下增强对吸烟关键特征的关注。为了解决复杂环境中的注意力漂移问题,引入了吸烟者特征整合模块来整合DFE和AFA提取的特征。同时,我们还构建了一个专门用于室内工作场所吸烟检测的数据集。实验结果表明,该模型在数据集上的mAP50达到了0.917,模型体积仅为6MB。该模型具有出色的准确性、鲁棒性和轻量级设计,非常适合在复杂的室内工作场所和工业应用中部署。
引言
在室内工作场所进行吸烟检测至关重要。这些区域通常含有易燃材料,如油漆、溶剂和绝缘材料,这大大增加了火灾事故的风险(Ling等人,2023年)。此外,室内工作场所通常拥挤且混乱,能见度有限,光照条件多变。这些因素使得人工监控既具有挑战性又容易出错。有效的吸烟检测系统对于工作场所的安全、遵守消防安全规定以及保护工人健康至关重要。
基于计算机视觉的智能检测方法为吸烟检测提供了更加灵活和可扩展的解决方案。深度学习技术的进步显著提高了物体检测的准确性和效率。研究人员提出了许多创新方法,特别是小物体检测和特定行为识别(Zhang等人,2022a;Jha和Babiceanu,2023年)。例如,一些系统将图像分割成更小的部分以方便小物体检测,这使得在边缘计算环境中实现实时推理成为可能(Zhang等人,2022c;Zhang等人,2024a;Shen等人,2022年)。Gao等人引入了AdaMixer,这是一种基于查询的检测器,旨在实现快速收敛并专门用于检测小物体(Gao等人,2022年)。Zhang等人提出了自适应训练样本选择(ATSS),它可以根据每个真实目标自动计算正负阈值(Zhang等人,2020a),该方法基于锚框的交并比(IoU)统计。然而,IoU指标对小物体的位置偏差特别敏感。为了解决这个问题,Xu等人(2021年)提出了一种点距离评估指标,以减轻传统IoU指标对小物体的限制。此外,Tian等人(2022年)引入了全卷积单阶段(FCOS)检测器,该检测器在像素级别预测物体位置。通过消除预定义的锚框集,FCOS避免了所有与锚框相关的超参数和复杂计算。这些方法提高了检测性能,但在复杂环境中仍面临挑战。
基于这些进展,Zhu等人开发了Cigarette Defect Detection YOLOv8(CDD-YOLOv8),这是一种改进的算法,利用多级特征提取来提升吸烟检测性能(Zhu等人,2023年)。Ling等人提出了一个单图像吸烟检测框架,该框架使用Human–Object Interaction with Lite Transformer Network(HOLT-Net)进行人机交互,并引入了SCAU-Smoker-Detection(SCAU-SD)数据集,这是第一个包含人机交互注释的单图像吸烟行为基准数据集。HOLT-Net在SCAU-SD数据集上的准确率超过了80%(Ling等人,2023年)。然而,这些方法主要关注背景简单且吸烟目标较大的场景,限制了它们在复杂室内工作场所的应用。
大多数现有研究针对的是开放区域,如公共空间或办公室或车辆等特定环境,其中香烟目标较大且较为明显。相比之下,室内工作场所通常有小型吸烟目标,需要通过广角相机捕捉。由于极端的能见度变化、杂乱的背景以及目标相对于视觉框架的小尺寸,这些目标难以检测。传统方法在这些条件下往往效果不佳。室内工作场所还面临光照条件的动态变化,从早晨的昏暗光线到中午的强烈阳光,再到晚上的昏暗环境(Cheng等人,2024年)。香烟目标经常与背景融为一体,使得传统算法难以识别。工人的姿势频繁变化,进一步改变了相机视野中香烟的外观和方向。灰尘、烟雾和悬浮颗粒等环境因素会模糊视觉数据,降低检测性能。室内工作场所的场景如图2所示。尽管吸烟检测对工作场所安全至关重要,但针对室内工作场所这些挑战的研究仍然有限。
本文提出了一种名为Context-Aware Small-Item Attention Network(CASIA-Net)的新室内工作场所吸烟检测框架,以应对上述挑战。这种方法特别适合复杂的室内工作环境。CASIA-Net结合了多个特征提取模块,提升了室内吸烟检测的性能。主要贡献如下:
- •
CASIA-Net检测框架。 CASIA-Net检测框架有效整合了特征提取和物体识别技术,实现了高检测准确率,并展现了鲁棒性和实时性能。该框架非常适合在现实世界的室内工作场所中部署。
- •
可变形特征提取模块。 可变形特征提取(DFE)模块能够根据吸烟目标的大小和形状自适应调整卷积核大小,特别适用于视角和姿势变化复杂的室内工作场所。
- •
自适应特征注意力模块。 为了在复杂背景和光照条件下更好地提取小物体,提出了自适应特征注意力(AFA)模块。AFA模块通过计算每个像素的重要性权重来增强对关键特征的关注,抑制了复杂背景的干扰,使模型在不同光照条件下能够更专注于关键特征图。
- •
自组织数据集。
本文还构建了室内工作场所吸烟检测(ICSSD)数据集,专门用于室内工作场所吸烟检测,为模型训练和验证提供了数据支持。该数据集涵盖了各种复杂的室内工作场所环境,包括低光照、高灰尘和多种工作场景,全面反映了室内工作场所的吸烟行为。
CASIA-Net的工作流程如图1所示。本文的其余部分安排如下:第2节总结了现有的吸烟检测算法;第3节详细介绍了提出的CASIA-Net算法的结构;第4节详细描述了实验设置,并将提出的方法与多个基准模型和最先进(SOTA)方法进行了比较;第5节验证了CASIA-Net的鲁棒性和轻量级性能;第6节总结了研究内容并讨论了室内工作场所吸烟检测的未来研究方向。
章节片段
吸烟检测
几十年来,吸烟检测技术取得了显著进步,从传统的人工监控发展到烟雾传感器和计算机视觉应用。人工监控效率低下,常常无法满足复杂环境中的实时检测需求。早期的烟雾传感器主要包括电离型、光电型和气体敏感型。电离烟雾探测器的工作原理是烟雾中的颗粒会干扰带电粒子的运动
数据集构建与分析
在本研究中,我们使用安装在中国的多个工作场所的广角相机收集了12,077张室内图像。这些图像由一家大型装修公司提供,包含6,890个吸烟场景。数据收集涵盖了不同的季节、工作进展阶段和相机视角,确保了数据集的多样性和代表性。为了构建数据集,我们将收集到的图像按9:1的比例分为训练集、验证集和测试集。
实验平台和参数设置
硬件平台包括一台配备128 GB内存的Intel i9计算机和一块24 GB显存的NVIDIA GeForce RTX 4090 GPU。软件环境为Ubuntu 18.04,开发平台为PyCharm 2019,编程语言为Python 3.8,深度学习框架为PyTorch 2.0.1。训练图像被调整为640 × 640像素,训练周期为300轮,批量大小为8。学习率初始化为0.001,权重衰减和动量因子设置为0.0005。
讨论
在本文中,我们提出了一种名为CASIA-Net的新检测框架,用于识别室内工作场所的吸烟行为。凭借创新的模块设计,CASIA-Net展示了出色的特征提取能力和在复杂环境中的优越检测性能。
首先,DFE模块可以根据目标的大小和形状自适应调整卷积核大小,有效解决了吸烟动作和特征不显著的目标问题。
结论
本研究介绍了CASIA-Net,这是一个轻量级模型,旨在应对复杂室内工作场所环境中吸烟检测的挑战。通过构建ICSSD数据集和创新的架构设计,CASIA-Net在检测性能和实际应用方面取得了显著进步。在ICSSD数据集上的实验验证了CASIA-Net相对于主流检测算法的优越性,mAP50达到了0.917。其紧凑的6 MB设计确保了...
CRediT作者贡献声明
王萌:撰写——原始草稿、方法论、验证、数据整理、可视化、调查、资源准备。李梅:监督、调查、项目管理、撰写——审阅与编辑、资金筹集。
利益冲突声明
本手稿尚未在其他地方部分或全部发表,也未被其他期刊考虑。我们已阅读并理解了您期刊的政策,相信本手稿和研究内容均不违反任何规定。不存在需要声明的利益冲突。
致谢
本工作得到了中国地质大学(北京)技术服务项目(项目编号:Z083612024126)的支持。