《ACS Omega》:Intelligent Coal–Gangue Sorting Method Based on CCD and DE-XRT Image Fusion
编辑推荐:
针对复杂环境下单模态矿石分选常出现的漏检、误检和精度低等问题,本研究提出了一种基于工业CCD(电荷耦合器件)图像与DE-XRT(双能X射线透射)图像融合的智能煤矸石分选方法。首先,在实验室搭建数据采集装置,收集煤与矸石的CCD图像和DE-XRT图像。采用自适应
针对复杂环境下单模态矿石分选常出现的漏检、误检和精度低等问题,本研究提出了一种基于工业CCD(电荷耦合器件)图像与DE-XRT(双能X射线透射)图像融合的智能煤矸石分选方法。首先,在实验室搭建数据采集装置,收集煤与矸石的CCD图像和DE-XRT图像。采用自适应加权融合对高、低能X射线图像进行预处理。随后,研究人员构建了一个能够同时处理CCD和XRT图像的双分支骨干网络。为平衡效率与性能,该网络基于轻量级MobileNetV4架构构建,并通过调整宽度乘子显著降低了参数量与计算复杂度。此外,引入了SimAM注意力机制以增强特征表示并提升识别精度。所提方法有效结合了CCD图像(提供清晰表面特征)与XRT图像(实现内部成分识别)的优势,实现了实时精确的矿石分选。实验结果表明,该图像融合方法在显著降低模型复杂度的同时保持了优异的性能:与单模态CCD和XRT模型相比,所提出的融合模型浮点运算次数(FLOPs)降低了64.9%,参数量减少了61.7%,识别精度分别提高了7.6%和28.3%。最终,该模型达到了100%的识别准确率,无漏检与误检。
中国的煤矸石分选技术经历了从人工分选到机械化、自动化分选,再到智能化分选的发展过程。智能化分选技术的出现标志着信息化与工业化在煤矸石分选行业深度融合的重大突破。尽管传统的机械化与自动化分选技术(如动筛跳汰和重介质选煤)已经过数十年的发展且相对成熟,但这些方法仍然存在空气污染、水资源消耗和土地退化等环境问题。近年来,随着计算机视觉与X射线检测技术的进步,基于图像识别和X射线检测的智能分选技术已成为研究热点,并展现出广阔的应用前景。目前,煤矸石识别主要有两种技术途径:①基于可见光成像(CCD)的视觉识别技术,即使用线扫相机采集传送带上煤流的图像信息;②基于辐射透射(XRT)的成像技术,即利用X射线等穿透性辐射对煤流进行透射成像。
CCD成像主要依赖高分辨率相机与计算机视觉技术,通过分析颜色、纹理和形状等表面特征来识别和分类矿石。现有的基于CCD的研究多采用卷积神经网络(CNN)模型,取得了较高的识别精度。XRT分选技术能够穿透矿石表面,检测内部成分与密度差异,适用于难以用CCD图像区分的矿石分选。针对X射线图像的研究则多关注利用其密度信息。然而,现有的煤矸石识别研究大多基于单一信息源,如CCD或XRT,在复杂场景下存在局限性。例如,有研究采用结合深度相机与DE-XRT的双模态数据融合方法,有效提高了识别精度,验证了多源融合的优越性。受此启发,本研究创新性地提出了一种结合CCD与XRT图像的双源信息融合煤矸石识别方法。通过协同利用CCD的纹理特征与XRT的物质成分信息,可以在特征层面实现互补增强。因此,与单模态方法相比,所提出的CCD与XRT融合方法有望有效提升煤矸石识别的准确性、环境稳健性以及效率,这对于实时工业部署至关重要。
研究人员开展了基于图像融合与改进轻量化深度学习网络的研究,旨在实现高效准确的煤矸石智能分选。论文发表在《ACS Omega》期刊。该研究的核心意义在于,提出了一种创新的双模态融合框架,通过融合互补的表面与内部信息,有效解决了单模态识别在复杂工况下的不足,并最终开发出一个兼具高精度与低计算开销的轻量化模型,为煤矸石分选的工业实时部署提供了切实可行的解决方案,有助于推动行业向智能化、绿色化转型。
为开展这项研究,研究人员主要采用了以下关键技术方法:首先,构建了包含工业CCD相机与双能X射线透射(DE-XRT)成像系统的数据采集平台,实验样本队列来源于内蒙古准格尔旗某煤矿。其次,采用了像素级加权平均算法对DE-XRT设备采集的高能与低能图像进行预处理融合。在核心模型构建方面,以轻量化的MobileNetV4-Conv-Small架构为基础,通过调整宽度乘子来平衡模型性能与复杂度;同时,在网络末端集成了无参数的SimAM注意力模块,以提升模型的特征表示能力。最后,通过对比实验对模型进行了训练与多维度评估。
**宽度因子分析**
研究人员测试了不同宽度乘子(α)对基础MobileNetV4-Conv-S模型性能的影响。结果显示,当α = 0.5时,模型在保持较高测试精度(融合模态下为98.48%)的同时,显著降低了参数量和FLOPs,实现了效率与性能的最佳平衡,因此被选定为最终模型的配置。
**SimAM注意力机制评估**
为验证SimAM在煤矸石分选任务中的有效性,研究人员将其与SE、CBAM和ECA三种常用注意力机制进行了对比。在相同实验条件下,集成SimAM模块的MNv4-Conv-S-SimAM(α = 0.5)模型在准确率、精确率、召回率和F1分数四项指标上均达到了完美的100%,性能显著优于其他三种注意力机制。混淆矩阵分析表明,SimAM能够实现所有样本的正确分类,而其他机制均出现了不同程度的误判。这归因于SimAM无参数的自适应特性,使其能更精准地捕捉煤矸石图像的细微特征。
**模型训练与对比**
研究人员在一个包含14种经典目标识别网络(涵盖CNN、Transformer和MobileNet系列)的基准上,对所提出的MNv4-Conv-S-SimAM(α = 0.5)模型进行了训练与比较。训练过程显示,轻量化的MobileNet系列模型(如MNv3-S, MNv4-Conv-S)在CCD-XRT多模态融合任务中表现最为出色,收敛稳定且最佳训练精度超过95%。所提模型的训练曲线表明,在约50个训练周期后,其多模态训练精度接近100%,模型有效收敛,且多模态融合相比单模态在各项指标上均有提升。
**模型测试结果**
在测试集上,所提出的MNv4-Conv-S-SimAM(α = 0.5)模型取得了100%的测试准确率,所有评价指标均达到完美水平。与14种主流模型对比,包括ConvNext_tiny、DeiT_tiny、DenseNet_tiny、ResNet50、Swin_transformer_tiny、VGG16、Vision_transformer_tiny以及MobileNet系列(MNv3-S, MNv3-L, MNv4-Conv-S/M/L, MNv4-Hybrid-M/L),所提模型以最小的参数量、计算量、推理时间和内存占用实现了100%的准确率,充分证明了其在模型轻量化和性能方面的双重优势。对比分析还表明,双模态融合能够有效纠正单模态的误判,例如对于一个实际类别为煤的样本,单模态XRT模型误判为矸石,而双模态融合模型实现了正确分类,验证了多模态信息互补的有效性。
**模型效率评估**
从计算复杂度、参数量、推理时间和内存使用四个核心指标评估,所提出的MNv4-Conv-S-SimAM(α = 0.5)模型在达到100%准确率的模型中(包括MNv3-S, MNv4-Conv-S, MNv4-Hybrid-M),展现出最均衡的整体效率。其参数量(1.89M)显著低于MNv3-S(3.02M),内存占用(12.24MB)也远低于后者(28.07MB),具有更高的实际计算效率和更低的硬件要求。这使其成为实时矿石分选任务中最合适的候选模型。
研究人员讨论了模型在工业部署层面的潜力。该轻量化模型计算开销极低(仅0.13 GFLOPs),参数量少(1.89M),能够在典型的边缘计算设备上高效运行。其单张图像的推理时间仅为9.37毫秒,峰值内存使用约12.24 MB,完全满足分选生产线对高实时性(通常要求处理速度>100帧/秒)和低硬件资源依赖的核心需求。在实际部署中,可通过工业相机沿传送带获取煤流视频流,该模型能实现实时目标识别,并驱动分选执行机构(如高压气阀)进行精准剔除。其轻量化特性不仅保证了处理速度,还显著降低了系统部署成本。此外,训练阶段采用的数据增强策略(针对不同光照条件和矿石尺寸变化)有效提升了模型对复杂现场环境的适应性,确保了实际应用的稳定性。
**结论**
本研究提出了一种基于工业相机(CCD)与双能X射线(DE-XRT)图像融合的矿石分类方法。通过整合CCD捕获的表面特征与DE-XRT揭示的内部信息,建立了一种双模态协同决策机制。主要结论如下:
1) CCD图像提供颜色、纹理等具有判别性的表面特征,而XRT图像反映矿石的内部密度与结构分布。两种模态的互补性显著缓解了单一传感器在复杂矿石识别中的局限性。基于多模态融合策略提出的改进模型,不仅增强了分类结果的置信度,而且极大地降低了误判率,为高精度矿石分选提供了可靠的技术解决方案。
2) 与包括ConvNext_tiny、Deit_tiny、DenseNet_tiny、ResNet50、Swin_transformer_tiny、VGG16、Vision_transformer_tiny以及MobileNet系列(MNv3-S, MNv3-L, MNv4-Conv-S, MNv4-Conv-M, MNv4-Conv-L, MNv4-Hybrid-M, MNv4-Hybrid-L)在内的14种主流分类模型相比,所提出的MobileNetV4-Conv-S-SimAM (α = 0.5)以最小的参数量、计算需求、推理时间和内存占用,达到了100%的测试准确率,充分证明了其在模型轻量化和性能方面的双重优势。
3) 开发了一个功能实用的测试窗口界面,允许用户输入煤或矸石图像,并获取融合模型的预测概率。该设计提升了研究的实际价值与工程应用潜力。
4) 在工业部署层面,本研究提出的轻量化模型可直接集成到实时煤矸石分选系统中。该模型计算开销(仅0.13 GFLOPs)和参数量(1.89M)极低,能在典型的边缘计算设备上高效运行。具体而言,单张图像的推理时间仅需9.37 ms,峰值内存使用约12.24 MB,完全满足了分选生产线对高实时性(通常要求处理速度>100帧/秒)和低硬件资源依赖的核心要求。在实际部署中,可通过沿传送带的工业相机获取煤流视频流,该模型能够实现实时目标识别,并驱动分选执行机构(如高压气阀)进行精准实时剔除。其轻量化特性不仅保证了处理速度,也显著降低了系统部署成本。此外,训练阶段采用的数据增强策略,有效提升了模型对复杂光照环境和现场物料尺度波动的适应性,确保了实际应用的稳定性。