基于双摄像头计算机视觉与深度学习的有色金属废料回收中人工分拣效率自动估算

《Electronics》：Automatic Estimation of Manual Sorting Efficiency in Non-Ferrous Scrap Recycling Using Dual-Camera Computer Vision and Deep Learning

　　

人工分拣是有色金属废料回收中的关键精炼环节，然而其效率却很少被连续测量。本研究提出了一种双摄像头计算机视觉系统，通过计数分拣前后的物料来估算人工分拣效率。该系统将基于工厂内数据集（包含4361张图像，四个类别）训练的YOLO检测器与卡尔曼滤波器跟踪器（Kalman-filter tracker）及越线计数器相结合，以生成每类及每小时的效率指标。YOLOv11m达到了更高的最大F1分数（0.82对比0.79），所选模型的mAP@50值达到0.85-0.86。图像级的数据集划分可能使检测器指标偏于乐观；各阶段比较仅具指示性意义。在一次六小时测试中，研究人员统计了3753个输入对象和690个输出对象，由此得出的计数衍生全局效率估计值为81.61%（95% Wilson区间，仅考虑抽样误差时为80.34-82.82%）。电路板和橡胶的估计效率超过90%，而铜和黄铜这两种最有价值组分的估计效率分别仅为75.95%和73.75%。这证明了端到端运行的可行性，而非经过验证的准确性：由于缺乏人工参考计数或真实的输出相机测试图像，所有效率值均以自动计数为前提条件。敏感性分析量化了误差向该指标的传播。研究结果表明，将检测、跟踪和输入-输出比较作为工业4.0回收生产线监控原型的方案是可行的。

论文解读文章

一、研究背景与问题

随着循环经济的推进，从报废产品中回收的材料需具备替代原生原料的质量。在金属回收领域，非铁金属（如铜、黄铜）市场价值远高于其通常所处的铝基体，即使少量异种金属也会降低回收铝的价值。现代工厂虽结合了磁选、筛分、风选、涡流分离及传感器分选等技术，但人工分拣仍是最终的精炼环节，因为训练有素的工人能识别部分遮挡、污损或变形的物体，并能快速适应进料成分变化。然而，人类分拣表现受皮带速度、物料密度、物体尺寸、光照和工作时长等因素影响，且长时间视觉检测中的检出率既不稳定也难以预测。若目标物未被移除，它们会留在输出流中，降低回收组分的收益和主产品的纯度。因此，持续监测人工分拣效率对于优化流程、提高经济效益至关重要，但目前这一环节鲜有连续测量手段。现有研究多集中于对独立图像的分类或检测，或利用预测结果驱动自动化分拣设备，而鲜有关注利用计算机视觉观察并量化现有手动流程的结果。

二、研究方法与关键技术

为解决上述问题，研究人员开发了一套双摄像头计算机视觉监控系统。系统架构包括两个独立的感知流水线，分别处理进入分拣区前（输入）和离开分拣区后（输出）的视频流。每个流水线的核心技术方法包括：

1. 1.
   YOLO目标检测器：使用工厂现场采集的4361张图像数据集（含电路板、铜、橡胶、黄铜四类，共8574个标注实例）训练YOLOv8m和YOLOv11m模型。
2. 2.
   卡尔曼滤波器跟踪器：采用基于运动的目标跟踪算法，为每个检测到的物体建立轨迹，关联帧间同一物体，并通过设定运动约束（如最小位移方向与皮带运动方向一致）过滤误检，实现跨帧稳定追踪。
3. 3.
   越线计数器：当物体轨迹中心沿皮带运动方向越过预设的计数线时，系统为该物体的类别计数器增加一次，确保每个物体仅被计数一次。
4. 4.
   效率指标计算引擎：结合输入和输出摄像头的逐类计数，计算每小时和全程的分拣效率（E_c = (N_in,c - N_out,c) / N_in,c），并生成带注释的视频和结构化Excel报告。

三、研究结果

1. YOLOv8m与YOLOv11m的比较

在同一条件下训练两种模型，YOLOv11m在测试集上的总体性能更优，最大F1分数从0.79提升至0.82。混淆矩阵显示，YOLOv11m提高了电路板（真阳性率从0.78升至0.93）和黄铜（从0.79升至0.89）的检测正确率，而铜略有下降，橡胶保持不变。橡胶是最难检测的类别，主要错误模式是与传送带表面混淆。

2. 训练集规模的影响

使用完整训练集（100%）时，YOLOv11m取得了最高的聚合指标（最大F1=0.82，mAP@50=0.852）。数据量减少导致性能不稳定，例如60%子集虽在某些类别上获得高对角线值，但F1和mAP较低，表明完整数据集能提供更平滑的精度-召回曲线。

3. 数据增强的效果

离线数据增强（×3倍）对少数类（电路板）效果最明显，其真阳性率从0.89增至0.96。虽然聚合指标与原数据集相近，但×3增强集的训练过程更稳定，因此被后续阶段采用。

4. 模型规模的影响

比较YOLOv11的小型（s）、中型（m）和大型（L）变体。小型模型获得了最高的聚合指标（mAP@50=0.858，最大F1=0.82），而大型模型表现最差（mAP@50=0.847）。这表明现有数据量不足以发挥更大模型的优势，较小的模型更适合部署。

5. 优化器的比较

对比SGD和AdamW优化器。AdamW显著提升了最困难类别（橡胶和黄铜）的性能，橡胶的真阳性率从0.70升至0.77，AP@50从0.747升至0.785。尽管聚合指标差异微小（mAP@50分别为0.854和0.851），但AdamW更均衡的表现使其被选定用于部署。

6. 六小时工厂实地测试

在真实生产线上连续运行六小时，系统自动统计了3753个输入对象和690个输出对象。由此计算出的全局效率为81.61%（95% Wilson区间：80.34-82.82%）。各类别效率差异显著：电路板和橡胶最高（分别为93.79%和91.66%），而最有价值的铜和黄铜最低（分别为75.95%和73.75%），两者合计占未移除对象的82.6%。

7. 效率的时间演变

按小时划分的报告显示，效率在首个40分钟区间最高（85.84%），随后波动，在最后一个20分钟区间降至最低（69.57%）。全天的效率范围达16.27个百分点，揭示了单一聚合值所掩盖的班次内变异性。但需注意，这些小时级数值未补偿物料在两摄像头间的传输时间，且边界区间可靠性较低。

8. 计数误差的敏感性分析

通过公式推导和模拟，研究人员分析了计数误差对效率指标的影响。结果显示，输出计数的相对误差对低效率类别（如铜）影响更大：±10%的输出计数误差可导致铜的效率估计偏移约±2.4个百分点。当输入和输出计数存在符号相反的误差时，偏差会被放大（如-10%输入误差和+10%输出误差组合可使铜效率下降5.35个百分点）。而相等的相对误差会完全抵消。

四、讨论与结论

讨论：研究证实，基于工厂数据的YOLO检测器能达到约0.85的mAP@50。橡胶是最难识别的类别，原因在于其颜色纹理与传送带相似，而非与其他类别混淆。研究指出，不同类别的问题本质不同（少数类样本不足 vs. 前景-背景对比度低），需要针对性解决。与以往多数仅在独立图像上评估的研究相比，本工作展示了在连续工业视频上运行完整检测-跟踪-计数链的端到端可行性。系统定位为一种流程表征工具，旨在衡量现有手动流程的结果，而非取代操作员。工业启示方面，铜和黄铜的低效率暗示了最具经济回报的改进方向，但计数不等于质量或价值，未来需结合重量或深度信息。研究同时坦诚地指出了多项局限性：计数未经人工验证、输出相机检测器未在真实图像上测试、实验基于单次训练运行、数据集为图像级划分可能导致指标乐观、跟踪参数未版本化、未测量推理延迟等。

研究结论：本研究提出了一个双摄像头计算机视觉系统，旨在通过结合YOLO检测、卡尔曼滤波跟踪和越线计数器，估算非铁废料回收线上人工分拣的效率。在一次工业工厂的连续六小时测试中，该系统展示了操作可行性，生成了基于自动计数的逐类和随时间变化的指标。由于未收集独立参考计数，此次测试仅证明端到端运行和数据生成的能力，而非经过验证的计数准确性或测量系统有效性。在阶段性实验中，YOLOv11m在特定指标和类别上表现出优于YOLOv8m的性能。选定的配置达到了约0.85的mAP@50值。较大的模型并未带来一致的改进，离线增强主要惠及少数类，而AdamW在单次运行中显示出相对于SGD的边际优势。这些比较是指示性的，不应被视为统计学上确认的差异或普遍优越性的证据。利用六小时测试中的自动计数，系统产生了81.61%的全局计数衍生效率估计值，其中铜为75.95%，黄铜为73.75%，橡胶为91.66%，电路板为93.79%。这些值必须被解读为条件估计值，而非经过验证的实际物理去除效率。铜和黄铜占据了被计数为未移除对象的大部分。小时级指标变化超过16个百分点；然而，这种变化是描述性的，因为进料负荷和成分未受控制，且计数未对齐以补偿相机间的物料传输时间。因此，它不能归因于操作员疲劳或其表现的因果变化。所报告的效率应被视为以自动计数为条件的估计值：计数误差未针对独立的人工地面实况进行校准，且输出相机检测器未在独立的真实输出相机图像测试集上进行评估。该研究还受限于单次训练运行、图像级数据划分、单一工厂的单次六小时测试以及跟踪和计数配置参数的不完全恢复。在这些限制范围内，所提出的架构为进一步开发基于计算机视觉的回收厂人工分拣监控提供了实用基础。