《Scientific Reports》：Evaluation of different defect-inspection setups for injection molding parts based on the deep learning method
编辑推荐：
在注塑成型行业中，向小批量生产的转变导致产品种类增多、批量规模减小，从而需要频繁更换模具并实施高效的质量控制，而这些过程仍主要依赖人工操作人员。研究人员提出了一种全面的方法论，用于评估和比较基于深度学习的自动光学检测（AOI）策略，以检测注塑成型零件中的复杂表
在注塑成型行业中，向小批量生产的转变导致产品种类增多、批量规模减小，从而需要频繁更换模具并实施高效的质量控制，而这些过程仍主要依赖人工操作人员。研究人员提出了一种全面的方法论，用于评估和比较基于深度学习的自动光学检测（AOI）策略，以检测注塑成型零件中的复杂表面缺陷。研究人员评估了三种检测方案：静态正面成像、皮带传送带检测和机器人辅助检测。研究结果揭示了不同方法在缺陷检测能力上的明显差异，其中机器人辅助方法表现出优越性能，因其在优化相机角度和位置方面的灵活性，实现了更高的缺陷检测准确率。所提出的方法论作为一个工作流程，能够系统地评估和优化不同参数下的检测方案，从而为AOI系统的设计提供明智的决策。本研究有助于缩小先进检测算法开发与其工业应用之间的差距，为在质量控制过程中战略性实施人工智能技术提供见解，并增强对具有挑战性缺陷的自动检测能力。
**论文解读：基于深度学习的注塑成型零件缺陷检测方案评估与优化**
**研究背景与问题**
在注塑成型（Injection Molding, IM）行业中，产品定制化需求日益增长，精益生产原则推动制造向个性化转变，导致产品种类繁多、批量规模减小。这带来了更频繁的模具更换和机器启动，而注塑成型是一个涉及众多相互依赖变量的复杂过程，质量预测困难。许多注塑成型零件注重外观，表面质量直接影响感知品质，视觉瑕疵常导致产品拒收。因此，质量控制阶段至关重要，需验证产品是否符合初始开发阶段制定的规格和要求。然而，目前的质量控制仍大量依赖人工操作员，他们凭借经验和直觉进行检测，但零件表面缺陷特征变化多样，对操作员培训要求高，且人员主观性严重影响检测结果，人眼检测的准确率高度依赖具体检查员。因此，无需人工干预的质量控制策略仍是注塑成型领域最期望的特性之一，需要更精细的方法来确保稳定可靠的缺陷检测结果。
近年来，深度学习（Deep Learning, DL）在自动质量监控中变得重要，对图像中的背景、光照、颜色、形状、尺寸和强度具有鲁棒性，尤其适用于检测制造品中的复杂表面缺陷。已有研究将DL算法（如YOLO v7、VGG16等）用于钢表面、太阳能电池、织物等缺陷检测，并在注塑成型领域取得进展，但多数研究局限于特定缺陷类型（如短射、飞边、裂纹等），而注塑成型零件常受缩痕、银纹、熔接痕等更难检测的缺陷影响，这些缺陷仅在某些观察角度下才可见。此外，现有研究多聚焦于算法改进，忽略了对检测系统配置（如相机定位、照明、帧数选择等）对缺陷检测成功率影响的系统研究。许多研究在评估时存在相似性偏差问题（将同一零件的多帧图像随机分配到训练集和测试集）以及使用标准指标（如精确率、召回率、平均精度等）未能反映实际生产中零件级决策需求。因此，存在一个显著差距：缺乏一种全面的方法论来系统评估和比较不同DL-based自动光学检测（AOI）系统配置在实际制造环境中的部署效果。
**研究目的与意义**
本研究旨在提出一种评估和比较不同基于深度学习的AOI策略的方法论，重点针对注塑成型零件中难以发现的表面缺陷。研究人员比较了三种工业上现实的检测方案：静态正面成像（Mode I）、皮带传送带检测（Mode II）和机器人辅助检测（Mode III），并在相同照明条件下使用相同架构和超参数训练的YOLOv8s模型，隔离了相机/零件运动学的影响。研究引入了零件级指标和精确率-召回率分析，以反映生产中假阴性（漏检）与假阳性（误检）之间的成本不对称性，并详细描述了机器人检测的轨迹时间重分配程序，以在固定检测时间内增加正确检测的缺陷零件。该研究发表在《Scientific Reports》，其意义在于提出了一个可重复的评估协议，能够将多帧序列的检测结果通过明确的聚合规则转化为零件级决策，从而缩小了先进检测算法开发与工业应用之间的差距，为AOI系统的战略实施提供了定量依据。
**主要关键技术方法**
研究人员使用一个注塑成型的电气插座盖板作为研究对象，材料为黑色聚碳酸酯，缺陷类型为熔接痕（weld lines），缺陷可见性从不可见、轻微可见到高度可见不等。研究采用三个主要技术方法：1) 三种检测方案的数据采集：Mode I将零件置于旋转台上，相机固定，零件绕对称轴旋转；Mode II用协作机器人模拟皮带传送带上的相对运动，零件平移并改变相机与零件间角度；Mode III将相机固定在协作机器人上，零件静止，机器人沿交叉路径移动并改变相机角度（±30°）。所有方案使用相同照明（四个LED阵列）和相机设置（8.9 MPx工业相机），采集30秒视频。2) 深度学习模型训练与评估：使用YOLOv8s（一种单阶段目标检测器）进行训练，训练数据集来自81个样本（36个正常，45个缺陷），每个样本约800帧图像，标注由两名注塑成型专家独立完成，并通过共识标注生成真值。模型在测试集（26个新零件，16个缺陷，10个正常）上评估，帧采样间隔2秒，每零件50帧。3) 自定义零件级指标：包括平均每帧检测缺陷数（avg_nd）、正确检测缺陷数（avg_ndt）、假阳性率（fp_rate）、假阴性率（fn_rate）以及交并比（IoU, Intersection over Union），并采用非参数自举法计算召回率和F1分数的95%置信区间。样本来源为同一生产批次，但测试集与训练集分开，避免相似性偏差。
**研究结果**
**Annotation phase（标注阶段）**
通过双人独立标注并计算微平均F1-0.50（IoU≥0.5），标注一致性约为0.92，帧级缺陷存在性一致率为92%。研究人员采用共识标注用于后续实验。对于不同检测模式，标注的缺陷平均数量存在差异：Mode I的每帧平均标注缺陷数（avg_ngt）最低，Mode II和Mode III相当。这表明不同观察角度显著影响缺陷可见性，进而影响标注质量。
**Detection performance（检测性能）**
YOLOv8s在1024×1024像素图像上的推理时间约为70 ms，适合制造环境。在测试集上，Mode I的avg_ndt（平均正确检测缺陷数）显著低于Mode II和Mode III，说明绕对称轴旋转不足以增强熔接痕可见性。Mode II和Mode III的avg_ndt相近，但Mode II中存在个别异常值，因为零件在传送带上的初始位置随机，影响检测结果。Mode I的avg_nd在某些正常样本中非零，表明存在假阳性；Mode II的假阳性率最高，多个正常样本被误判；Mode III对假阳性鲁棒性更好。IoU值在0.38-0.42之间，各模式间无显著差异，但Mode I因部分样本未检测到缺陷而缺失数据。部分Mode II的缺陷样本的avg_nd和avg_ndt接近零，表明假阴性；而Mode III至少能在某些帧中识别这些缺陷，证明其有效性。
**Trajectory optimization（轨迹优化）**
针对Mode III，研究人员分析了不同时间间隔（对应不同相机角度）内正确检测缺陷的百分比，发现不同角度间缺陷检测率存在显著差异。基于此，将总检测时间固定，但减少低检测率角度的运动时间，增加高检测率角度的时间。在5个新样本上进行优化轨迹测试，结果显示优化后的策略使缺陷检测数量平均增加了18%，具体为每个样本的改进百分比。
**讨论与结论**
研究人员首先讨论了标注阶段的重要性，指出不同检测模式导致标注缺陷数差异，影响后续训练。在检测性能方面，综合零件级指标（召回率和F1分数）及95%置信区间，Mode III（机器人）表现最佳，召回率为1.00（95% CI [1.00, 1.00]），F1为0.97（95% CI [0.89, 1.00]）；Mode II（皮带传送带）中等，召回率0.88（95% CI [0.69, 1.00]），F1为0.80（95% CI [0.62, 0.92]）；Mode I（旋转台）最差，召回率0.62（95% CI [0.38, 0.86]），F1为0.67（95% CI [0.43, 0.84]）。Mode III在假阳性和假阴性之间取得了最佳平衡，且对微弱可见缺陷检测能力最强。轨迹优化进一步提升了缺陷检测率，证明了通过重新分配检测时间可提高效率。
研究结论部分翻译如下：
由于注塑成型（IM）塑料零件存在难以发现的表面缺陷，其产品质量控制仍需要大量人工干预，尤其是在启动阶段。本研究比较了三种用于塑料盖板（受熔接痕影响）质量控制的AOI策略。
1. Mode I：使用静态相机对零件进行正面检查，零件绕其对称轴旋转。
2. Mode II：皮带传送带检测，模拟零件在运输过程中的移动。
3. Mode III：基于机器人的检测，允许相机在静止零件周围大范围角度变化。
在这些受控条件下，机器人辅助方案实现了最有利的精确率-召回率权衡，且受约束的轨迹时间重分配进一步增加了正确检测的缺陷零件，而不增加检测时间。
对于每种检测模式，研究人员使用从高分辨率视频生成的标注图像数据集训练目标检测模型YOLOv8-s。通过自定义指标（如每样本平均检测缺陷数、每样本假阳性率和假阴性率、交并比）评估各策略的有效性，测试样本具有不同可见性强度的缺陷。通过保持照明恒定并使用相同架构和超参数设置的特定模式YOLOv8s模型，研究了相机/零件运动学对AOI可靠性的影响。决策通过声明的多帧序列聚合规则在零件级做出。Mode I具有最高的每样本假阴性率，是最无效的检测策略，相比Mode II和Mode III检测到的缺陷更少。Mode II持续识别出最多的缺陷，但也导致最多的假阳性。相反，Mode III尽管检测到的缺陷略少，但避免假阳性方面可靠性更高。此外，Mode III在最关键的缺陷零件（缺陷仅轻微可见）中识别熔接痕最有效，表明其在测试条件下是最可靠的技术。随后，通过分析不同相机角度下的缺陷检测分布，开发了协作机器人的优化检测轨迹。使用优化路径进行的检测使缺陷检测数量增加了18%。此外，本研究考察了使用不同帧数进行检测的影响，对比静态图像与视频序列，以确定最有效的方法。
本研究的主要贡献：
- 提出不同检测策略以提高注塑成型零件难以发现的表面缺陷的检测成功率，推动该领域AOI系统的发展。
- 引入一种通用方法论，用于评估和比较不同配置的基于DL的AOI系统，包括原始数据选择（静态图像或视频）、确定最佳检测帧数、比较允许改变观察角度的检测策略，以及优化检测策略。
尽管案例研究主要关注注塑成型塑料零件的异常检测，但所提出的工作流程也适用于可能因复杂表面干扰而导致产品拒收的其他制造领域。
虽然实验验证仅针对单个组件，但所选案例反映了许多注塑成型零件的常见条件，且对AOI尤其具有挑战性：中等尺寸零件，哑光色，纹理表面，以及不同视角下复杂的外观变化。此外，所考虑的缺陷类型——熔接痕——通常是低对比度且难以检测的，使其成为基于视觉检测的代表性最坏情况。因此，研究人员预期关于采集设置（视角/运动学和多帧聚合）影响的观察趋势将超出具体分析零件的范围，而定量性能值应在当前数据集和测试样本大小的范围内解释。
部署AOI系统通常需要耗时的试错方法来比较不同配置，而该程序有助于基于定量结果做出决策。一个需要大量时间调整的关键参数是照明，所提出的策略可用于评估和比较单一检测模式内光源的不同位置和方向。
关于所提出方法的局限性：
- 数据标注：方法的有效性显著依赖于数据标注的质量和全面性。不同操作员对同一数据集的不同解释会导致标注变化，可能造成相同帧交替被分类为缺陷或正常。此外，同一操作员在不同时间可能不一致地分类同一数据集。为确保准确性，必须防止偏见，例如允许操作员访问将帧与其对应样本关联的信息。
- 短周期时间：在周期时间极短的制造过程中，用于捕获和分析图像的时间可能不足以进行彻底检查。在这种情况下，某些检测模式（尤其是依赖复杂相机轨迹的模式）可能无法实施。但所提出的方法仍可用于评估可修改参数的影响。
- 硬件成本：某些检测所需硬件（如协作机器人）的成本可能对某些制造设置过高。因此，尽管机器人辅助检测模式可能提供优越的检测性能，但其高成本可能限制其在小规模制造商或成本敏感生产环境中的可行性。
总体而言，在比较不同配置时，必须首先理解并定义操作和经济约束。然后所提出的方法可用于评估一个或多个参数对检测系统有效性的影响。
**可部署操作指南**
本小节将已识别的局限性转化为具体的、可操作的生产措施。针对每个约束条件——标注变异性、周期时间预算、机器人成本、假检测、漏检和照明灵敏度——提出了相应的缓解措施和决策标准，目的是在现实制造约束下支持可重复的采用，同时保持高零件级召回率。
- 标注 - 真值变异性：风险：边界案例可能导致不一致标签，影响零件级假阳性/假阴性。缓解措施：对数据集的一小部分（例如5-10%）进行双盲重新标注并达成共识；低一致性案例加入“边缘案例集”，用于定期审计和阈值检查。
- 周期时间约束：风险：可用周期时间可能不允许最大化召回率的帧数预算。缓解措施：选择帧子采样（k帧策略）以在最大周期时间上限下达到目标零件级召回率。选择的设置是在给定最大周期时间内实现最大召回率的设置。
- 机器人成本：风险：较高资本支出/运营支出可能阻碍采用。缓解措施（成本规则）：设置选择由预期的每件成本引导。成本公式为：C = c_FN * FN_rate + c_FP * FP_rate + c * T_cycle
**未来工作**
本研究仅检查了一个注塑成型零件。该比较方法可扩展到具有类似光学和形态特征的额外零件。未来研究探索不同几何形状和材料可丰富证据基础。
