跨距先验引导的可解释多模态神经网络方法用于发夹绕组最终状态质量检测

《Sensors》：A Span-Prior-Guided Explainable Multimodal Neural Network Method for Final-State Quality Inspection of Hairpin Windings

　　

对于三维冲压发夹绕组的最终状态质量检测，现有研究仍缺乏集成机械几何约束、先验引导融合和决策可解释性的多模态方法。本研究提出了一种跨距先验引导的可解释多模态神经网络方法，并开发了SPIMA-Net（跨距先验信息多模态评估网络）。最终状态图像是在固定检测站、固定相机位置和成像角度下，在CCD视觉光源下采集的。最终状态图像作为视觉输入，而几何先验由跨距测量和型号信息构建。视觉分支和跨距分支提取图像和先验特征，跨距先验辅助门控机制调制视觉特征以实现协同融合。实验结果表明，SPIMA-Net在测试集上达到了98.14%的准确率、96.55%的F1分数和0.9983的AUC（曲线下面积）。其不合格类F1分数相比纯图像模型、纯跨距模型、直接融合模型、SE融合模型和CBAM融合模型分别提高了10.44、3.04、6.27、1.38和0.66个百分点，同时总错误分类数减少到5个。可解释性分析表明，该模型主要关注跨距开口、端部轮廓和局部异常区域。相对跨距偏差和绝对跨距偏差被确定为影响最终状态质量分类的主要机械几何因素。所提出的方法提供了一种神经-机械融合方法，在所研究的工业数据集上展示了高判别性能和工程可解释性，用于发夹绕组质量检测。

随着智能制造与工业质量检测的推进，复杂制造组件的质量评估正从经验检测转向集成视觉图像、几何尺寸与结构化信息的智能检测。对于机械成型组件，最终状态质量不仅依赖外部形态，还取决于关键几何尺寸是否满足设计要求。发夹绕组（Hairpin Windings）用于扁线电机，具有高槽满率、高功率密度等优势，但三维冲压后的最终开口形态、端部轮廓与跨距尺寸共同决定装配兼容性。现有研究多集中于成形控制、焊接监测与视觉检测，缺乏联合评估最终状态图像与关键跨距尺寸的多模态方法。仅依赖图像信息无法捕捉跨距偏差，仅依赖跨距信息无法捕捉局部轮廓异常，常规多模态融合（如特征拼接）也缺乏跨距先验对视觉特征的主动引导。此外，工业检测模型需具备可解释性。为此，研究人员提出了一种跨距先验引导的可解释多模态神经网络方法，并构建了SPIMA-Net（跨距先验信息多模态评估网络）。该论文发表在《Sensors》上。

研究人员开展了以下研究：提出SPIMA-Net，结合最终状态图像与跨距相关几何先验，通过视觉分支、跨距分支与先验辅助门控机制实现协同融合，应用于质量分类与风险评分。实验在工业数据集上验证，SPIMA-Net在测试集上达到98.14%准确率、96.55% F1分数与0.9983 AUC，相比对比模型显著提升，且可解释性分析显示模型关注区域与工程知识一致。重要意义在于提供了一种神经-机械融合方法，兼具高判别性能与工程可解释性，为发夹绕组最终状态质量检测提供了有效方案。

主要关键技术方法（不超过250字）：样本来源于一个定子生产批次，包含7种不同型号的发夹绕组，图像在固定检测站使用工业相机GV-CRM120-10与CCD视觉光源采集。关键方法包括：1）跨距先验构建：基于实测最终跨距、理论跨距、绝对跨距偏差、相对跨距偏差与型号信息构建跨距先验向量。2）SPIMA-Net网络架构：视觉分支采用ResNet18提取图像特征；跨距分支采用多层感知机（MLP）编码跨距先验；跨距先验辅助门控机制通过生成门控权重对视觉特征进行逐元素调制，实现模态协同融合。3）联合损失函数：结合加权交叉熵分类损失与跨距辅助损失（以相对跨距偏差为约束目标）。4）可解释性分析：采用Grad-CAM进行图像区域定位，以及置换特征重要性分析量化跨距因素贡献。

研究结果：
3.1 数据集与实验设置：通过使用来自实际生产线的7种型号数据集，采用分层80%/20%随机划分训练测试集，并设置学习率、批次大小等参数。结论：SPIMA-Net在该数据集上训练收敛，20个epoch内损失稳定下降，F1分数趋于稳定。
3.2 对比模型与消融分析：对比六种模型（纯图像、纯跨距、直接融合、SE融合、CBAM融合、SPIMA-Net），分析混淆矩阵与性能指标。结论：SPIMA-Net在准确率（98.14%）、F1分数（96.55%）与AUC（0.9983）上均最优，总错误分类数仅5个（FN=3，FP=2），相比纯图像模型（20个错误）、纯跨距模型（10个错误）等显著减少，表明跨距先验引导门控机制比简单特征拼接更有效。
3.3 不同型号间的稳定性分析：计算各模型在7种型号上的不合格类F1分数。结论：SPIMA-Net在大多数型号上保持高F1分数（整体0.9655），在2-3-6、4-5-6等型号上达到1.0000，且在不同型号间性能更均衡，而CBAM融合在部分型号上波动较大，表明跨距先验引导有助于维持跨型号稳定性。
3.4 风险评分与可解释性分析：通过ROC曲线、风险分数分布、Grad-CAM可视化与跨距特征重要性分析。结论：SPIMA-Net的AUC为0.9983，风险分数分布中合格与不合格样本分离良好；Grad-CAM显示模型主要关注跨距开口与端部引脚区域，ROI激活比在非合格样本中平均为0.3550，合格样本中仅0.0033；跨距分支特征重要性分析表明相对跨距偏差（Overall Importance Score 0.1782）与绝对跨距偏差（0.1576）是最主要因素，型号信息（0.0207）次之，而实测跨距与理论跨距重要性较低。

讨论部分总结：现有研究对工业视觉检测与多模态融合已有进展，但对于发夹绕组这类具有明确几何决策标准的任务，仅依赖视觉信息或常规特征拼接仍不足。本研究验证了跨距先验引导可增强视觉表示与质量分类的一致性。尽管CBAM融合在某些评估中接近SPIMA-Net，但SPIMA-Net在分类准确率、不合格样本识别与误报控制上更均衡。可解释性分析表明模型决策区域与工程知识一致。未来工作需考虑跨批次、跨生产线与不同成像条件下的模型评估，以提升鲁棒性与工业适用性。

研究结论翻译：本研究提出了一种跨距先验引导的可解释多模态神经网络方法，并开发了SPIMA-Net作为核心模型。所提出的方法结合最终状态图像与跨距相关几何先验，采用跨距先验引导的门控机制调制视觉特征，从而实现图像表示与机械几何信息的协同融合，用于三维冲压发夹绕组的最终状态质量检测与风险评分。实验结果表明，SPIMA-Net在测试集上达到了98.14%的准确率、97.22%的精确率、95.89%的召回率、96.55%的F1分数与0.9983的AUC。与纯图像、纯跨距、直接融合、SE融合与CBAM融合模型相比，不合格类F1分数分别提高了10.44、3.04、6.27、1.38与0.66个百分点，同时总错误分类数减少到5个。尽管CBAM融合在某些评估中表现出相近性能，但SPIMA-Net在分类准确率、不合格样本识别与错误分类控制上实现了更均衡的整体性能。进一步分析表明，SPIMA-Net在不同型号间保持稳定的分类性能，整体测试集F1分数为0.9655。风险分数分布、可靠性分析、Grad-CAM可视化与跨距特征重要性分析进一步验证了所提出方法在风险表示与工程可解释性方面的有效性。尽管SPIMA-Net在涵盖七种发夹绕组型号的工业数据集上取得了高分类性能与可解释的决策证据，但未来工作将研究在独立生产批次、不同生产线与不同成像条件下的模型评估。对于生产部署，可以在SPIMA-Net推理前引入输入检查模块，以识别缺失的型号信息、异常的跨距测量或损坏的图像。当型号或跨距相关信息不可用时，系统可切换到纯图像备用推理模式并标记样本进行人工复核；当图像输入损坏时，应在质量判断前触发图像重新采集。未来工作将结合三维几何增强、多模态表示学习与跨场景适应机制，以进一步提高所提出框架的鲁棒性、可扩展性与长期部署潜力。