基于DenseNet201与空间聚合金字塔及多头注意力机制的可解释深度学习轮胎剪切散斑图像气泡检测框架:一项工业案例研究

《Sensors》:An Explainable AI-Based Deep Learning Framework with Spatial and Multi-Head Attention for Bubble Detection in Tire Shearography Images: An Industrial Case Study

【字体: 大 中 小 】 时间:2026年10月31日 来源:Sensors 4.0

编辑推荐:

  汽车轮胎的安全性与可靠性直接取决于内部缺陷的早期检测,因为橡胶层之间未被发现的气泡可能扩展为灾难性的使用中失效。尽管数字剪切散斑干涉术(digital shearography)已成为揭示此类亚表面异常的首选无损检测(NDT)技术,但其工业判读仍依赖人工专家评

  
汽车轮胎的安全性与可靠性直接取决于内部缺陷的早期检测,因为橡胶层之间未被发现的气泡可能扩展为灾难性的使用中失效。尽管数字剪切散斑干涉术(digital shearography)已成为揭示此类亚表面异常的首选无损检测(NDT)技术,但其工业判读仍依赖人工专家评估,速度慢、依赖操作者且难以审计。本研究提出一种用于轮胎剪切散斑图像气泡自动检测的可解释深度学习框架。该框架将DenseNet201主干与两个互补的注意力模块相结合:空间聚合金字塔(Spatial Aggregation Pyramid, SAP)通过空洞深度可分离卷积(dilated depth-wise separable convolutions)细化多尺度特征表示,多头注意力(Multi-Head Attention, MHA)模块对长程上下文依赖进行建模,从而同时捕获细粒度纹理变化与全局空间线索。模型在来自Pirelli ?zmit工厂174条轮胎胎面的类别平衡的1162幅剪切散斑图像(每类581幅)集上开发,该数据集通过随机排除部分无缺陷图像获得。在5折交叉验证下,所提出的DenseNet201 SAP MHA模型达到平均准确率0.962(标准差0.006)和AUC(area under the curve)0.9794,在准确率、精确率、召回率和F1分数上持续优于DenseNet201与DenseNet201 SAP基线。改进在全部五折中一致,并得到统计检验支持。为解决安全关键检测中固有的黑箱问题,研究集成了梯度加权类激活映射(Gradient-weighted Class Activation Mapping, Grad-CAM)与SHapley Additive exPlanations(SHAP),表明模型基于诊断相关区域而非背景伪影作出决策。因此,该框架不仅提供高气泡检测准确率,还提供适用于工业质量控制的透明且可审计的诊断工具。
研究背景方面,汽车轮胎的安全性与可靠性对汽车性能和行车安全至关重要,轮胎结构中的气泡等隐藏缺陷可能导致灾难性失效,危及驾驶员与乘客安全,甚至造成伤亡事故。从经济角度看,高效准确的轮胎缺陷检测可显著降低产品召回、保修索赔与责任相关费用,早期检测使制造商能在生产过程中处理质量问题,减少浪费与返工,并有助于维护品牌声誉与市场竞争力。传统上用于检查轮胎内部结构的无损检测(NDT)技术包括X射线成像、散斑干涉术与数字剪切散斑干涉术。X射线成像虽能提供轮胎内部结构的高分辨率图像,但成本高、涉及大量辐射暴露且需要广泛的安全程序,不适合常规检查;散斑干涉术受材料密度与几何形状限制,结果不稳定;剪切散斑干涉术利用激光干涉测量轮胎在应力下表面变形,灵敏度极高,可检测其他技术可能无法识别的细微异常,已成为优越的无损检测技术。然而,以往剪切散斑图像分析依赖合格专家人工检查,耗时且易受人为误差影响。在轮胎生产中,热橡胶织物层叠加时若不够小心,层间会产生气泡,气泡可能出现在胎面或胎侧,检测在轮胎烘烤后、存储前进行。由于热轮胎晃动引起的波可能被感知为气泡,正确的控制要求从烘烤箱出来的轮胎必须冷却至环境温度并无冲击地进入控制机器。剪切散斑系统常用CCD与CMOS记录轮胎表面照片,过程首先对轮胎施加应力(机械压力、热刺激或真空加载),引起表面微小变形,激光束投射到表面产生干涉图案并由传感器检测,生成的剪切散斑图显示轮胎表面应变分布,揭示内部缺陷如气泡或斑点。获取从45度角拍摄的8幅不同图像后,质量控制操作员根据经验进行气泡控制,其有效性取决于操作员经验与工作时间。为克服此问题,传统图像处理技术首先被用于改进与分析剪切散斑图像,边缘检测、滤波与阈值处理被用于识别潜在缺陷,但这些策略虽提高缺陷可见性,却常缺乏可靠区分真实缺陷与良性异常所需的精细度。随着技术发展,传统机器学习(ML)方法在缺陷检测中流行,支持向量机(SVM)、决策树与k近邻(k-NN)被用于基于剪切散斑图像提取的特征分类缺陷,这些算法在准确率上优于基本图像处理,但仍需大量特征工程且受限于无法从原始数据学习。深度学习的出现标志着缺陷检测能力的重大进步,卷积神经网络(CNN)尤其通过自动提取剪切散斑图像中的重要信息彻底改变了该领域。深度学习模型可从海量数据学习复杂模式与表示,提高缺陷检测系统的准确率与鲁棒性。近期深度学习进展,特别是Transformer与视觉Transformer(ViT)的引入,在各种计算机视觉任务中超越了CNN的性能,ViT利用自注意力机制捕获数据中的全局上下文与关系。注意力机制与多尺度特征融合的结合已成为现代缺陷检测的核心。此外,对于气泡缺陷检测等可导致严重安全风险与重大生命损失的关键应用,检测系统的可靠性至关重要。鉴于文献中大多数气泡检测技术作为“黑箱”运行,其决策过程缺乏透明度,对可靠且可解释的人工智能(XAI)模型的需求变得必要。XAI方法如显著性图、SHAP值与Grad-CAM可突出对模型预测贡献最大的图像区域,提供模型如何检测缺陷的视觉解释,这种透明度不仅用于提高模型性能,也用于赢得依赖这些系统的制造商、工程师与质量控制人员的信任。受剪切散斑干涉术优于其他NDT方法的明确优势、对准确可靠气泡检测系统的迫切需求以及该领域目前缺乏可解释AI(XAI)模型的启发,本研究聚焦于创建提高缺陷检测过程透明度与准确性的前沿解决方案,研究将空间聚合金字塔(SAP)、多头注意力机制(MHA)与XAI方法集成用于轮胎剪切散斑图像气泡检测。所提方法结合先进卷积网络技术与注意力机制以改进特征提取及模型检测与轮胎气泡相关的图像纹理微小变化的能力。选择DenseNet201架构作为所提结构的骨干,因其能快速传播与重用特征,这对捕获剪切散斑图像中的复杂模式至关重要;此外,DenseNet201在先前研究[20]中于同一数据集上在六种迁移学习骨干中取得最佳性能。研究贡献可概括为:从现有多尺度空洞卷积设计改编SAP模块,通过多尺度空洞深度可分离卷积细化特征表示,使网络能以低计算成本捕获广泛空间尺度上的气泡特征;将SAP与MHA同DenseNet201骨干结合用于轮胎剪切散斑图像气泡分类,并通过跨三种模型变体的消融研究评估各模块的增量贡献;用统计检验检查模型变体间差异,并在考虑交叉验证折数较少的情况下解释结果;将事后可解释性(Grad-CAM与SHAP)集成到基于剪切散斑的轮胎气泡检测中,据研究人员所知此前未见报道,通过结合Grad-CAM与SHAP提供空间(区域级)与特征级证据表明模型关注真实缺陷线索,满足安全关键检测的透明度与法规可追溯性要求;基于先前工作[20]引入的真实工业轮胎剪切散斑数据集(包含Pirelli ?zmit工厂约五十种设计图案的174条轮胎胎面图像),详细描述去除热诱导伪缺陷的采集协议与类别平衡程序(1162幅图像),提高标签可靠性与实验设置透明度;框架作为自动化端到端系统交付,已部署于Pirelli ?zmit工厂剪切散斑检测线,并报告包括可解释性开销在内的计算成本。文献综述部分从基于X射线成像、基于激光成像与基于检测方法三方面回顾了轮胎缺陷检测研究。X射线成像方面,Zhang等[22]提出结合全变分与边缘检测的方法,利用全变分降噪并保留边缘,随后用边缘检测发现潜在缺陷;同一作者[23]的另一研究考察小波多尺度边缘检测评估轮胎缺陷边缘;Zheng等[24]提出使用增强极值滤波与局部自适应阈值二值化检测轮胎X射线图像中清晰与模糊杂质及清晰气泡缺陷,而模糊气泡难以从背景区分;Zhu与Ai[25]开发基于深度学习的X射线图像轮胎缺陷自动检测技术,利用深度CNN学习识别缺陷特征,取得优异识别准确率,但需要大量计算资源与巨量标注数据集;Wu等[26]提出使用Faster R-CNN检测与定位X射线图像缺陷的新方法,但仅检测胎侧气泡而非胎面本身。研究人员先前[3]用机器学习方法研究X射线图像轮胎缺陷检测,虽在小标注数据集上获得令人鼓舞的结果,但未包含气泡缺陷类型。由于X射线图像显示轮胎内部结构的密度差异,而剪切散斑图像显示真空加载下的表面应变分布,两种模态使用不同检测机器、针对不同缺陷类型并产生外观完全不同的图像,因此为X射线图像开发的模型不能直接应用于剪切散斑。这些研究表明X射线成像能有效检测各种轮胎缺陷,但主要缺点是与这些成像系统相关的辐射危害,需要安装额外防护设备;此外轮胎材料与结构的异质性限制放射图像中气泡的识别。激光成像方面,Wang等[27]开发用于在线自动图像检查的定量后处理模块,将图像处理与自动检查机器结合以标准化缺陷检测,但对某些胎侧类型存在潜在挑战;Yang等[28]提出结合线激光扫描与机器视觉通过评估轮胎表面轮廓检测表面气泡缺陷的方法,但仅对表面缺陷有效且需要激光校准;Chang与Wang[9]使用CNN与Faster R-CNN进行缺陷识别,利用深度学习提高准确率并管理各种缺陷类型与尺寸,但需要大量标注数据集与计算资源;Yang等[29]使用相干光散斑干涉术检测轮胎表面变形,提出改进TY-FPN网络应对低对比度与小目标尺寸挑战,但易受振动与温度波动等外部因素影响;Chang等[30]还研究了YOLO的增量学习用于检测散斑图像缺陷,可随时间适应新数据但初期可能准确率较低;Chang等[8]提出使用集成混合Faster R-CNN模型的剪切散斑图像质量评估方法以提高鲁棒性与准确率,但计算成本显著;Zheng等[31]使用3D激光扫描技术三维获取与分析轮胎表面与结构,提高检测准确率但需要先进设备并处理海量数据最终影响速度。更近期,Wu等[32]采用U-Net网络自动分割与测量复合材料剪切散斑图像中的缺陷尺寸,实现高精度 sizing,但此类剪切散斑深度学习研究几乎完全集中于复合材料结构,轮胎检测基本未涉及;Li等[33]设计时空目标检测网络用于复合材料近表面缺陷检测,仅基于模拟剪切散斑相位图序列训练以克服获取真实数据集的高成本。这种对模拟或复合材料数据的依赖凸显了持续缺乏公开可用的、标注的轮胎剪切散斑数据集,本研究对此空白有所贡献。检测方法方面,轮胎缺陷检测方法的进步从传统图像处理到先进注意力方法。最初Zhang等[22]在放射图像上使用全变分分解、基于曲波变换的图像增强与Canny边缘检测检测异物与气泡缺陷,准确率高于传统Sobel与高斯拉普拉斯(LoG)算子;另一研究[23]使用小波多尺度分析在3700幅数据集选出的400幅图像上获得优异检测率与精确定位;Yung-Cheng Wang等[27]开发定量后处理模块集成到在线自动检查系统,在5000幅图像上以85%准确率改进内部气泡缺陷检测;通过高效隔离缺陷与背景,改进极值滤波与局部自适应阈值二值化方法在280幅轮胎X射线图像上显示97%精确率与95.7%召回率[24];另一方法[28]使用机器视觉与线激光研究轮胎表面气泡缺陷几何特性获得93%检测准确率。在研究人员早期工作中,Saleh等[34]引入在Pirelli ?zmit工厂收集的轮胎剪切散斑图像数据集,使用放射组学特征与经典机器学习分类器检测气泡,在1000幅图像数据集上多层感知机(MLP)达到85.90%准确率,表明机器学习方法能以最少训练数据识别剪切散斑图像中的轮胎气泡;随后在另一工作Saleh等[20]在此数据集扩展版本上比较六种迁移学习骨干,DenseNet201取得最佳结果,超过95%准确率。基于机器学习的涉及灰度共生矩阵(GLCM)特征提取的模型在1511幅标注图像上评估达到99.34%准确率[35]。深度学习算法通过从预处理样本自动学习提高检测能力并取得优异识别率[25]。使用CNN与Faster R-CNN,[8]与[9]中研究人员分别对胎侧与胎面气泡达到86.87%与89.16%检测准确率;结合CNN与Faster R-CNN的混合模型用于轮胎剪切散斑图像提高准确率同时减少假阳性;基于Faster R-CNN的技术通过预处理图像并纳入卷积特征达到95.4%识别率[26];增强Faster R-CNN-FPN框架提高轮胎胎冠小目标检测精度,mAP增益2.08%[29];YOLO架构的增量学习[30]通过半自动迭代增强检测能力获得98.56%灵敏度;最后基于可变形注意力机制的新型3D激光扫描技术表现出显著精度进步,mAP分数为0.356、0.409与0.691[31]。这些研究虽产生显著成果,但常在检测速度与计算成本方面存在权衡,有些关注准确率或召回率但很少兼顾所有指标,有些使用目标检测算法虽有效但速度慢且需要大量处理能力,当主要目标是分类轮胎是否含气泡或故障时效率较低。本研究旨在通过实施最先进的多尺度注意力模型解决这些局限,提供改进的检测效率与准确率,形成更平衡稳健的轮胎缺陷检测解决方案。方法部分,数据集来自土耳其科贾埃利省伊兹密特Pirelli汽车轮胎工厂,在专家协助下收集与标注,由174条轮胎胎面的剪切散斑图像组成,每条胎面捕获八幅图像,每幅涉及将轮胎旋转45度。每幅轮胎图像独立标注,因为气泡等缺陷通常局限于特定区域,例如图3中八幅图像仅一幅含气泡而其余七幅无缺陷。数据划分在图像级进行,因此同一轮胎的图像可能出现在不同折中;由于八幅图像覆盖不重叠的45°扇区,轮胎的任何物理区域不会出现在一幅以上图像中,但同一轮胎的图像共享胎面图案与采集条件,这可能使交叉验证估计偏乐观。高轮胎橡胶温度与生产线穿越期间的机械振动可引起类似气泡的临时表面波动,质量控制人员在轮胎冷却后重新扫描,但原始系统日志仍记录初始假阳性图像。为防止AI模型学习虚假特征,这些瞬态伪影图像在数据集准备期间被剔除。生产线上使用系统时遵循相同程序:当采集显示此类瞬态伪影图案时,操作员忽略模型预测(无论正确与否),轮胎被送回冷却并重新成像,使最终决策始终基于无伪影采集。此过滤步骤后,数据集包含581幅缺陷图像与811幅非缺陷图像。为建立平衡类别分布,从非缺陷类随机选择581幅图像以匹配缺陷计数。平衡用于防止训练期间分类器偏向多数类并保持准确率可直接解释;由于原始不平衡适度(约1.4:1)且非缺陷图像随机选择,该类中胎面图案与采集条件的多样性得以保留。原始类别分布下的预期性能在结果中报告。最后,如文献标准[36],所有图像通过归一化与调整尺寸预处理以适应模型输入尺寸。所提模型使用多种先进卷积网络方法改进特征提取及模型检测与气泡相关的图像纹理微小变化的能力,依赖DenseNet201架构作为骨干因其快速特征传播与重用,这对收集图像中复杂模式至关重要。DenseNet201不含顶部分类层被纳入,允许模型学习各种尺寸的详细特征表示。所提模型骨干在五个独特级别生成特征图,分别代表DenseNet201架构不同块的输出:初始卷积层、第二、第三与第四密集块以及最终密集块。每个特征图随后用特定基于注意力的方法处理,改进相关特征检测同时抑制较不重要数据,这种选择性注意力处理对准确检测与识别成像数据中的气泡至关重要。此后,所提注意力模块的输出被聚合并进行全局平均池化以降低维度同时保留最重要信息;该池化特征向量输入512单元的密集层,随后是防止过拟合的dropout层;最后网络通过sigmoid激活函数输出气泡发生概率,使其适用于二分类应用。空间聚合金字塔(SAP)模块方面,深度学习对需要细粒度识别的任务(如图像气泡检测)要求跨多个尺度的有用特征提取模块。SAP模块通过多尺度处理细化特征表示提高模型性能,采用深度可分离卷积以不同空洞率高效提取多尺度特征,能够复杂捕获图像中小与大的细节,改进特征图的语义表示;通过包含注意力细化机制,模块选择性关注更相关特征同时减少较不重要特征。虽然多尺度空洞卷积模块如空洞空间金字塔池化(ASPP)[37]与DenseASPP[38]已建立通过空洞卷积捕获多尺度上下文的范式,但此处提出的SAP模块在三个方面不同:第一,SAP采用深度可分离空洞卷积而非标准空洞卷积,降低计算成本同时保留多尺度表示能力;第二,SAP以级联方式堆叠这些卷积并递增空洞率且阶段间有残差逐像素加法,不同于ASPP的并行分支与DenseASPP的密集连接,这种级联设计实现跨尺度的渐进特征细化;第三,SAP包含专用注意力细化分支,使用全局平均池化生成通道级注意力权重,这是ASPP与DenseASPP所缺乏的组件,后者仅依赖多尺度聚合而无显式注意力调制。这些设计选择针对轮胎剪切散斑图像中气泡检测(低对比度、细粒度缺陷任务)经验调优,与ASPP和DenseASPP所开发的自然场景分割任务根本不同。SAP模块首先用卷积压缩高级输入特征,此第一步对降低维度同时保留重要信息至关重要;随后模块使用空洞率从2增至12的深度可分离卷积进行多尺度特征提取,这些卷积旨在以最少处理资源捕获广泛空间信息;从不同尺度检索的特征随后通过逐像素加法聚合,将来自多种上下文的信息组合成连贯特征图,此集成对确保局部与全局特征的完整表示至关重要;已添加注意力细化分支以进一步改进语义表示,该分支采用全局上下文信息微调特征图,确保模型集中于图像中最具信息量的区域;此注意力机制选择与当前任务更相关的特征,从而提高模型准确率与可解释性。SAP模块的最终输出通过拼接多尺度特征形成,这些拼接特征随后通过逐像素加法与增强的注意力特征图耦合,产生适合后续分类任务的稳健详细特征表示。多头注意力机制方面,五个SAP输出首先由深度可分离卷积(DSC)块对齐到256通道的公共空间分辨率;DSC 1接收初始卷积层的特征图,应用步长;DSC 2接收Dense Block 1的特征图,应用步长;DSC 3接收Dense Block 2的特征图,应用步长;DSC 4与DSC 5分别接收Dense Block 3与Dense Block 4的特征图,因已在目标分辨率不进行下采样。对齐的图随后堆叠成形状张量,第二维索引五个尺度,并在此堆叠表示上应用8头、键维度64的多头注意力;注意力输出跨头拼接并在五尺度轴上平均以产生单个融合特征图,随后传递到分类头。多头注意力机制是模型的关键组件,通过利用并行注意力头关注特征集的不同方面提高正确分析与整合来自各种特征图信息的能力。多个注意力头的利用提供输入的多样表示,组合后有助于更全面理解数据的上下文关系。实验与结果方面,所有研究在运行Windows 11、32 GB RAM与NVIDIA GeForce RTX 4060 8GB GPU的PC上进行,实验流程在Tensorflow 2.12环境创建。输入尺寸为,图像通过将像素值缩放到归一化。DenseNet201骨干用ImageNet预训练权重初始化。训练使用Adam优化器,学习率,批量大小2,100个epoch,二元交叉熵损失与密集层上的L2正则化。最终分类层前应用0.5的dropout率。未应用数据增强,唯一预处理步骤是归一化与调整尺寸。评估使用5折交叉验证。评估指标包括混淆矩阵(将模型预测分为真阳性TP、假阳性FP、真阴性TN与假阴性FN)及衍生的准确率、精确率(阳性预测值PPV)、召回率(真阳性率TPR)与F1分数,以及ROC曲线与相应AUC[41],Taylor图作为复杂评估情况下基于相关性、标准差与误差等指标比较多个模型的视觉工具[42]。分类结果方面,所提模型DenseNet201_SAP_MHA使用5折交叉验证评估,并与通过从所提DenseNet201_SAP_MHA模型删除SAP与MHA模块产生的两个进一步模型变体DenseNet201与DenseNet201_SAP比较,此比较展示这些元素对模型性能的影响。三种变体反映所提架构中模块的堆叠顺序,因为MHA模块对SAP产生的空间聚合特征图操作,无法在不改变网络数据流的情况下构建无SAP的DenseNet201+MHA变体,因此报告的消融隔离SAP的增量贡献(DenseNet201 vs. DenseNet201 + SAP)与给定SAP下MHA的贡献(DenseNet201 + SAP vs. DenseNet201 + SAP + MHA),两模块完全独立的设计留待未来工作。各折混淆矩阵显示DenseNet201_SAP_MHA模型在所有折中一致显示高性能,准确率值通常超过95%,例如第1折中分类“Bad”与“Good”目标类的准确率分别为96.5%与94.2%,此趋势在所有五折中保持且变化极小;DenseNet201_SAP模型也显示强性能,某些折中略低于DenseNet201_SAP_MHA,例如第1折中“Bad”类达到95.6%准确率,“Good”类93.3%,性能在所有折中相对稳定有轻微波动;而基础模型DenseNet201在三种模型中显示最低性能。在所有折中DenseNet201_SAP_MHA一致优于其他模型,特别是在保持“Bad”与“Good”目标类的高分类准确率方面。SAP与MHA的纳入导致五折中一致更高的性能,此外DenseNet201_SAP显示对基础DenseNet201模型的改进,表明SAP的添加对模型性能有积极贡献,但显然结合SAP与MHA(如DenseNet201_SAP_MHA)产生最佳结果。所有模型跨折准确率的轻微变化凸显交叉验证的自然变异性,但DenseNet201_SAP_MHA的一致性能表明其跨交叉验证折的稳定性。5折交叉验证的性能评估总结显示,“仅DenseNet201”在评估模型中显示最低平均准确率(0.943),相比之下“DenseNet201_SAP”与“DenseNet201_SAP_MHA”显示改进的性能指标,特别是“DenseNet201_SAP_MHA”达到最高平均准确率(0.962),表明选择性注意力处理与多头注意力机制的集成增强模型预测能力。精确率与召回率指标进一步强调架构增强的好处,“DenseNet201_SAP_MHA”相比“仅DenseNet201”与“DenseNet201_SAP”一致达到优越的精确率与召回率,这些结果表明模型在检测与分类轮胎气泡方面改进的灵敏度与特异性。调和精确率与召回率的F1分数强调所有指标的综合性能评估,“DenseNet201_SAP_MHA”在均值、标准差、最小值、最大值、中位数、q25与q75指标中成为最高F1分数的顶级表现者,此结果验证纳入选择性注意力处理与多头注意力机制在实现精确率与召回率平衡权衡方面的有效性,这对稳健轮胎气泡识别系统至关重要。由于实验在类别平衡子集上进行,原始类别分布(581幅缺陷与811幅非缺陷图像)下的预期性能也被估计。灵敏度与特异性不依赖类别比例,从合并交叉验证结果计算,DenseNet201_SAP_MHA分别为0.974与0.952;将这些值重新加权到原始分布给出所提模型的估计准确率0.961、精确率0.935与F1分数0.954,相比之下DenseNet201_SAP与DenseNet201的估计准确率分别为0.951与0.942,因此三种模型的排名不变。由于生产线上缺陷率低于任一分布,灵敏度与特异性是系统实际使用中最具信息量的指标。三种模型区分气泡(Bad)与无气泡(Good)图像的性能也用ROC曲线AUC评估。ROC曲线y轴绘制TPR(灵敏度,正确分类的真实气泡病例比例),x轴绘制假阳性率FPR(1-特异性,错误分类为气泡的非气泡病例比例)。完美分类器将实现TPR为1且FPR为0,其ROC曲线将沿图左上角;随机分类器表现不优于机会,ROC曲线沿从左下到右上角的对角线。三种结构的ROC曲线显示DenseNet201_SAP_MHA的ROC曲线在所有FPR值上一致位于DenseNet201与DenseNet201_SAP曲线之上,表明DenseNet201_SAP_MHA相比其他两种模型表现出优越的区分气泡与非气泡图像的能力,此观察由相应AUC值进一步确认:DenseNet201_SAP_MHA达到最高AUC 0.9794,其次是DenseNet201_SAP(0.9634)与DenseNet201(0.9607)。为进一步研究,实验包含Taylor图,Taylor图是通过比较模型与观测数据的统计特性评估不同模型性能的图形表示,同时显示三个关键统计量:相关系数(衡量模型预测与观测数据的线性相关,越接近1表示一致性越强)、标准差(反映模型预测的变异性,理想情况下模型标准差应与观测数据匹配)、均方根误差(RMSE,结合标准差与相关性提供模型性能的总体度量)。Taylor图提供多个统计量的统一表示,便于比较不同模型性能,通过单图可视化多个指标减少模型评估的复杂性与时间。比较三种模型与观测数据的性能显示:观测数据标准差约0.5;DenseNet201与DenseNet201 with SAP and MHA的标准差接近观测值,表明相似变异性水平;DenseNet201与DenseNet201 with SAP显示较低标准差,表明预测变异性较小;DenseNet201与DenseNet201 with SAP达到约0.92的高相关系数,表明与观测数据强一致;DenseNet201 with SAP and MHA显示最高相关性接近0.94,表明在所有模型中与观测数据最佳一致;蓝色RMSE等值线帮助可视化模型预测与观测数据间的误差幅度;DenseNet201 with SAP and MHA成为顶级表现模型,表现出与观测数据最高相关性与接近观测值的标准差,DenseNet201与DenseNet201 with SAP也表现良好但相关性略低。统计分析方面,使用不同统计检验检查三种结构间的显著差异,这是分析模型结果不确定性的重要步骤[43]。首先使用Shapiro–Wilk检验评估数据集正态性,该检验评估数据来自正态分布的原假设。DenseNet201模型Shapiro–Wilk检验统计量0.9631,p值0.8295,由于p值显著大于0.05,不能拒绝原假设,表明该模型数据服从正态分布;DenseNet201_SAP模型统计量0.9000,p值0.4096,类似地p值远高于0.05阈值,表明该模型数据也正态分布;DenseNet201_SAP_MHA模型Shapiro–Wilk检验统计量0.7868,p值0.0629,此p值略高于0.05阈值,表明边缘非正态性,虽接近阈值但不足以结论性拒绝原假设,因此可合理假设正态性但需谨慎。基于Shapiro–Wilk检验结果,可结论DenseNet201与DenseNet201_SAP模型数据正态分布,DenseNet201_SAP_MHA模型虽接近非正态阈值但未提供反对正态性假设的强证据,因此参数检验如配对t检验可能适合这些数据集,尤其对DenseNet201与DenseNet201_SAP模型;对DenseNet201_SAP_MHA模型,由于其临界p值,考虑非参数替代可能更谨慎。为进一步检查模型行为的正态性,绘制DenseNet201、DenseNet201_SAP与DenseNet201_SAP_MHA的Q-Q图,三个模型的点接近参考线有轻微偏差,表明三个模型结果近似正态分布,轻微偏差在可接受范围内,表明正态性假设合理;总之Q-Q图支持Shapiro–Wilk检验结果并增加正态性检验结果的视觉确认,提供各模型数据分布的全面理解。利用数据正态性,采用单因素方差分析(ANOVA)评估三种模型DenseNet201、DenseNet201_SAP与DenseNet201_SAP_MHA间的均值差异,为更细粒度分析进行事后t检验以确定特定成对变异。ANOVA检验评估所有组均值相等的原假设与至少一组均值不同的替代假设,结果:检验统计量(F值)20.388,p值0.00014;F值20.388相对较高,表明组间均值变异性相比组内变异性相当大;p值0.00014显著低于0.05常规阈值,表明可以高置信度拒绝原假设,即有强证据结论三种模型均值间存在显著差异。进行配对t检验比较三种模型性能:DenseNet201 vs. DenseNet201_SAP的t统计量?3.155512,p值0.034332,由于p值小于0.05,拒绝原假设并结论DenseNet201与DenseNet201_SAP性能存在显著差异;DenseNet201 vs. DenseNet201_SAP_MHA的t统计量?4.966281,p值0.007672,p值显著小于0.05,拒绝原假设,表明DenseNet201与DenseNet201_SAP_MHA性能存在显著差异;DenseNet201_SAP vs. DenseNet201_SAP_MHA的t统计量?4.329718,p值0.012352,此p值也小于0.05,拒绝原假设并结论DenseNet201_SAP与DenseNet201_SAP_MHA性能存在显著差异。配对t检验结果表明三种模型性能存在显著差异,具体每个成对比较显示统计显著差异,表明模型具有不同性能特征;这些结果强化ANOVA检验发现,提供至少一个模型与其他模型表现不同的进一步证据。鉴于折数较少(n = 5),此处报告的统计检验应解释为指示性而非决定性;注意力模块贡献的最强证据是跨所有五折改进的一致方向与幅度,而非仅p值。模型可解释性洞察方面,模型可解释性对理解深度学习模型如何预测至关重要,尤其在轮胎缺陷检测等安全关键应用中。本研究利用两种强大的模型可解释性技术:Grad-CAM与SHAP,这些方法突出输入图像中对模型分类决策影响最大的区域与特征[44]。Grad-CAM可视化展示每种模型DenseNet201、DenseNet201_SAP与DenseNet201_SAP_MHA对轮胎气泡检测关键区域的关注程度。DenseNet201模型未能仅关注气泡,反而将注意力扩展到无关区域导致较低性能;DenseNet201_SAP细化此焦点,显著改进对气泡区域的关注;DenseNet201_SAP_MHA增强此能力,其多尺度注意力以高精度定位气泡,成为气泡检测的最佳表现模型。模型在缺乏气泡的负类图像中行为不同,DenseNet201与DenseNet201_SAP可能关注无关区域,可能将伪影或噪声误识别为缺陷;对于负图像,DenseNet201_SAP_MHA的Grad-CAM图不显示局部显著区域,激活分布在图像上,这与缺乏气泡特定线索一致。SHAP值可视化提供模型可解释性的替代视角,量化每个特征对分类决策的重要性。在SHAP可视化中,每个子图强调特定因素在确定图像是阳性(存在气泡)还是阴性(无气泡)中的重要性。DenseNet201模型如Grad-CAM结果一样表现出较少针对性解释,来自多个无关特征的贡献影响预测;DenseNet201_SAP通过限制与气泡检测相关的主要特征改进此点,但一些与气泡存在不强相关的特征保持其影响;相比之下DenseNet201_SAP_MHA提供最精细结果,明确识别并强调对模型准确预测有显著贡献的因素。SHAP值表明DenseNet201_SAP_MHA不仅能检测图像纹理的微小变化,还能为最有价值特征提供最高重要性,提供清晰可解释的预测;这种详细特征归因使DenseNet201_SAP_MHA成为三种模型中最可解释与可靠的模型。这些可视化共同提供关于注意力机制与多尺度处理如何提高模型准确率与可解释性的宝贵见解,通过关注相关区域与特征,DenseNet201_SAP_MHA在检测轮胎气泡方面表现出优越性能,确保关键区域被正确识别同时最小化无关数据的干扰。失败分析方面,为检查解释对错误决策是否也有信息量,为所提模型误分类图像生成Grad-CAM与SHAP解释,包括假阴性(含气泡图像预测为非缺陷)与假阳性(非缺陷图像预测为缺陷),每种类型两个代表性示例如图14所示。第一个假阴性中,气泡表现为图像右侧非常小的局部扰动,SHAP将其归因精确集中于此区域,表明模型确实响应缺陷,但特征太小不足以改变决策;第二个假阴性中,气泡同样小,但两种方法均未突出它,SHAP将决策主要归因于左上角的散斑噪声;在两个假阴性中,Grad-CAM图广泛且由图像边界主导,在气泡处无局部响应。第一个假阳性中,图像包含下边界处的暗色圆斑,周围有局部变形图案,与气泡特征非常相似,SHAP将其归因集中于该斑点;第二个假阳性中,图像包含胎面图案引起的周期性垂直条纹与下边界暗斑,SHAP再次集中于此;在两个假阳性中,Grad-CAM在几乎整个图像上显示低激活。这些案例表明剩余错误主要与非常小的气泡特征(产生仅弱局部响应)以及与气泡特征相似的非缺陷结构(如图像边界附近的暗斑与局部变形图案或周期性胎面图案结构)相关。在这些失败案例中,SHAP比Grad-CAM更精确地定位相关结构,后者的图广泛且特异性较低,表明两种方法互补。解释图使每个错误的来源对操作员可见:当归因集中于边界区域、噪声角落或胎面图案结构时,预测可被更仔细检查,这支持系统在生产线上的人机回环使用。与文献比较方面,将所提方法置于轮胎剪切散斑图像气泡缺陷检测现有研究的背景下。由于轮胎剪切散斑图像中气泡分类是相对较新的领域,仅有限研究可用。除研究人员先前研究[20]外,这些研究使用不同数据集,其中几项针对目标检测而非图像分类,评估协议与指标不同,因此报告的准确率不能直接比较。由于轮胎剪切散斑图像在工业检测线上获取并受制造商保密要求约束,公共基准上的比较不可能;据研究人员所知,这些研究中使用的数据集均非公开可用,本研究使用的数据集同样因与制造商的保密协议只能应要求共享。尽管如此,所提方法的优势可从三个不依赖跨数据集准确率的角度评估:第一,在同一数据集上,研究人员先前研究[20]比较六种迁移学习骨干(VGG16、VGG19、ResNet50、Xception、MobileNetV2与DenseNet201)发现DenseNet201表现最佳;在本研究中,所提模型在相同数据、折与训练设置下优于DenseNet201,在所有五折中一致改进,这构成对此数据集上先前报告的最佳方法的受控比较。第二,所提框架具有可独立于数据集比较的属性:它通过Grad-CAM与SHAP解释其决策,这是先前研究均未提供的,这在安全关键检测中很重要,因为错误预测可能有重大后果且每个决策的基础必须可验证;它还执行图像级分类,直接匹配检测过程的接受/拒绝决策,不需要目标检测方法[8,30]所需的边界框标注,其性能通过交叉验证与统计检验评估。第三,其计算成本已被测量,包括预处理的平均推理时间为每幅图像76.01 ms,且系统已部署在生产线上。计算成本与可解释性开销方面,检测模型的实际部署取决于其大小、推理延迟与可解释性方法引入的开销。所有测量在同一工作站(NVIDIA RTX 4060 Laptop GPU with 8 GB VRAM;Grad-CAM与SHAP在CPU上执行)获得。推理时间包括预处理(调整尺寸到与重新缩放)与前向传递;Grad-CAM时间包括反向传递与热图生成;SHAP时间用GradientExplainer测量,nsamples = 1与两幅图像背景集。所提DenseNet201 + SAP + MHA模型有30,460,417个可训练参数(总计30,767,297),磁盘占用120.16 MB;其平均推理时间76.01 ms(中位数73.93 ms;范围64.42–136.56 ms),相比之下普通DenseNet201为63.24 ms,DenseNet201 + SAP为256.44 ms;因此所提模型相比普通骨干仅引入约12.8 ms的适度延迟增加,同时避免仅SAP变体的显著更高推理成本,这表明注意力模块不损害实际吞吐量;所提模型在测试工作站上每秒可处理约13幅图像。对于可解释性,Grad-CAM对所提模型平均需要502.07 ms,而DenseNet201为267.59 ms,DenseNet201 + SAP为2038.46 ms;SHAP对所提模型需要1328.62 ms,DenseNet201为836.17 ms,DenseNet201 + SAP为3342.98 ms;这些成本仅在明确请求解释时产生,因此不降低主要检测吞吐量;DenseNet201 + SAP变体在推理与可解释性方面均显著较慢。局限性方面,本研究有几个局限:第一,交叉验证在图像级进行,同一轮胎的图像可能同时出现在训练与测试折中,这可能使估计偏乐观;第二,模型未在独立的新轮胎与未见胎面图案集上评估;第三,解释为定性评估,无像素级专家标注用于定量评估,也未进行基于掩蔽的忠实性与稳定性分析;第四,受温度或振动影响的采集被排除并在实践中由操作员处理,其自动识别留待未来工作;第五,模型在类别平衡子集上训练,原始分布下的性能仅被估计;最后,由于轮胎剪切散斑数据集非公开可用,公共基准上的比较不可能。结论部分,本工作将DenseNet201与先进注意力机制即SAP与MHA模块集成,为轮胎剪切散斑图像气泡缺陷检测提供创新方法。此研究通过严格实验与模型修改比较展示这些改进对模型性能的显著影响,导致更高分类准确率与跨交叉验证折更一致的性能。所建议的DenseNet201_SAP_MHA模型在F1分数、准确率、精确率与召回率等多个性能指标上持续优于DenseNet201与DenseNet201_SAP。在5折交叉验证中,模型平均准确率96.2%证明其在识别气泡方面的一致性能;此结果也反映在ROC曲线分析与AUC值中,AUC为0.9794,优于DenseNet201_SAP与DenseNet201。此外所提模型计算高效,平均推理时间每幅图像76.01 ms,支持生产线上实时部署。通过添加Grad-CAM与SHAP值等XAI工具,模型决策过程达到关键程度的可解释性与透明度;这些技术使用户更清晰了解模型在气泡检测中的关注区域,并更好掌握模型预测背后的推理;对于轮胎检测等安全关键应用,可靠性与系统信任至关重要,此可解释性程度是必要的。统计分析进一步支持所建议方法的有效性,支持模型变体间的性能差异;这些结果支持研究的设计决策并强调在工业缺陷检测系统中纳入注意力机制的重要性。最后,本工作在精度与安全至关重要的关键检测环境(如轮胎气泡检测)中提供更准确、可解释且高性能的AI系统。未来研究应考察如何将此策略应用于其他NDT问题并进一步优化XAI与注意力机制以增强各领域缺陷检测。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号