在计算层析成像中，使用暹罗网络（Siamese Network）结合锐度引导（Sharpness Guidance）方法来定位绝缘栅双极晶体管（IGBT）的焊接层位置

《Engineering Applications of Artificial Intelligence》：Siamese network for insulated gate bipolar transistor welding layer localization in computed laminography images using sharpness guidance

提出基于计算层析成像（CL）和深度学习的两阶段方法，用于从大量二维断层图像中筛选高质量焊接层图像，有效识别IGBT模块中的气孔缺陷，实验显示Top-1准确率达97.51%。

　　

作者：李岩、刘双全、魏存峰、刘宝东、范超

中国河南省教育厅河南省粮食信息处理与控制重点实验室，郑州，450001

摘要

绝缘栅双极晶体管（IGBT）是能源转换和传输系统中的关键组件。IGBT焊接层中的空洞缺陷会降低热交换效率和运行稳定性，因此成为评估封装质量的重要指标。计算机断层成像（CL）已成为IGBT焊接层的主要无损检测技术，因其具有高空间分辨率而受到青睐。然而，基于CL的三维（3D）重建会生成数千张异构的二维（2D）断层切片，从这些数据集中提取高质量的焊接层图像对于后续的空洞缺陷检测至关重要。一个主要挑战在于焊接层嵌入在大量的断层切片中，以及层间混叠伪影导致相邻层高度相似，从而妨碍了准确区分。为了解决这个问题，我们提出了一种两阶段方法：首先，我们将层间混叠视为图像失焦问题，将焊接层定位视为聚焦任务，然后优化锐度评估算法来筛选候选切片；其次，我们采用迁移学习增强的孪生网络进行高效的特征提取和质量评分，通过评分排名选择最优切片。实验结果表明，所提出的方法实现了97.51%的顶级准确率。通过将高分辨率CL成像与深度学习相结合，本研究为IGBT封装质量检测提供了可靠的自动化解决方案，为可靠的空洞缺陷评估奠定了基础。我们的代码可在以下链接获取：https://github.com/YanLi1808/IGBT_Layer_Localization

引言

绝缘栅双极晶体管（IGBT）具有导电调制和高输入阻抗等特性，因此具有降低导通电阻、提高电压耐受水平、电压控制能力以及简化控制电路设计等优点（Khanna, 2004）。它已成为主流的功率半导体器件，广泛应用于轨道交通、新能源、医疗保健和军事航空航天等领域，是现代工业电气化技术的核心之一（Nakagawa, 2008）。

IGBT的广泛应用在很大程度上归功于封装技术的发展。图1显示了一个IGBT模块及其横截面。在IGBT模块的封装过程中，需要在半导体芯片和直接键合铜（DBC）基板之间进行焊接，以实现电气和机械连接。同样，DBC基板和底板之间也需要焊接以实现电气和机械互连（Han et al., 2020）。这两种焊接过程形成的焊接层还充当热界面材料，提供散热路径（Iwamuro and Laska, 2017）。在焊接过程中，如果焊点处有污染物或气体滞留，就会形成空洞。这些空洞会严重阻碍散热并导致电气故障，因此焊接层中的空洞检测极为重要（Xu et al., 2014, Li et al., 2024）。

常见的焊接缺陷检测方法包括磁粉检测、超声波检测、涡流检测和射线检测（Madhvacharyula et al., 2022）。其中，射线检测因其直观性和对内部焊接缺陷的高敏感性而成为最广泛采用的方法。管道，包括螺旋焊接管道和直缝焊接管道，是关键的研究对象，因为它们的焊接质量对确保液体或气体运输系统的安全性至关重要（Yang et al., 2021, Liu et al., 2023, Golodov and Maltseva, 2022）。这些研究旨在识别管道焊缝中的缺陷，如裂纹、气孔和未完全熔合，这些缺陷直接影响结构完整性。金属结构部件，如压力容器、机械零件和航空航天部件，也是重要的研究焦点。这些部件的焊缝由钢和铝合金等材料制成，由于其在承重和高性能应用中的重要作用，需要严格的缺陷检测（Guo et al., 2019, Tyystj?rvi et al., 2022, Li et al., 2023）。然而，这些成像技术仅限于数字射线照相（DR），只能反映物体沿X射线方向的结构，无法显示物体的三维（3D）结构信息。

为了获得物体的真实内部结构，必须使用计算机断层成像（CT）技术。IGBT模块具有板状结构，使用CT扫描时存在以下问题：首先，X射线穿过板状物体的穿透长度在不同角度下差异显著，导致投影数据差异较大，难以获得高对比度的断层图像；其次，如果将板状组件靠近X射线源进行高分辨率360度CT扫描，会导致板状物体与X射线源发生碰撞。在我们之前的研究（Liu et al., 2017）中，我们开发了一种具有高灵活性和高分辨率的计算机断层成像（CL）系统，用于板状物体的X射线检测。图2显示了图1(a)中两个焊接层和空洞缺陷的CL断层图像。

在焊接层的3D重建中，相邻的二维（2D）图像质量各不相同，但它们彼此非常相似。为了进行缺陷检测和进一步评估，我们需要选择高质量的图像。以往的研究主要依赖于手动工作和传统图像处理算法（Li et al., 2020）。因此，我们提出采用深度学习技术自动选择质量最优的图像。

受我们之前工作的启发（Li et al., 2020），我们将选择最高质量图像的任务视为图像质量评估过程。图像质量评估可以分为三类：全参考（FR）、减少参考（RR）和无参考（NR）（Wang and Bovik, 2006）。在缺陷检测的应用场景中，由于没有参考图像，无参考图像质量评估（NR-IQA）是最适合评估CL图像质量的方法（Chow and Paramesran, 2016）。传统的无参考图像质量评估（NR-IQA）技术，例如NIQE（Mittal et al., 2012b）、BRISQUE（Mittal et al., 2012a）和DIIVINE（Zhang et al., 2014），主要依赖于从自然场景统计中提取的手工统计特征。Yan et al.（2018）提出了一种新的深度神经网络用于无参考图像质量评估，该网络具有双流卷积网络，包含用于捕获不同层次输入信息的子组件，并添加了基于区域的全卷积层来考虑局部畸变分布，通过平均补丁分数计算整体图像分数。然而，与我们的任务相比，他们数据库中的每张图像都有精确的基准数据，因此他们使用回归网络来获取测试图像的质量分数。相比之下，由于我们的图像没有注释，无法进行回归操作。Tian et al.（2018）提出了一种基于视觉相似性的新方法来生成合理的图像对，并设计了一个双通道深度神经网络作为排名模型。Lyu et al.（2021）将选择具有大量相似性的超声脊柱图像视为排名问题，并根据结构相似性指数（SSIM）分数对每张图像进行标记。在本文中，我们提出通过分类图像对来选择高质量图像。虽然我们没有为每张图像分配具体的分数，但可以根据改进的图像锐度算法确定每对图像中哪一张是最好的。

本文提出了一个利用CL成像和深度学习技术精确定位IGBT中焊接层的框架。本研究的主要贡献总结如下：

• •
  理论和算法创新：我们将CL层间混叠重新定义为图像失焦，将焊接层定位定义为聚焦问题，并开发了改进的锐度评估算法来筛选候选切片。
• •
  先进的质量选择网络：我们提出了一种迁移学习增强的孪生网络，用于高效提取具有区分性的锐度特征，从而系统地排名质量分数，以选择最优焊接层。
• •
  经过验证的实用解决方案：我们通过在IGBT模块上的实验验证了该方法，其顶级准确率达到97.51%，并将CL成像与深度学习相结合，为IGBT封装检测提供了可靠的自动化解决方案。

研究内容分为七个部分：第2节回顾了图像锐度评估算法和深度卷积神经网络，第3节介绍了CL实验设置，第4节介绍了改进的锐度评估算法，第5节介绍了焊接层定位方法，第6节展示了结果和讨论，最后第7节总结了本文。

部分摘录

图像锐度评估算法

在图像处理中，通常使用梯度函数通过计算梯度值来反映图像的锐度。与模糊图像相比，边缘清晰的图像通常具有较大的梯度值。以下是几种用于提取图像梯度信息的函数：

(1) 灰度级绝对差异之和函数（SMD函数）SMD函数（Jarvis, 1976）计算相邻像素之间的灰度级绝对差异之和

实验设置

在传统的CT扫描中，X射线难以穿透侧视的板状物体，如IGBT。因此，我们设计了一种X射线CL系统。该系统包括X射线源、C臂、具有两个方向自由度的平面舞台、平面探测器以及基于计算机的图像处理系统，如图4(a)所示。IGBT模块位于X射线源和平面探测器之间的平面舞台上。物体和探测器同时移动

IGBT CL图像的锐度评估算法

在CL系统中，旋转轴不垂直于X射线源和探测器之间的轴线，导致投影数据不完整。投影数据的不完整性会产生伪影，降低轴向分辨率，并导致重建图像的各向异性分辨率（Schorr et al., 2017）。失焦伪影会降低CL图像中焊接层结构的分辨率，并在轴向切片中表现出失焦特征

方法概述

在这项研究中，我们提出了一种利用通过迁移学习增强的孪生网络的焊接层定位方法。该方法从样品准备和CL实验开始，使用开发的CL系统扫描和重建IGBT模块，生成实验数据。随后，采用改进的图像锐度评估算法对候选焊接层的CL图像进行初步筛选。最后，应用迁移学习

结果与讨论

在本节中，我们对提出的孪生网络使用了12种不同的骨干架构进行了实验。采用迁移学习策略，将这些深度卷积神经网络（DCNN）集成到孪生框架中。由于空间限制，我们仅展示了VGG-16骨干的结果，重点关注训练和测试准确率及损失。经过50个周期后，训练准确率达到了100%，之后保持稳定，损失也呈现出类似的趋势

结论与未来工作

从数千张具有不同结构和质量的2D CL断层图像中选择高质量的焊接层对于准确检测空洞缺陷至关重要，但由于相邻焊接层之间的高度相似性，这具有挑战性。为了解决这个问题并实现有效的空洞缺陷检测，本文介绍了一种基于CL系统成像特性的改进目标评估算法的選擇方法

CRediT作者贡献声明

李岩：撰写 – 审稿与编辑，撰写 – 原始草稿，项目管理，方法论，研究调查，资金获取，形式分析，数据管理，概念化。刘双全：撰写 – 审稿与编辑，可视化，软件，方法论，数据管理。魏存峰：撰写 – 审稿与编辑，监督，资源管理，项目管理，概念化。刘宝东：撰写 –

写作过程中生成式AI和AI辅助技术的声明

在准备这项工作时，作者使用了ChatGPT来改进语言。使用该工具后，作者根据需要审查和编辑了内容，并对出版物的内容负全责。

利益冲突声明

作者声明他们没有已知的可能会影响本文报告工作的财务利益或个人关系。

致谢

本项工作得到了河南省关键技术研究与发展计划（项目编号：242102211005）、河南理工大学高级人才研究基金（项目编号：2022BS034）、河南省教育厅粮食信息处理与控制重点实验室开放基金（项目编号：KFJJ2024010）以及河南理工大学拓新团队培养项目（项目编号：2024TXTD18）的支持。