综述：对半导体制造中基于机器学习的视觉检测技术的全面评估

《Array》：A critical survey of machine learning - powered vision inspection in semiconductors manufacturing

　　Yamral Kassanew Akele | Vladimir Gurau
乔治亚南方大学，机器人过程开发实验室（RPDL），美国乔治亚州斯塔茨伯勒，30458

**摘要**
本文对半导体制造领域中机器学习（ML）辅助视觉检测的当前成就、挑战和局限性进行了深入研究。我们分析了各种ML架构，如卷积神经网络、结合经典计算机视觉与深度学习的混合框架、集成技术或基于变换器的方法，用于自动检测和分类不同制造阶段和类型的半导体缺陷。我们评估了这些方法在检测和分类缺陷方面的准确性证据强度，这些证据通过模型验证的局限性、数据集的大小、多样性、类别不平衡以及标签不一致性得到了体现。我们讨论了视觉检测模型从原型阶段过渡到大规模生产时面临的可扩展性挑战，指出了研究空白、伦理考量以及未来的发展方向。在某些检测任务中，报告的缺陷检测和分类准确性通常达到98-99%，性能比基线方法提高了4.6-8.6倍。然而，实际应用中仍存在一些技术难题，例如高误报率、对纳米级缺陷的检测准确性降低、对标签不一致性的敏感性以及由于生产批次变化导致的性能下降。此外，某些特定分割任务的处理时间从毫秒级推理到秒级不等，这代表了检测准确性与生产效率之间的权衡。对部署成熟度的评估显示，只有17%的ML辅助视觉检测系统被应用于大规模半导体制造环境中，而剩余的83%仍处于原型或试点阶段，这突显了在工业半导体制造应用中提高可扩展性和鲁棒性的必要性。

**1. 引言**
近年来，人工智能（AI）和先进计算的快速发展显著增加了全球对半导体设备的需求，并引起了工业利益相关者和国家政策制定者的广泛关注。在美国，2022年的《CHIPS和科学法案》授权了2800亿美元的新资金，以振兴美国半导体制造业，促进研究/开发，培训并加强微电子领域的劳动力，并减少对外国供应链的依赖[1]。截至2024年8月，自《CHIPS法案》首次在国会提出以来，半导体生态系统中的公司在美国28个州宣布了90多个新的制造项目[2]。由于这种大规模扩张，半导体制造商必须改进设备规模和工艺集成，同时实施稳健的质量控制和视觉检测技术，以提高大规模半导体制造环境中的生产产量[3]。

半导体制造是一个极其复杂的多阶段过程，通常涉及数百到上千个单独步骤，如晶圆制造、沉积、图案化、掺杂、蚀刻、氧化、金属化、光刻、切割或封装，将原材料转化为成品芯片。整个生产过程中都需要严格的质量控制（QC），从早期对硅晶圆的检测到最终集成电路（IC）的封装。在这种情况下，机器视觉已成为一个关键的支持工具，充当“生产的眼睛”，确保每个制造和组装阶段的质量和过程控制的一致性。将机器视觉融入半导体制造可以加快芯片生产速度，提高操作效率和质量，为制造商提供竞争优势。在制造过程中，必须正确评估构成半导体组件的因素，如对齐、缺陷和可追溯性。

传统机器视觉（MV）几十年来一直是半导体制造中的重要工具，通过使用高分辨率相机、专用照明和基于规则的算法来确保微观精度的质量控制和过程自动化。传统（基于规则的）MV用于以一致的准确性对齐晶圆、检测缺陷、识别组件或验证关键特征，提供了行业所需的精度和可靠性。使用MV自动进行QC相比手动或其他检测方法具有许多优势。然而，传统MV在处理复杂的多层背景或不可预测的缺陷变化时存在困难。尽管如此，AI的最新进展带来了新的方法：传统机器学习（ML）和深度学习（DL）增强的MV，在实际应用中提供了更大的灵活性和适应性。与传统MV不同，ML增强的MV在产品变化大、缺陷不可预测或环境复杂的情况下显著提高了检测准确性。

尽管基于ML的视觉检测近年来取得了显著进展，但其在大规模工业半导体制造中的部署仍然相对有限。正如文献中所观察到的，大多数报道的系统仍处于概念验证或试点阶段，只有少数在持续的高产量生产环境中运行。与数据可用性、系统集成、处理速度、对工艺变化的鲁棒性以及长期维护性相关的挑战继续阻碍了其广泛采用。因此，有必要系统地研究视觉系统、ML技术、检测任务和部署成熟度之间的关系。关于半导体行业中自动化视觉检测的全面综述可以追溯到2015年[4]。

本文的目的是获取有关半导体制造中基于视觉的检测的当前状况和最佳实践的信息，特别关注基于ML的方法，包括：
- 所涉及的半导体制造阶段，包括晶圆制造、光刻、切割、封装、组装和最终检测阶段，以及部署规模；
- 视觉系统的实现，包括成像技术、检测设置以及与制造工作流的集成；
- 用于检测的ML方法，如特定算法、模型架构、数据预处理和增强技术以及特征提取方法；
- 性能指标，如检测和分类准确性、分割质量、误报/漏报情况（如果有的话）、检测率、与基线检测方法的比较、处理速度或推理时间等。

通过这项分析，本文旨在识别当前的趋势、技术优势以及工业采用基于ML的视觉检测所面临的障碍。

**2. 审查方法**
我们使用Elicit Research Assistant [5]进行了语义搜索，查询词为“Machine learning-powered vision for semiconductor inspection”，检索了超过1.38亿篇学术论文。根据以下标准筛选出了500篇最相关的论文：
- 该研究是否与半导体制造过程的检测任务相关，如晶圆制造、光刻、切割、封装、组装或其他相关阶段？
- 该应用是否专注于半导体组件，包括晶圆、器件、基板或IC封装？
- 该研究是否明确采用了ML算法进行视觉处理，如DL、神经网络（NNs）或传统ML方法，而不仅仅是依赖基于规则的图像处理技术？
- 该研究是否专注于与检测相关的应用，如缺陷检测、分类、分割、异常检测、晶圆对齐或验证关键特征？
- 该研究是否报告了有实证验证支持的定量或定性性能结果？
- 该研究是否是一篇包含重要技术内容的完整研究文章，而不仅仅是会议摘要、社论、观点文章或简短通讯？

我们利用大型语言模型（LLM）捕获与本文相关的信息，如使用的ML方法、视觉系统、检测应用、记录的性能指标、制造阶段和系统部署过程的特点。首次搜索和筛选发现了60篇研究论文，这些论文研究了半导体制造环境中的ML驱动视觉系统。随后手动阅读并验证了每篇论文的正确性。根据筛选标准，有24篇论文被排除，因为这些研究仅以摘要形式存在或与半导体制造中的基于视觉的检测应用无关。另外还独立识别并审查了5篇专注于红外和高光谱成像的半导体视觉检测的论文，以扩大这项工作的技术范围（见图1）。

**3. 结果**
**3.1. 包含的研究的特点**
系统综述确定了41项关于半导体制造中视觉检测的研究。这些研究在不同制造阶段使用了ML驱动的视觉系统，从晶圆制造到最终检测。表1总结了所选研究的关键特点。

| 研究 | 半导体组件类型 | ML技术 | 视觉系统 | 检测应用 | 制造阶段 | 部署规模 |
| --- | --- | --- | --- | --- | --- |
| Yuan-Fu, 2019 [6] | 晶圆 | XGBoost, CNN, SVM, AdaBoost, RF | 自动光学检测 | 晶圆制造 | 概念验证 |
| Schlosser et al., 2022 [7] | 晶圆 | SH-DNN, CNN, Autoencoder | 宽场光学显微镜 | 缺陷检测和分类 | 切割 | 已部署 |
| Chien et al., 2020 [8] | 晶圆 | CNN, SVM, LR, RF, SVE, Faster R-CNN | 未指定 | 缺陷分类（中心、局部、随机、刮擦） | 晶圆制造 | 概念验证 |
| Wong, 2023 [9] | 半导体器件（SOT23） | VGG16, ResNet50, EfficientNet-B4, DenseNet-201, Xception, DeiT-S, CaiT-XS, ResT-S, Swin-T | 未指定 | 异常检测 | 原型/试点 |
| Koara et al., 2025 [10] | TFT背板（半导体面板） | 混合Transformer + CNN, SegFormer, DeepLabV3+, U-Net | 自动光学检测 | 分割 | 原型/试点 |
| Hsu et al., 2019 [11] | 基板组件 | OHL-Net, ResNet-18, ResNet-101, VGG-16, SVMA | 自动光学检测 | 缺陷分类 | IC封装 | 已部署 |
| Beuth et al., 2020 [12] | 硅晶圆 | CNN, VGG, ResNet, DenseNet, MobileNet, Xception, Inception, KNN; SVM and MLP | 宽场光学显微镜 | 缺陷检测和分类 | 切割（激光基） | 原型/试点 |
| Limam et al., 2024 [13] | 晶圆 | VGG19, ResNet50, DenseNet201 | 光学成像（RGB） | 缺陷分类 | 晶圆制造 | 原型/试点 |
| Schlosser et al., 2019 [14] | 晶圆 | SH-CNN, CNN, RFC, SVC, MLP | 宽场光学显微镜 | 缺陷检测和分类 | 切割 | 原型/试点 |
| Tello et al., 2018 [15] | 晶圆 | RGRN, DSCN, MLP, RBF, RF, SVM | 未指定 | 晶圆缺陷模式识别和分类 | 晶圆制造 | 概念验证 |
| Kim et al., 2021 [16] | 晶圆 | cGAN, ResNet-18, PixelGAN, CenterNet | SEM图像 + 布局图像 | 缺陷检测 | 光刻 | 概念验证 |
| Bergès et al., 2023 [17] | 晶圆 | LightGBM, XGBoost | 光学检测 | 缺陷分类 | 晶圆制造 | 已部署 |
| Guo et al., 2019 [18] | 晶圆 | iDO, iDO 2.0 | 宽带等离子体 | 晶圆缺陷检测 | 晶圆制造 | 已部署 |
| Patel et al., 2020 [19] | 晶圆 | CNN-FC, CNN-GAP | 电子束 | 缺陷检测、分类和定位 | 光刻 | 概念验证 |
| Kim et al., 2024 [20] | 晶圆 | ResNet-101, EfficientNet-B4, Xception, FPN, CAM | 高速单色相机 | 缺陷检测/分类（裂纹、EMC缺陷） | 封装 | 概念验证 |
| McLaughlin et al., 2021 [21] | 晶圆 | 未指定 | 缺陷检测（飞溅、颜色缺陷） | 光刻 | 已部署 |
| O'Leary et al., 2020 [22] | 晶圆 | 自定义CNN | SEM成像 + EDX光谱 | 缺陷分类 | 缺陷分析工作流程 | 概念验证 |
| Haddad et al., 2018 [23] | 半导体单元（芯片、环氧树脂、基板区域） | AlexNet, GoogLeNet, VGG19, SVM, 基于堆叠的分类器 | 高分辨率线扫描相机 | 缺陷检测和分类 | 组装 | 试点线 |
| Wang et al., 2023 [24] | 晶圆 | KABLS, DC-Net, LWM, MDPR, CNN | 未指定 | 缺陷检测和分类 | 晶圆制造 | 概念验证 |
| Rasheed et al., 2024 [25] | 晶圆 | EfficientNet, ResNet-18 | CD-SEM | 缺陷分类 | 蚀刻 | 概念验证 |
| Dey et al., 2024 [26] | 晶圆 | YOLOv8 | SEM | 缺陷检测和定位 | 晶圆制造 | 概念验证 |
| Yu et al., 2023 [27] | 晶圆 | K-means, 分层聚类 | LA-CM-16K05A | 缺陷检测 | 晶圆制造 | 概念验证 |
| Qiao et al., 2024 [28] | 晶圆 | VGG16, ResNet34, Swin-Transformer, UNet, Deeplab, SegNet, Res-UNet, RARA-2262-TC | 缺陷分类和分割 | 晶圆制造 | 概念验证 |
| Pahwa et al., 2020 [29] | 先进半导体封装（TSVs、微凸点） | SSD, Anisotropic CNN | 3D X射线显微镜 | 缺陷检测、分割 | 封装和组装 | 概念验证 |
| Anger et al., 2023 [30] | 晶圆 | U-Net, RCNN, ResNet | 光致发光映射 | 缺陷分类 | 晶圆制造 | 试点线 |
| Xie et al., 2024 [31] | 晶圆 | SONRBFI + SEM | 缺陷降采样 | 光刻 | 试点线 |
| Yuen et al., 2023 [32] | 电子元件（电压调节器引脚） | ResNet50, GENSS | 未指定 | 缺陷分类 | 组装 | 原型 |
| Al-Baddai et al., 2021 [33] | 功率模块/IC封装 | CNN | 光学出站检测（OOI） | 异常检测 | 组装和封装 | 试点线 |
| Purandare et al., 2019 [34] | 晶圆 | PCA | 未指定 | 缺陷检测（纳米级） | 晶圆制造 | 概念验证 |
| Chitchian et al., 2024 [35 | 异构IC封装（芯片组） | 未指定 | 多帧光学检测 | 缺陷检测和分类 | 封装 | 已部署 |
| Pahwa et al., 2022 [36] | IC封装 | Faster R-CNN, Residual U-Net | 3D X射线显微镜 | 缺陷检测和分割 | 组装和封装 | 概念验证 |
| Phua et al., 2020 [37] | 晶圆 | ResNet-101, SSD-VGG16 | SEM | 缺陷分类 | 金属化（BEOL工艺） | 概念验证 |
| Imoto et al., 2019 [38] | 晶圆 | InceptionSEMA | 自动缺陷分类 | 晶圆制造 | 概念验证 |
| Loo et al., 2023 [39] | SMT组件（SMD） | AlexNet, GoogLeNet, ResNet, VGGNet, EfficientNet, Faster R-CNN, U-Net | 自动光学检测（AOI） | 缺陷分类 | 组装 | 概念验证 |
| Le et al., 2023 [40] | IC封装（卷带和卷轴） | VAE | 未指定 | 异常检测 | 封装 | 原型 |
| Wen et al., 2020 [41] | 晶圆 | ResNet-101, FPNAC, RPN, DMBNN | 未指定 | 缺陷检测和分类 | 晶圆制造 | 概念验证 |
| Bu et al., 2022 [42] | 硅晶圆 | 未使用 | 激光红外热成像 | 缺陷检测（亚表面裂纹） | 晶圆制造 | 概念验证 |
| Jun et al., 2024 [43] | 晶圆上的V-NAND芯片 | FNN | 高光谱成像 | 缺陷芯片检测 | 蚀刻 | 已部署 |
| Park et al., 2024 [44] | 晶圆上的DRAM单元块 | PCA | 微球辅助的高光谱成像 | 结构均匀性分析/CD计量 | 晶圆制造 | 原型 |
| Tang et al., 2025 [45] | 硅晶圆 | UNet 3 + | 红外热成像 | 微裂纹检测和分割 | 晶圆制造 | 概念验证 |
| Yoon et al., 2022 [46] | 晶圆（DRAM、V-NAND器件） | 未使用 | 高光谱成像 | CD和均匀性计量 | 蚀刻 | 概念验证 |

表1展示了半导体制造不同阶段中多种ML驱动的视觉方法。所审查的论文涵盖了晶圆制造、光刻、蚀刻、图案化、切割、组装和封装，显示了基于视觉的检测在半导体制造生命周期中的广泛应用。然而，尽管应用如此广泛，仍有许多研究仍处于研究或试点阶段。大约83%的研究处于概念验证、原型或试点规模，而只有17%实现了工业规模的全部署。这种分布表明，虽然ML驱动的视觉解决方案在半导体检测方面具有很高的技术潜力，但在将原型从实验室转化为工业解决方案时仍面临许多挑战。

**3.2. 缺陷类型和检测应用**
文献中包括了代表不同失效机制和工艺阶段的缺陷分类。表面地形缺陷在晶圆上形成了系统模式（中心、局部、随机和刮擦类型），还有额外的类别，如污渍、毛刺、划痕和孔洞。裂纹、芯片缺陷和空洞缺陷给表面检测带来了挑战，而特定于封装的缺陷包括晶圆缓冲区的裂纹和环氧模塑料（EMC）缺陷。许多研究集中在与光刻相关的缺陷上。桥接缺陷以多种形式出现，包括单桥、薄桥、多线桥以及水平和非水平配置。在纳米尺度上，对于平行和垂直桥接缺陷的检测非常具有挑战性。线缺陷包括线断裂、线断裂、间隙和微桥。特定于图案的缺陷包括小孔、街道角断裂以及在切割操作中激光切割方向错误，还有诸如突起、断裂、尺寸错误、孔缺失、过短等缺陷。一些研究明确区分了致命缺陷和外观缺陷。Bergès等人[17]设计了模型，根据缺陷对设备可靠性的潜在影响将其分类为“致命”或“非致命”。Dey等人[26]特别关注线间距图案中的致命缺陷。Anger等人[30]还包括了定期出现的缺陷模式和来自埋藏的、具有电活性的非典型模式。Purandare等人[34]强调了检测对产量有显著影响的“罕见致命”缺陷的重要性。

3.3. 用于半导体制造的视觉检测的机器学习技术
综述的论文显示，从传统的机器学习流程向端到端的深度学习架构进行了明显的转变。以前的方法使用手动特征提取结合浅层机器学习分类器，如支持向量机（SVM）、随机森林（RF）、XGBoost和其他经典机器学习方法[6,8,12,15,34]。然而，最近的研究主要依赖于卷积神经网络（CNN）和其他深度神经网络技术，这些技术可以直接从原始检测图像中学习层次特征。最新的检测系统越来越多地应用最先进的深度学习模型，如YOLO[26]、基于变压器的架构[28]或U-Net和DeepLab变体[10]等分割网络。这种从传统的基于机器学习的特征提取到自动化特征学习的转变在图2中概念性地描绘出来。

图2. a) 传统的基于机器学习的视觉检测；b) 基于深度学习的视觉检测在半导体制造中的应用。

图3展示了用于半导体制造的基于机器学习的视觉检测的通用系统级架构。该架构包含不同的工业成像系统，如自动光学检测系统（AOI）、扫描电子显微镜（SEM）、X射线、能量色散X射线光谱（EDX）、高光谱等，以及预处理和数据准备操作（噪声过滤、归一化、增强），接着是区域定位或感兴趣区域（ROI）提取，以及深度学习网络（CNN、基于变压器的），特征聚合机制（连接、注意力、多模态融合），以及一系列特定任务的输出，如检测、分割、分类和回归，最后是决策和部署。

下载：下载高分辨率图像（421KB）
下载：下载全尺寸图像

图3. 用于半导体制造的基于机器学习的视觉检测的通用系统级架构。

在包括晶圆制造、光刻、沉积、切割、封装和最终检测在内的每个制造过程中，监督式CNN方法仍然是主流模式。VGG、ResNet、DenseNet和EfficientNet等架构被广泛用于缺陷分类任务[13,25,37]，而以分割为导向的模型如U-Net、DeepLabV3+和基于特征金字塔的网络则用于缺陷定位[10,41,45]。对于需要边界框的缺陷定位任务，应用了Faster R-CNN和基于YOLO的框架[26,36]。

一些研究通过混合和多阶段架构来提高鲁棒性，例如用于切割检测的多阶段堆叠DNN系统[7]、用于同时分类和分割的CNN变压器混合模型[28]以及旨在降低模型复杂性同时保持性能的知识增强或特征跨越框架[24]。除了分类和分割之外，异常检测技术也被应用于封装检测和最终检测中[33,40]，多模态融合方法利用SEM和EDX数据[22]来提高缺陷识别能力。最后，报道了用于半导体制造中的设备级检测和计量的高光谱成像系统[43,44]。

3.3.1. 混合和集成架构
一些研究使用了混合架构，将不同的方法作为互补的优势。Schlosser等人[7]提出了一个基于经典计算机视觉的混合多阶段系统和基于深度神经网络的分类系统，表明经典方法在检测像素级结构方面表现出色，而CNN在分类方面表现优异。Beuth等人[12]将生物学上合理的视觉注意力模型与CNN结合，使用注意力来识别感兴趣区域，并用CNN进行评估。Chien等人[8]采用了多种传统和深度学习架构（CNN、SVM、逻辑回归、Faster R-CNN）来细化不同类型晶圆表面缺陷的分类。

集成学习技术也被研究用于提高半导体检测系统的鲁棒性和分类质量。Haddad等人[23]开发了一个基于堆叠的集成分类器，结合了多个基础学习器以实现更准确的半导体单元缺陷检测和分类。他们的框架结合了异构特征，并使用堆叠方法，通过元分类器组合基础分类器的预测以得出最终决策。此外，集成模型还配备了自适应采样和特征整合功能，以缓解缺陷样本有限、数据不平衡和缺陷类别间差异较大的问题。

3.3.2. 先进架构：变压器和注意力机制
最近的研究越来越多地采用基于变压器的架构和注意力机制来捕捉大型半导体图像中的长距离依赖性。Koara等人[10]开发了一种混合编码器架构，将孔状卷积与基于变压器的组件集成，展示了在复杂检测图像中改进的分割性能。Qiao等人[28]创建了DeepSEM-Net，该架构结合了CNN和变压器用于缺陷分类和分割。这些方法反映了计算机视觉向基于变压器的架构发展的趋势，因为它们能够捕捉长距离依赖性。

受生物视觉启发的注意力机制也被探索作为纯数据驱动注意力的替代方案。Beuth等人[12]实现了一个生物学上合理的注意力模型，在CNN推理之前选择性地关注重要区域，提高了分类准确性和故障检测能力。

3.3.3. 用于缓解数据稀缺的技术
数据稀缺是半导体检测的主要挑战之一，许多综述的研究通过迁移学习和架构设计解决了这个问题。迁移学习的性能很大程度上取决于预训练数据与所需检测任务之间的相似性。Chien等人[8]表明，使用通用计算机视觉数据集预训练的Faster R-CNN模型可以成功适应晶圆缺陷检测，以最小的重新训练获得强大的分类性能。然而，迁移学习的效率取决于缺陷特征和成像环境。当缺陷表现为具有明显边界的独立对象时，通用对象检测模型迁移效果良好。相反，具有微妙图案扭曲或低对比度变化的缺陷通常需要进一步的领域适应。Patel等人[19]发现，用一种晶圆模式训练的模型在应用于其他图案结构的图像时需要适度的重新训练，而迁移学习将加速新模型的开发，但某些特定任务的微调对于可靠部署是必要的。Limam等人[13]使用预训练的VGG、ResNet和DenseNet架构进行迁移学习，以实现二分类和多分类晶圆缺陷的稳健性能。Rasheed等人[23]使用EfficientNet和ResNet骨干网络增强了基于SEM的晶圆制造缺陷分类。

3.3.4. 物理信息和领域特定方法
一些研究将领域知识纳入他们的模型中。Hsu等人[11]引入了一种特征跨越的机器学习方法，利用数学变换将图像特征嵌入到类别特征空间中，仅使用ResNet的5.6%的参数就取得了有竞争力的结果。Wang等人[24]设计了一个知识增强的广泛学习系统（KABLS），用于混合类型缺陷，通过预检测激活适当的网络通道。该架构提供了一个多通道选择性采样网络，其中每个通道都与可变形卷积模型集成，以提取与固定单一类型缺陷相关的特征。

3.3.5. 联合和去中心化学习
Dey等人[26]提出了他们声称的第一个用于半导体制造的联合学习框架，描述了一种能够安全利用多样化数据集的多样性来创建通用缺陷检测模型的机制，而无需交换敏感数据。该框架基于使用来自不同参与者的真实制造设施（FAB）的去中心化和私有数据，这些数据应用于许多不同的过程和成像设备。研究人员进行了一系列新颖的权重聚合算法（FedHarmonic和FedArithmetic），与传统的FedAvg相比。

3.3.6. 多模态融合
O'Leary等人[22]展示了多模态融合的好处，将SEM图像与EDX光谱数据结合用于颗粒缺陷分类。这种方法实现了超过99%的Top-3准确率，显著优于仅使用SEM或EDX数据的模型。光谱数据直接与CNN的全连接层合并。

3.3.7. 传统的深度学习检测框架
由于传统深度学习流程能够从复杂的检测图像中自动提取特征，因此仍被广泛用于半导体缺陷检测。Fu等人[6]评估了基于CNN的模型，用于基于自动光学检测（AOI）的晶圆缺陷分类，并将其与传统的分类器如SVM、AdaBoost、RF和XGBoost进行了比较。Schlosser等人[14]提出了一个堆叠混合CNN（SH-CNN）框架，该框架结合了经典计算机视觉技术用于ROI定位和基于CNN的分类，用于晶圆切割检测。同样，Patel等人[19]开发了CNN架构，结合了全局平均池化和类别激活图，以开发电子束检测图像中的缺陷检测和定位机制，支持弱监督下的缺陷区域定位。

3.3.8. 基于红外和高光谱成像的技术
还研究了先进的成像技术，以增强半导体检测和缺陷表征，超越了传统的光学方法。Bu等人[42]提出了一种Barker码激光红外热成像技术，用于使用热波分析检测硅晶圆中的微裂纹缺陷。Jun等人[43]开发了一种成像光谱反射测量系统，将高光谱成像与前馈神经网络（FNN）模型结合，用于检测有缺陷的V-NAND芯片并预测底部关键尺寸。Tang等人[45]引入了一种激光扫描红外热成像框架，与UNet3+分割网络集成，用于识别硅晶圆中的微裂纹缺陷。这些研究表明，包括热成像和高光谱传感在内的专门成像模式可以显著提高半导体制造环境中的缺陷检测和结构分析能力。

3.4. 性能指标
根据综述的研究，模型性能使用与分类、检测、分割和回归目标相一致的特定于任务的定量指标进行评估。对于基于分类的检测，最常报告的指标包括准确率、精确度、召回率和ROC曲线下面积（AUC）。准确率定义为：
(1) 准确率 = (TP + TN) / (TP + TN + FP + FN)
其中TP、TN、FP和FN分别代表真正例、真负例、假正例和假负例。然而，在半导体制造中，由于类别不平衡严重，仅凭准确率可能会产生误导。因此，通常强调精确度和召回率：
(2) 精确度 = TP / (TP + FP)
(3) 召回率 = TP / (TP + FN)
F1分数平衡了精确度和召回率，定义为：
(4) F1 = 2 · 精确度 · 召回率
基于分割的方法通常使用交并比（IoU）定义为：
(5) IoU = |预测 ∩ 真实值| / |预测 ∪ 真实值|
对于基于回归的计量系统，特别是用于关键尺寸（CD）测量的高光谱成像应用，性能使用决定系数进行评估：
(6) R2 = 1 ? ∑(yi ? y?i)2 / ∑(yi ? yˉ)2
其中yi代表真实测量值，y?i代表预测值，yˉ代表观察值的平均值。几个高光谱计量系统报告R2>0.95，表明在受控条件下有很强的预测一致性。

除了性能指标外，用于评估机器学习模型的方法在确定报告结果的可靠性方面也起着关键作用。常用的方法是保留验证方法，其中数据集被分为单独的训练和测试子集。尽管这种方法简单且计算效率高，但其性能估计严重依赖于单一数据划分，可能导致对模型在未见数据上的泛化能力估计不准确。过拟合是机器学习中的常见问题，即模型在训练数据上表现良好，但在未见数据或测试数据上泛化能力较差。为了解决这些限制，广泛采用了k折交叉验证作为更稳健的评估技术，其中数据集被划分为k个大小相等、不重叠的折叠，模型被迭代训练和评估，每个折叠一次用作验证集，其余k-1个折叠用于训练，如图4所示。这个过程重复k次，以便所有数据样本都参与训练和验证，从而得到平均性能Ei。此外，k折交叉验证常用于超参数调整，通过评估不同模型配置在各个折叠中的表现来识别具有良好泛化能力的设置，从而提供更可靠和稳定的模型泛化估计，特别是在数据集有限且不平衡的半导体检测任务中。下载：下载高分辨率图像（247KB）下载：下载全尺寸图像图4. k折交叉验证。所审查论文的性能指标在表2中呈现。表2. 针对半导体制造中基于机器学习的视觉检测的研究的性能指标。研究准确率/性能处理速度与基线比较Yuan-Fu, 2019 [6]CNN: 99.2%，XGBoost: 98.1%未报告优于RF、SVM、AdaBoostSchlosser等人，2022 [7]F1分数高达99.5%每个芯片约5.2毫秒故障检测提高了4.6–8.6倍Chien等人，2020 [8]平均准确率为98.88%未报告CNN显著优于SVM、LR、RF和SVE分类器Wong, 2023 [9]AUC高达95.3%每张图像的目标推理时间<0.01秒与现有检测系统相比，假阳性率降低Koara等人，2025 [10]分割：高达98%约9秒（单处理器），约3秒（六处理器）优于SegFormer、DeepLabV3+、U-NetHsu等人，2019 [11]96%缺陷预测准确率；按类别报告精确度和召回率未报告与ResNet-18、ResNet-101、VGG-16相当Beuth等人，2020 [12]准确率92%，故障检测88%未报告优于CNN、SVM、KNN、MLP基线Limam等人，2024 [13]二分类：98.17%，多分类：96.04%未报告DenseNet201的性能优于ResNet50和VGG19模型Schlosser等人，2019 [14]准确率高达92.1%未报告优于RFC、SVC、MLP和标准CNNTello等人，2018 [15]总体准确率：86.17%未报告在混合缺陷模式下优于RGRN、SVM、RF、MLPKim等人，2021 [16]AP50: 92.3%，APHard: 98.6%，APSoft: 86.0%未报告优于CenterNet（ResNet-18/50）Bergès等人，2023 [17]未报告优于手动检测和传统筛查Guo等人，2019 [18]DOI捕获提高了1.1倍–1.3倍未报告iDO 2.0优于手动iDO分类器Patel等人，2020 [19]准确率：98.5%，灵敏度：96.9%，特异性：100%未报告CNN-GAP略优于CNN-FC模型Kim等人，2024 [20]准确率：96.9%推理时间约为每个测试集25秒优于ResNet-101和XceptionMcLaughlin等人，2021 [21]未报告灵敏度：是基线的2倍；特异性：是基线的5倍O'Leary等人，2020 [22]Top-1准确率：82.1%，Top-3准确率：99.2%训练：每个缺陷/周期/GPU为0.264秒优于仅使用SEM和EDX的CNNHaddad等人，2018 [23]平均准确率：95.88%未报告优于CNN和集成基线Wang等人，2023 [24]平均准确率：99.3%未报告优于DC-Net、Kiryong、LWM、MDPR和TakeshiRasheed等人，2024 [25]准确率97.92%，F1分数98.52%实时优于ResNet-18和之前的基于SEM的方法Dey等人，2024 [26]全局模型mAP约为85.85%未报告优于单独学习和FedAvgYu等人，2023 [27]>97%每个芯片4.058毫秒优于模板匹配、LSD和AICP-FPQiao等人，2024 [28]分类准确率：97.25%；分割IoU：84.40%未报告优于VGG16、ResNet34、Swin-Transformer、UNet、DeepLab、SegNet、Res-UNetPahwa等人，2020 [29]分割：90%未报告优于传统的AOI和基于CV的计量Anger等人，2023 [30]ROC AUC：0.98；F1分数：0.98与基于RCNN的检测相当Xie等人，2024 [31]未报告未报告SEM缺陷命中率高达40倍；弱模式发现高达57倍Yuen等人，2023 [32]分类准确率：85.71%未报告在极小数据集上优于ImageNet预训练的ResNet50Al-Baddai等人，2021 [33]灵敏度：99%；特异性：99%；总体准确率：98–99%优于基于规则的检测；减少了过度拒绝和产量损失Purandare等人，2019 [34]约100%未报告检测到之前光学方法遗漏的缺陷Chitchian等人，2024 [35]未报告与仅使用机器视觉的检测相比，减少了过度检测和漏检Pahwa等人，2022 [36]精确度79.83%，召回率99.85%未报告空洞Dice提高了约10–20%Phua等人，2020 [37]Top-1准确率：91.1%；Top-3准确率：96.2%（DLADC，测试中）通过级联DLADC优于单个CNN（ResNet-101）Imoto等人，2019 [38]平均分类准确率：87.26%未报告与商业ADC相比，减少了约2/3的手动检测工作量Loo等人，2023 [39]F-measure 98.57%，精确度98.83%未报告优于传统的AOI方法Le等人，2023 [40]F10分数：0.9955未报告与带式机器相比，F10分数提高了5.32%Wen等人，2020 [41]MPA：93.97%；MIoU：83.58%每个256×256图像约424毫秒在MPA、MIoU、PA和FWIoU方面优于FCN和DeepLabV3Bu等人，2022 [42]对于微裂纹检测具有更高的信噪比未报告在所有测试条件下，信噪比和缺陷检测能力始终高于LFMTWIJun等人，2024 [43]R2 = 0.96（测试）；R2 = 0.71（测试后）优于点OCD（R2 = 0.82 vs 0.41）Park等人，2024 [44]R2 > 0.95每个高光谱集10.25秒（40个波长）；使用MSI需要19秒能够在OCD点尺寸限制之外进行单元内CD和均匀性计量Tang等人，2025 [45]分割准确率约为88.5–90%未报告优于传统的基于阈值的和超像素方法Yoon等人，2022 [46]未报告FOV 13毫米×0.6毫米每秒使得使用传统OCD无法实现的ICU/IWU计量成为可能检测和分类准确率在不同研究和缺陷类型中差异很大，有几项工作报告了非常高的性能。Chien等人[8]报告了基于CNN的晶圆缺陷分类的平均准确率为98.88%，而Yuan-Fu等人[6]报告使用CNN的准确率为99.2%，使用XGBoost的准确率为98.1%。Koara等人[10]对某些缺陷类别的分割性能达到了98%，Limam等人[13]对二分类的准确率达到98.17%，对多分类的准确率达到96.04%。3.4.1. 模型验证的局限性虽然许多研究关注准确率、精确度、召回率和F1分数等指标，但很少有工作提供有关用于获得这些结果的验证策略的详细信息。尽管交叉验证被认为是机器学习中的最佳实践之一，但在审查的半导体视觉检测研究中并未一致报告其使用情况。表2中总结的几项研究报告了性能指标，但没有明确描述验证方法，而其他研究则依赖于有限的数据集分割，没有详细的评估协议。这个问题在半导体制造应用中尤为显著，因为缺陷数据集通常高度不平衡且规模有限。鉴于这些问题，最近的半导体缺陷检测研究使用深度学习模型报告了非常高的性能；然而，这些结果往往受到有限验证策略的影响。例如，Yuan-Fu[6]报告使用基于CNN的晶圆缺陷分类和调整后的超参数以及数据增强，分类准确率为99.2%，但它依赖于简单的训练-测试分割。同样，Schlosser[7]使用混合深度学习框架报告了高达99.5%的F1分数，Rasheed[25]使用基于EfficientNet的方法报告了97.92%的准确率，两者都基于固定的数据分割。Patel[19]也观察到了类似的趋势，他们报告了98.5%的准确率，但需要重新训练以适应新的缺陷模式，Limam[13]使用优化的CNN架构在工业数据集上实现了高达98.17%的准确率，同时依赖于固定的训练-验证-测试分割。虽然这些结果证明了深度学习模型的有效性，但也表明性能提升通常是在特定实验设置下实现的，缺乏稳健的验证策略可能会限制报告结果的可靠性和泛化能力。因此，采用标准化的验证协议（包括k折或分层交叉验证）对于确保稳健和可泛化的模型评估至关重要，未来的研究应更加重视采用能够更好地反映实际部署条件的验证策略。3.4.2. 数据集的大小、多样性、类别不平衡和标签不一致性的局限性审查的研究中的另一个关键挑战与用于训练和评估的数据集的局限性有关。许多研究依赖于有限或特定领域的数据集，这可能会限制模型在更广泛工业环境中的泛化能力。这些数据集通常规模小、多样性有限、类别不平衡且标签不一致，从而对其代表性提出了质疑，特别是对于罕见但关键的缺陷类型。因此，报告的高性能可能无法完全反映真实的泛化能力，因为模型可能会偏向于主导类别或数据集特定的模式。此外，将复杂的深度学习模型应用于有限的数据集可能会增加过拟合的风险，导致过于乐观的性能估计。数据质量已成为一个重要的实际障碍。Wong[9]量化了其影响，并得出结论，以0.5%的拒绝率和不到0.01%的真正缺陷拒绝率计算，每天有超过一百万个半导体被丢弃，尽管它们无效。这导致假阳性与真正阳性的比例为50:1，导致传统机器学习方法难以处理的严重类别不平衡。该研究特别旨在通过收集之前被现有系统拒绝的“硬样本”并采用各种机器学习技术来降低假阳性率。Wong[9]还指出，手动标签容易出错，直接影响检测系统的准确性。当生产条件和缺陷模式发生变化时，数据漂移带来了更多困难。Wong[9]指出，当测试数据的分布发生变化时，模型难以正确运行，特别是随着新缺陷类型的出现。这一观察与Guo[18]的结论一致，即随着设计规则的减少，传统iDO设置的复杂性增加。这意味着部署基于ML的检测系统不仅需要初始训练，还需要持续的重新训练和验证框架来维持性能，因为制造过程在不断发展。Patel[19]强调了半导体缺陷检测中的数据集局限性，仅使用了527张图像，其中独特样本的数量非常少（例如，单线断裂类别和多线断裂类别分别只有36张和52张独特图像）。为了解决这个问题，作者应用数据增强来增加数据集大小并减轻类别不平衡。虽然报告了高分类准确率，但对有限数据的依赖引发了关于数据集多样性和代表性的担忧，以及需要重新训练表明了有限的泛化能力。Chien[8]强调了半导体缺陷数据集标签质量的局限性，指出一些晶圆图像包含多种缺陷类型，但被赋予了单一标签，从而在训练数据中引入了不一致性。尽管有这些局限性，该研究仍报告了98.88%的分类准确率，表明数据集标签限制可能会影响报告性能的可靠性。Al-Baddai[33]明确指出了半导体检测中与数据集相关的挑战，包括严重的类别不平衡，其中正常样本占主导地位，而缺陷实例很少。该研究还报告说，只有有限数量的缺陷图像可用于训练，需要人工平衡数据集并使用正则化技术来减轻过拟合。这些观察强调了数据稀缺性和不平衡对模型训练和可靠性的影响。Yuen[32]强调了在半导体视觉检测中与极小和不平衡数据集相关的挑战，指出缺陷数据难以收集，通常由“好”样本主导。研究表明，仅在非常有限的数据上训练的模型（在某些情况下只有五个训练样本）难以实现可靠的性能，突显了数据稀缺性对模型效果的影响。总体而言，这些发现表明数据集的局限性强烈影响了报告的性能。因此，高准确率不一定反映真正的泛化能力。3.4.3. 准确性与速度的权衡和系统设计研究确定了检测准确性和处理速度之间的权衡，最佳解决方案因应用需求而异。Schlosser[7]通过在其多阶段系统中使用低复杂度模型，实现了99.5%的F1分数和每个芯片大约5.2毫秒的处理时间。他们使用经典计算机视觉进行定位，然后使用CNN进行分类的方法，通过将计算资源集中在感兴趣的区域，实现了高准确性和速度。相比之下，Hsu[11]明确提出了这种权衡，通过构建一个跨越特征的模型，仅使用了ResNet-101参数的5.6%，并保持了有竞争力的准确率，声称它促进了快速训练、推理和低计算成本。Koara[10]展示了实际部署视角，并表明并行处理将推理时间从单个处理器的约42秒降低到六个处理器的约3秒。Wen[41]提出了一个两阶段深度学习框架用于晶圆缺陷检测，将特征金字塔网络与分割模型集成，实现了每个256×256图像的平均推理时间约为424毫秒。这些见解表明，对于需要实时处理的高产量制造，架构选择必须考虑算法效率以及硬件加速能力和并行处理机会。单阶段和多阶段架构之间的选择反映了不同的优化优先级。像YOLOv8这样的单阶段检测器在准确性和速度之间提供了良好的平衡，使其适用于实时应用，其中一致的性能比最大准确率更重要。多阶段系统通过分离定位和分类任务实现了更高的准确率，当缺陷检测至关重要且可以接受额外的处理时间时更为合适。3.4.4. 不同缺陷类型和规模下的性能变化检测性能随着缺陷特征的不同而变化，特别是大小和对比度。研究报道了对于较小或更微妙的缺陷，性能有所下降。Dey[26]展示了这种变化，报告了间隙缺陷的平均精确度为96.96%，对于线断裂为99.50%，但对于更微妙的缺陷类别（如微桥为84.32%和间隙为57.30%）的性能显著降低。这种情况很可能反映了两个方面的问题：一方面是检测接近成像系统分辨率极限的特征的固有难度；另一方面是针对罕见缺陷类型的训练样本稀缺。一些论文专门讨论了检测小缺陷所面临的挑战。Schlosser等人[7]指出，他们的混合系统的优势在于首先通过经典计算机视觉技术在像素级别定位最细微的结构，然后再使用卷积神经网络（CNN）进行分类。Kim等人[20]引入了特征金字塔网络（Feature Pyramid Networks）来处理不同大小的缺陷。对于小缺陷检测性能的下降表明，即使是最先进的深度学习方法在接近物理成像极限时也会遇到困难，而结合经典计算机视觉的混合方法可能在这些情况下具有优势。挑战不仅限于缺陷的大小，还包括检测图像中的对比度和上下文变化。Hsu等人[11]观察到，具有与周围背景相似视觉特征的缺陷使用传统特征表示方法很难区分。Dey等人[26]进一步强调，高分辨率的扫描电子显微镜（SEM）检测图像中常常包含噪声，这会掩盖细微的结构细节，使得难以区分诸如微桥（microbridge）、基座（footing）、断裂（break）和可能的断裂（probable break）等缺陷类型。这些观察结果表明，有效的缺陷检测不仅需要高分辨率成像，还需要专门的预处理技术或能够增强微弱缺陷特征信噪比的模型架构。

3.4.5. 缺陷规模、成像模式和性能变异性
缺陷检测的性能会随着缺陷规模、对比度和成像模式的不同而系统性地变化。对晶圆级光学检测的研究通常报告空间或宏观缺陷的准确率超过95%[6,13,24,27]，而针对纳米级图案畸变的电子显微镜方法的研究在分类和分割性能上表现出更大的变异性[25,28,37]。结构和封装缺陷的分割任务报告的性能在88-90%的范围内[29,45]，高光谱计量系统在关键尺寸测量方面表现出强大的回归性能（R2 > 0.95）[43,44]。这些结果表明，机器学习（ML）的有效性与缺陷物理特性和传感分辨率密切相关，即使使用先进的ML架构，小尺寸和低对比度的缺陷仍然是一个持续的挑战。

4. 可扩展性挑战
在基于ML的半导体视觉检测中，另一个关键挑战是开发出的模型在从试点研究过渡到大规模生产（HVM）环境时的可扩展性。尽管许多研究在受控实验条件下报告了良好的性能，但只有少数系统实现了全面的工业部署，大约17%的系统成功应用于大规模生产环境，而大多数仍处于概念验证或试点阶段。性能差距的出现是因为试点中使用的受控、静态数据无法捕捉到生产线上的高速度、高多样性（4Vs）数据（体积、速度、多样性和真实性）。这突显了将实验室规模的成功转化为现实世界制造环境的固有难度，后者以高数据吞吐量、严格的可靠性要求和不断变化的过程条件为特征。半导体制造环境本质上非常复杂，涉及众多相互连接的工具、多阶段流程和大量生产数据，这大大增加了实时数据分析和决策的难度[47]。

可扩展性还受到在严格实时要求下处理大量高分辨率检测数据的限制。半导体检测系统必须以生产线速度运行，需要在毫秒级内完成推理以避免生产瓶颈。这对计算资源提出了重大需求，需要优化深度学习模型和专用硬件，如GPU或边缘计算解决方案，同时保持处理效率和检测精度之间的平衡。这些挑战与更广泛的ML系统考虑相一致，其中可扩展性涉及高效处理大型数据集和管理计算资源，通常需要分布式计算策略[48]。

数据相关挑战也起着核心作用。在大规模半导体制造中，缺陷出现的频率较低，导致数据集高度不平衡，关键故障模式的样本有限。虽然这反映了理想的生产质量，但它限制了训练强大监督模型所需的标记数据的可用性。此外，不同工具、产品类型和制造过程之间的差异限制了模型的泛化能力，通常在新环境中部署时需要重新训练。

除了数据和计算限制之外，与现有制造基础设施的集成也是一个主要障碍。半导体制造设施依赖于复杂的、往往是传统的制造执行系统和异构的检测工具，使得无缝通信和实时同步难以实现。此外，现实世界的生产条件引入了诸如照明变化、振动和污染等变异性，这些在受控数据集中无法捕捉到，并可能对模型性能产生负面影响。

成本和可靠性考虑也限制了大规模采用。在半导体制造中，即使是轻微的分类错误也可能带来重大的经济后果：假阴性可能导致有缺陷的产品通过检测，而过多的假阳性会降低产量并增加运营成本。此外，部署基于ML的检测系统通常需要大量投资于先进的成像和计算基础设施。

长期的可维护性和鲁棒性也是关键挑战。由于材料、设备和操作条件的变化，半导体工艺会随时间演变，如果管理不当，数据和模型可能会发生漂移，从而降低性能。因此，ML系统需要持续监控、定期重新训练和自适应更新机制。此外，模型透明度的缺乏可能会限制实际部署，因为工程师需要可解释和可信的输出来进行高风险决策。

表3总结了影响基于ML的半导体视觉检测系统可扩展性部署的关键障碍，包括与可扩展性、数据、集成、成本、可靠性、可维护性和可解释性相关的挑战。

为了克服这些障碍，业界越来越多地转向使用合成数据来训练罕见缺陷的模型，并采用基于物理知识的ML来使模型更能适应工艺变化。补充方法，包括异常检测、基于边缘的实时处理以及具有自适应重新训练策略的持续监控，进一步支持了可扩展和可靠的部署。

5. 伦理考虑
在半导体检测中使用ML相比传统检测技术提出了特定的伦理挑战[49]。这些伦理挑战与数据偏见、“黑箱”责任、透明度和信任或知识产权风险有关。虽然ML提高了缺陷检测效率，但它引入了假阴性缺乏责任、使用有偏或代表性不足的训练数据以及可能通过模型训练滥用数据和泄露知识产权的风险。一个关键的伦理问题是DL模型的透明度和“黑箱”性质。通常，DL模型作为黑箱系统运行，使得难以理解决策是如何生成的。这种不可解释性限制了工程师验证预测或识别错误根本原因的能力[50]。在高风险的制造环境中，这种不透明度可能会降低信任度，并阻碍基于ML的检测系统的采用。

另一个关键的伦理挑战与模型预测中的偏见有关，这种偏见可能源于不平衡或代表性不足的训练数据以及人类注释的一致性问题。ML模型可能会继承和放大这些偏见，导致缺陷检测中的系统性错误。在半导体检测中，这可能导致关键缺陷的遗漏或对功能组件的不公正拒绝，引发关于不同产品或制造条件下的公平性和一致性的担忧。

另一个重要问题是自动化系统中的责任和问责问题。当ML模型用于支持或替代人类决策时，错误结果的责任变得不那么明确。确定错误是源于模型设计、训练数据还是系统操作成为一个关键的伦理问题，特别是当故障导致生产损失或可靠性问题时。此外，知识产权和数据保密性也带来了独特的伦理风险。训练数据集可能包含专有的设计模式或工艺信息，引发了对ML模型可能无意中编码或暴露敏感知识的担忧。

最后，自动化偏见和对ML系统的过度依赖引入了进一步的挑战。操作员可能过度依赖自动化检测结果，即使模型遇到不熟悉的条件或性能下降。因此，保持适当的人类监督对于确保负责任的和可信的部署至关重要。此外，强大的、透明的协议是AI在半导体制造中使用的先决条件，确保自动化不会取代负责任的工程和监督。

6. 研究空白
目前明显缺乏标准化和公开可用的半导体缺陷数据集。大多数研究依赖于专有的、特定于工厂的数据，这限制了可重复性、基准测试和跨模型架构及成像模式的公平比较。部署研究仍然很少。尽管有几个系统报告了试点或工业实施，但很少有研究评估了在工艺漂移、设备重新校准和缺陷分布演变下的长期鲁棒性。假阳性和过度拒绝指标的报告不一致。鉴于在高产量半导体制造中缺陷的极低发生率，评估必须优先考虑特异性、感兴趣的缺陷（DOI）捕获率和经济影响，而不仅仅是整体准确性。

跨工厂的泛化能力较弱。大多数模型在单一工厂或成像配置下进行训练和验证，留下了关于跨工艺节点、检测工具和设备供应商的可转移性的未解决的问题。可解释性和物理整合仍然有限。尽管深度学习架构实现了高检测性能，但相对较少的研究结合了工艺知识、布局信息或支持工程决策和根本原因分析的可解释推理机制。

7. 未来方向
未来在基于ML的半导体检测视觉方面的研究应侧重于提高鲁棒性、部署成熟度和经济可靠性。尽管许多研究报告了高实验室准确率（95-99%），但只有约17%的系统实现了持续的工业部署，表明有明显的改进机会。

7.1. 混合和集成架构
来自堆叠DNN、CNN变换器和基于集成系统的证据表明，与单一模型方法相比，混合架构具有更好的鲁棒性。未来的工作应系统地评估在工业约束下的混合架构，平衡检测灵敏度与推理延迟和吞吐量要求。

7.2. 联合和跨工厂学习
大多数研究是在单一工厂环境中进行训练的，跨工具或跨节点的验证有限。联合学习通过允许在不共享原始检测数据的情况下进行协作模型训练，提供了一种可扩展的解决方案。这种方法可以在保持知识产权和工艺保密性的同时提高跨工厂的泛化能力。

7.3. 合成和物理感知数据生成
有限的标记缺陷数据集和严重的类别不平衡仍然是主要限制。尽管迁移学习被广泛采用，但它并没有消除对特定领域数据的需求。使用GANs、VAEs或可能受光刻和工艺物理指导的扩散模型生成的合成缺陷图像可以改善罕见缺陷的表示，并提高鲁棒性，特别是在小缺陷或低对比度缺陷方面，一些研究报告了性能下降。

7.4. 假阳性控制和成本敏感优化
假阳性拒绝仍然是一个关键的工业障碍。即使是很小的过度拒绝率也会对高产量生产产生显著影响。未来的ML检测框架应结合成本敏感的学习、感兴趣的缺陷优先级和超出传统准确性和F1分数的产量感知评估指标。

7.5. 多模态和计量集成系统
新兴的高光谱、X射线和SEM-EDX融合方法展示了强大的潜力，包括实现R2>0.95的计量任务的回归模型。未来的检测系统应集成多模态感知与统一的ML架构，以支持在单一框架内的缺陷检测、定位和定量测量。

8. 结论
我们对当前在半导体制造中基于ML的视觉检测领域的成就、挑战和局限性进行了关键调查。我们介绍了最近的ML架构，如CNN、结合经典计算机视觉与DL的混合框架、集成技术或基于变换器的方法，用于自动检测和分类不同制造阶段和缺陷类型的半导体缺陷。我们评估了检测和分类缺陷的证据强度以及报告的准确性的风险，这反映在模型验证的局限性或数据集的大小、多样性、类别不平衡和标签不一致性上。我们讨论了视觉检测模型从原型过渡到大规模生产时面临的可扩展性挑战，并提出了研究空白、伦理考虑和未来方向。

回顾的文献表明，基于ML的检测系统在自动缺陷检测和分类方面技术上是有效的，许多方法的性能超过了95%，有几个晶圆级系统在受控环境下的准确率接近99%。大多数实现依赖于卷积神经网络、混合架构和基于变换器的模型来执行分类、分割和异常检测任务。尽管有这些有希望的结果，但只有大约17%的系统实现了全面的工业部署，而大多数仍处于原型或试点阶段。这表明，诸如标记数据有限、假阳性控制、跨制造工艺变异性以及与现有检测工作流程的集成等问题，仍然是大规模采用机器学习（ML）技术的主要障碍。总体而言，研究结果凸显了基于ML的检测技术在提高半导体制造质量和效率方面的巨大潜力，同时也强调了需要为实际工业环境开发更加稳健、可扩展且易于部署的解决方案。

**缩写说明：**
- ADCA：自动缺陷分类（Automatic Defect Classification）
- AOI：自动光学检测（Automated Optical Inspection）
- AUCA：曲线下面积（Area Under the Curve）
- BEOL：后端线（Back-End-of-Line）
- CDC：关键尺寸（Critical Dimension）
- CD-SEM：关键尺寸扫描电子显微镜（Critical Dimension Scanning Electron Microscopy）
- CNN：卷积神经网络（Convolutional Neural Network）
- CV：计算机视觉（Computer Vision）
- DL：深度学习（Deep Learning）
- DLADC：深度学习自动缺陷分类（Deep Learning Automatic Defect Classification）
- DNN：深度神经网络（Deep Neural Network）
- DOI：感兴趣的缺陷（Defect of Interest）
- DRAM：动态随机存取存储器（Dynamic Random Access Memory）
- EDX：能量色散X射线光谱（Energy Dispersive X-ray Spectroscopy）
- EMC：环氧模塑料（Epoxy Molding Compound）
- FNN：前馈神经网络（Feedforward Neural Network）
- F1：F1分数（F1 score）
- FP：假阳性（False Positive）
- FN：假阴性（False Negative）
- GAN：生成对抗网络（Generative Adversarial Network）
- GPU：图形处理单元（Graphics Processing Unit）
- IC：集成电路（Integrated Circuit）
- iDO：在线缺陷组织器（inline Defect Organizer）
- IoU：交并比（Intersection over Union）
- KNN：k最近邻（k-Nearest Neighbors）
- LLM：大型语言模型（Large Language Model）
- LR：逻辑回归（Logistic Regression）
- ML：机器学习（Machine Learning）
- MLP：多层感知器（Multilayer Perceptron）
- SVM：支持向量机（Support Vector Machine）
- TFT：薄膜晶体管（Thin-Film Transistor）
- TP：真阳性（True Positive）
- TN：真阴性（True Negative）
- TSV：硅通孔（Through-Silicon Via）
- VAE：变分自编码器（Variational Autoencoder）
- V-NAND：垂直NAND闪存（Vertical NAND Flash Memory）
- RGB：红-绿-蓝（Red-Green-Blue）
- C：作者贡献声明（Author contribution statement）

**作者分工：**
- Yamral Kassanew Akele：数据整理、形式分析、调查、可视化、撰写——初稿。
- Vladimir Gurau：概念构思、数据整理、调查、监督、撰写——审阅与编辑。

**关于生成式AI和AI辅助技术的声明：**
在撰写本文的过程中，作者使用了Elicit：AI研究助手（https://elicit.com）来收集和筛选相关论文，并从中提取见解。使用该工具/服务后，作者对内容进行了必要的审阅和编辑，并对发表文章的内容负全责。

**资金支持：**
本研究得到了美国国家标准与技术研究院（National Institute of Standards and Technology）的财政支持，项目编号为39G6491。