基于视觉语言预训练的跨模态双提示区域对齐用于半导体制造中的晶圆缺陷识别

《ADVANCED ENGINEERING INFORMATICS》：Cross-modal dual-prompt region alignment for wafer defect recognition based on vision-language pre-training in semiconductor manufacturing

　　摘要
为了提高半导体制造过程的可靠性和可持续性，识别晶圆图中的缺陷类型具有重要意义。目前，许多深度学习方法在晶圆图缺陷识别（WMDR）方面取得了显著成果。然而，这些方法仅从晶圆图的单一模态中提取特征，忽视了其他模态所提供的有价值优势，从而限制了其识别性能。近年来，视觉-语言预训练（VLP）模型发展出了强大的视觉-语言表示能力。基于此，本文提出了一种用于WMDR的跨模态双提示区域对齐（CM-DPRA）框架。引入VLP模型分别提取视觉表示和提示特征，从而进行跨模态对齐学习。此外，提出了一种正负双提示驱动的对齐裕度学习方法，通过构建互斥的对齐关系，形成更具判别力的类别决策边界。同时，提出了一种区域级对齐与裕度聚合方法，选择性地增强与提示高度相关区域的响应注意力，同时抑制弱相关区域的干扰。另外，引入了一种基于人机协作的视觉属性引导的类特定提示构建方法，建立了人在环的交互循环，利用人工智能为晶圆图中每种缺陷类型构建对应的类特定提示。在来自真实半导体制造厂的基准数据集上的大量实验结果验证了所提方法的优越性和有效性。

引言
目前，随着人工智能（AI）的快速发展，半导体产品的需求呈指数级增长，其制造规模也显著扩大[1], [2]。半导体制造主要分为晶圆制造工艺、探针测试和后端制造工艺[3], [4]。探针测试执行晶圆缺陷检测，这对提高半导体制造过程的可靠性和可持续性，以及优化制造资源分配至关重要[5], [6]。在晶圆制造中经过多次重复制造工艺（包括氧化、光刻和刻蚀等）后，晶圆上形成整齐排列的芯片阵列。探针测试使用探针卡测试晶圆上每个芯片的电气特性，每个芯片的测试结果记录在晶圆上相应位置，形成晶圆图[7], [8]。最后，在后端工艺中通过切割、封装和最终测试获得集成电路芯片。整体流程如图1所示。固定的制造问题可能导致探针测试失败的芯片形成规则的空间分布，产生晶圆图缺陷。此外，多个制造问题可能导致晶圆图上出现混合类型缺陷。因此，晶圆图缺陷识别（WMDR）有助于定位制造问题并减少制造资源消耗[9]。得益于计算机视觉的快速发展，深度学习方法在WMDR中取得了显著成果[10]。各种卷积神经网络（CNN），如可变形卷积[11]、多面动态卷积[12]和幽灵卷积[13]，被用于更自适应地捕捉各种缺陷的形状。注意力模块和框架，包括压缩-激励模块[14]、卷积块注意力模块（CBAM）[15]以及各种Transformer[16], [17], [18], [19]，被用于更有效地关注关键缺陷区域。此外，还提出了各种多尺度[7]、多分支[13]和多阶段[20]框架，以及数据预处理方法[21], [22]，以更精确地分离和提取缺陷特征。然而，现有研究仍存在一定局限性。从任务角度看，当前大多数方法未统一分析和解决WMDR的关键挑战（如图2所示）：（1）特征弱化。由少量故障芯片形成的缺陷特征或分布分散的缺陷特征相对较弱。（2）重叠遮挡。在包含混合缺陷的晶圆图中，缺陷常出现重叠，导致小尺寸缺陷特征被较大缺陷遮挡。（3）类间相似性。某些不同类型的缺陷具有相似形状。（4）类内变异性。同一缺陷类型内，缺陷表现出相当大的多样性。从方法论角度看，现有方法仅从晶圆图的单一模态提取特征，忽视了其他模态提供的有价值优势。因此，对于某些甚至难以用肉眼识别的晶圆图缺陷，仅图像识别方法不可避免地面临性能限制。与数值标签相比，文本可以在另一个模态空间中提供不同的特征分布。近年来，视觉-语言预训练（VLP）模型通过在大规模图像-文本对数据集上的对比学习，发展出了非常强大的能力，能够准确地将文本概念与视觉特征对齐[23]。换句话说，VLP模型已经学习了丰富的以语言表示的通用视觉概念，并已被迁移到各种下游任务，如面部表情识别[24]、工业异常检测[25]和遥感图像分割[26]。然而，将VLP模型应用于WMDR仍面临以下挑战：（1）VLP模型通常是在网络抓取的自然图像-文本数据集上预训练的，其中文本通常提供图像的通用描述。因此，VLP模型通常从全局视角提取视觉表示。这种方法侧重于捕捉图像的整体语义信息，但可能忽略缺陷的判别性局部区域，从而限制了其在WMDR中的有效性。（2）VLP模型擅长为具有清晰边界和稳定形状的自然物体提供通用且常见的文本表示。然而，晶圆图是可视化探针测试结果的非自然图像。其缺陷类型缺乏通用定义，且常具有不清晰边界甚至不稳定形状。因此，WMDR无法像其他下游任务那样直接利用VLP模型的视觉-语言表示能力，导致显著领域差距。为了解决上述挑战，我们提出了一种基于VLP模型的跨模态双提示区域级对齐（CM-DPRA）框架用于WMDR。具体而言，首先引入VLP模型，其图像编码器提取更详细的区域级视觉表示，文本编码器生成提示文本特征，从而实现跨模态对齐学习。此外，提出了一种正负双提示驱动的对齐裕度学习方法。通过构建正提示和负提示分别描述缺陷证据的存在与缺失，并利用它们之间的对齐差异，建立更具判别力的相似性裕度。同时，提出了一种区域级对齐与裕度聚合方法，通过top-k平均聚合，选择性地增强与提示高度相关区域的响应注意力，同时抑制弱相关区域的干扰。另外，引入了一种基于人机协作的视觉属性引导的类特定提示构建方法。建立了人在环的交互循环，利用人工智能为晶圆图中每种缺陷类型构建对应的类特定提示。主要贡献如下：（1）提出了一种基于VLP模型的CM-DPRA框架用于WMDR，探索了双提示区域级对齐，并贡献了正负裕度学习和top-k裕度聚合。（2）提出了一种正负双提示驱动的对齐裕度学习方法，计算逐类型、逐区域的相似性裕度，以形成互斥证据和更具判别力的类别边界。（3）提出了一种区域级对齐和top-k平均裕度聚合方法，从区域特征角度增强表示缺陷空间分布的能力。（4）在来自真实半导体制造厂的两个基准数据集上的大量实验结果验证了所提方法的优越性和有效性。本文其余部分组织如下：第2节回顾了现有WMDR方法、VLP模型及其迁移应用的相关工作；第3节详细描述了所提方法；第4节介绍了实验设置、实现细节、实验结果及分析；第5节提供讨论；第6节给出结论和未来研究方向。

章节片段
WMDR方法
近年来，许多学者主要通过改进CNN或基于注意力的模型，并提出了其他模型无关的方法来进行WMDR。基于CNN的方法：CNN凭借其局部连接性和平移不变卷积核设计，具有强大的图像特征提取能力，并早期被引入WMDR。Wang等人使用可变形卷积构建CNN，更自适应地捕捉缺陷形状，分类了38种缺陷类型（包括29种...）

所提方法
为了有效将VLP模型迁移到WMDR，本文提出了CM-DPRA框架。本节首先介绍预备知识，然后详细描述CM-DPRA。

实验验证
本节验证所提方法的优越性和有效性。首先介绍实验设置，包括两个数据集和评估指标。然后通过与其他方法的对比实验证明所提方法的优越性，并通过消融实验证明所提方法的有效性。最后进行模型复杂度的定量分析，并展示可视化工作。

提示构建考虑因素
未测量构建提示时的实践者间一致性，因为手动细化可能由多个实践者执行。尽管提供了明确的细化标准，但其应用涉及定性判断。未来工作应评估独立实践者之间的一致性。可学习提示方法相对客观但效果有限。当前提示构建方法仍有些主观，且对齐过程可能会削弱...

结论
本文提出了一种基于VLP模型的跨模态双提示区域级对齐框架用于WMDR。提出了一种正负双提示驱动的对齐裕度学习方法，通过构建互斥对齐关系形成更具判别力的类别决策边界。提出了一种区域级对齐和裕度聚合方法，从区域特征角度增强表示缺陷空间分布的能力...

CRediT作者贡献声明
Shulong Gu：写作——原稿、可视化、验证、方法论。Zihao Lei：写作——审阅与编辑、可视化、验证。Guangrui Wen：验证、监督、资源。Rui Feng：验证、资源。Jing Huang：可视化、验证、软件。Youwei Huang：验证、软件、资源。Long Zhang：验证、软件、资源。Xuefeng Chen：监督、资源。

利益冲突声明
作者声明，他们没有任何已知的竞争性财务利益或个人关系，可能影响本文报告的工作。

致谢
本工作得到了国家重点研发计划（No. 2023YFB3207902）的资助。

Shulong Gu | Zihao Lei | Guangrui Wen | Rui Feng | Jing Huang | Youwei Huang | Long Zhang | Xuefeng Chen