基于工艺步骤掩码的自监督学习中的注意力散度用于半导体异常检测

《ADVANCED ENGINEERING INFORMATICS》：Attention divergence via process-step masked self-supervised learning for semiconductor anomaly detection

　　• 通过自注意力图之间的注意力散度实现新颖的异常评分。
• 过程步骤级分词，将令牌与物理设备控制单元对齐。
• 双重掩码策略，捕捉传感器内部时间与传感器间结构。
• 分层可解释性，将故障追溯到特定的传感器-步骤关系。
• 在真实半导体生产数据上验证了优越的检测性能。

引言
半导体制造涉及数百个顺序依赖的工艺步骤，单个晶圆的制造从头到尾可能需要数月时间[1]。良率是直接影响盈利能力和生产效率的关键性能指标[2]、[3]。由于每一步都建立在前一步的结果之上，早期阶段发生的异常往往在下游步骤产生大量成本之后才被发现[4]。对每个晶圆进行全面检测因所需时间、成本以及损坏风险而不切实际[5]。因此，工艺异常可能未被发现，传播到后续步骤，最终导致良率损失。因此，在工艺步骤级别检测此类异常仍是半导体制造中的一个根本挑战[6]。

制造工厂通过使用传感器监测设备状况来应对这一问题，传感器测量气体流量、腔室压力、温度和射频功率等变量[7]。统计过程控制（SPC）[8]确定单个传感器值是否超过预定义的控制限。然而，单独监测每个传感器使得难以检测由多个传感器之间相互作用产生的异常[9]。为了克服这一限制，提出了联合分析多变量传感器数据的数据驱动方法。由于在半导体制造中获取标注的异常数据本身很困难[10]，对正常工艺行为建模并识别偏差的无监督方法已成为标准范式[11]、[12]。

在这一范式中，已经研究了广泛的无监督方法。经典机器学习方法[13]、[14]、[15]、[16]对正常工艺数据的分布进行建模，但通常将传感器观测视为独立，无法捕捉时间依赖性。基于LSTM和GRU的模型[17]、[18]、[19]、[20]、[21]学习序列模式，但没有明确建模传感器间关系。基于GNN的方法[22]、[23]、[24]、[25]通过将传感器表示为图节点并通过学习到的边建模其依赖关系来解决这一限制。基于Transformer的方法[26]、[27]使用自注意力来建模令牌间的成对交互。然而，它们要么在点级别操作[26]，要么将时间序列划分为固定大小的片段，而不考虑底层过程结构[27]，这限制了检测能力和可解释性。

除了这些架构限制之外，现有方法共享一种常见的评分策略，引入了进一步的弱点：大多数依赖于重建误差作为异常分数，由于局部信号连续性，即使存在异常，该分数往往保持较低[19]、[26]、[28]。这使得它们对单个传感器值看似正常但预期的传感器间关系被破坏的异常不敏感——这正是实际中反映设备退化的故障特征。

这些方法上的空白因数据本身未开发的特性而更加严重。在半导体制造中，传感器信号不是通用的时间序列。它们被组织成一系列工艺步骤，每个步骤都有不同的物理目标——这是工程师在诊断故障时依赖的结构。如图1所示，腔室压力在不同步骤中的行为定性不同：快速泵送期间快速抽真空，慢速泵送期间逐渐稳定，主要灰化阶段稳态运行，完成后压力释放。因此，相同的传感器值根据步骤的不同可能意味着不同的工艺状态，传感器间关系也相应变化。工程师在诊断过程中利用这一结构知识来识别表现出偏差的步骤和传感器关系[29]。然而，现有方法将传感器序列视为无差别的时间序列，这限制了检测性能和诊断可解释性。

为了解决这些局限性，我们提出了一个自监督异常检测框架。我们的方法受到BERT[30]的启发，其中被掩码的令牌通过自注意力从上下文中重建。然而，将这一思想应用于工艺时间序列提出了一个基本问题：什么应该作为令牌？因此，我们提出基于工艺步骤的分词。每个工艺运行根据其工艺步骤边界进行划分。每个传感器在每个步骤内的信号变成一个令牌——一个与工程师如何推理工艺过程相一致的物理上有意义的单元。基于这种分词，引入了双重掩码策略和阶段学习，以稳定地学习传感器内部和传感器间的依赖关系。

除了模型设计之外，我们提出了一种基于自注意力分布之间散度的新异常分数，从而脱离了传统的重建误差范式。由于每个令牌对应于一个物理上有意义的传感器-步骤单元，所提出的分数被用作工艺步骤级别学习到的传感器间依赖结构偏差的间接证据。因此，分数本身提供了候选诊断证据，指出哪些步骤和传感器关系偏离预期行为。在基于机器学习的决策支持中，这种可解释性越来越受到重视，其中可解释模型优于不透明的预测以进行实际部署[31]。

我们在真实世界的半导体灰化工艺数据集上评估了所提出的框架。所提出的方法实现了0.68的F1分数和0.9469的AUROC，在绝对F1分数上超过了最佳基线0.12，这相当于相对提高了21%。消融研究验证了每个组件的贡献。此外，基于工艺步骤的分词提供了分层可解释性：检测到的异常可以通过查询级注意力分析追溯到特定的工艺步骤和传感器交互，从而为故障诊断提供候选证据。

本文的主要贡献总结如下：
1.基于工艺步骤的分词：我们提出基于工艺步骤的分词，将每个传感器-步骤片段视为一个令牌。通过将令牌边界与工艺步骤对齐，表示遵循工程师推理设备行为的单元，而每个步骤内的传感器间关系从数据中学习，而不是预先指定。
2.多变量传感器数据的稳定掩码学习：我们提出双重掩码策略和阶段学习，以适应掩码语言建模范式到多变量传感器数据，从而实现传感器内部时间模式和传感器间结构关系的稳定学习。
3.基于注意力散度的异常评分：我们提出了一种新的异常分数，通过自注意力分布之间的散度定义，从而脱离了传统的重建误差范式。该分数作为学习到的传感器间依赖结构偏差的间接度量，并能提供步骤级别的诊断证据。
4.在真实世界数据上的实证验证：我们在真实世界的半导体灰化数据集上评估了该框架，并实现了最先进的检测性能。消融研究进一步确认了每个提出组件的贡献。

本文的其余部分组织如下：第2节回顾了时间序列异常检测和掩码语言建模的相关工作。第3节介绍了问题表述和与Transformer及自注意力机制相关的基础概念。第4节详细描述了所提出的框架，包括基于工艺步骤的分词、双重掩码策略、阶段学习和基于注意力散度的异常评分。第5节介绍了实验设置，第6节报告了主要结果、消融研究和可解释性分析。第8节总结全文并讨论未来的研究方向。

章节片段
时间序列异常检测
工艺异常检测的早期方法依赖于统计过程控制（SPC），它监测单个传感器值是否超过预定义的控制限[8]、[32]、[33]。SPC在稳态运行期间有效，但本质上限于稳定信号区域的单变量监测，这使得在瞬态阶段或同时检测涉及多个传感器的异常变得困难。
引入了统计机器学习方法来建模

工艺步骤作为操作控制单元
在半导体制造中，单个工艺运行被划分为一系列工艺步骤，每个步骤对应于设备组件执行的特定物理动作，并具有自己的控制目标。传感器间交互的结构在不同步骤中定性变化。例如，在泵送步骤中，APC阀和腔室压力紧密耦合，因为压力被推向目标，而在等离子体步骤中，两者都保持在稳定状态。

方法
图3展示了所提出框架的概述。在训练期间，多变量工艺时间序列被转换为传感器-步骤令牌，编码器使用双重掩码策略和阶段学习进行训练。在推理期间，编码器产生的自注意力分布通过KL散度与基线注意力图进行比较，这使得使用单次编码器前向传递进行异常检测成为可能，无需掩码。

实验设备
本研究中使用的数据集来自半导体制造工厂的灰化设备。灰化是一种使用等离子体从晶圆表面去除光刻胶的干法工艺。图4展示了设备的简化示意图，重点放在本研究中使用的传感器上。设备包括微波发生器、匹配器、工艺腔室和气体箱。
工艺气体在气体箱中混合并供应到腔室，而由微波发生器产生的功率

主要结果
表2总结了所有比较模型的性能。在半导体制造中，精确率和召回率都至关重要：漏检可能导致有缺陷的产品通过生产流程，而过多的误报可能导致昂贵的设备停机。因此，我们使用F1分数作为主要性能指标。AUROC还提供了阈值无关的度量，以衡量模型区分正常和异常晶圆的能力。
所提出的模型实现了

对输入扰动的鲁棒性
我们检查了模型对正常生产期间可能出现的扰动的鲁棒性，包括传感器噪声、缺失测量和逐渐漂移。每个扰动仅应用于190个正常测试晶圆，而28个泄漏晶圆保持不变。训练好的模型和阈值保持固定，重新计算FPR和AUROC。每个扰动以几种强度应用于所有12个传感器：每个传感器和时间点的高斯噪声（σ∈{0.02,0.05,0.1,0.2}），

结论
我们提出了一个用于半导体制造的自监督异常检测框架，具有三个主要贡献。
首先，我们提出注意力散度作为异常评分指标，改变了多变量工艺数据中异常识别的方式。当模型从局部上下文插值时，重建误差可能保持较低，即使单个传感器值看似正常但预期关系被破坏。自注意力分布之间的KL散度量化了

CRediT作者贡献声明
Yeonmo Kim：写作——初稿，验证，软件，方法，调查，数据管理，概念化。Sangyeop Kim：写作——审阅与编辑，监督，资源，项目管理，方法，资金获取。

利益冲突声明
作者声明以下可能被视为潜在利益冲突的财务/个人关系：Sangyeop Kim报告了由梨花女子大学2026年研究基金提供的财务支持。Yeonmo Kim报告了由RTM提供的财务支持，且数据集由PSK提供。

致谢
本工作得到了梨花女子大学2026年研究基金以及RTM和PSK的支持。
Yeonmo Kim|Sangyeop Kim