基于Rl优化的知识蒸馏方法，结合小波双流iTransformer–MKAN模型，实现直拉法硅生长过程中晶体质量的可解释软感知

《Journal of Crystal Growth》：Rl-optimized knowledge distillation for interpretable soft sensing of crystal quality in Czochralski silicon growth via Wavelet Dual-Stream iTransformer–MKAN

　　摘要：在直拉法硅单晶生长过程中，由于恶劣的环境条件，直接在线测量晶体质量几乎不可行。因此，准确感知质量指标V/G对于有效监控和控制工艺至关重要。本文提出了一种可解释的软感知框架，该框架基于强化学习优化的知识蒸馏技术，结合小波双流iTransformer与多阶Kolmogorov-Arnold网络架构，以实现高精度的V/G估算。首先，采用一种考虑时间延迟的多变量预处理策略，通过对复合相似性进行变量重排序，来调整不同传感器数据并优化输入结构。接着，利用小波变换将处理后的信号分解为趋势流和细节流，从而获得能够保留变量间依赖关系的多尺度时频表示。在此基础上构建了iTransformer-MKAN“教师”模型，其中KAN层取代传统的前馈网络，以捕捉强耦合条件下的高度非线性动力学行为，并通过交叉注意力融合模块进一步增强其功能。为便于在边缘设备上部署，还训练了一个轻量级的KAN“学生”模型，通过复合蒸馏目标函数传递中间表示、注意力模式以及关联知识。尤为重要的是，强化学习智能体能够自适应地优化蒸馏权重，无需手动调整即可实现高效的知识传递。在工业直拉法硅单晶生长数据上的验证表明，与传统最优方法相比，这种蒸馏式软传感器不仅具有更高的测量精度，而且计算复杂度显著降低。此外，基于SHAP的特征归因方法还能量化各工艺变量的贡献，为工业决策提供必要的可解释性。

引言：硅单晶是现代电子产业的基石，也是集成电路制造的基础材料。在各种生长技术中，直拉法是大规模生产高质量硅材料的主要方法[1][2]。然而，随着晶圆直径的增大以及对质量要求的提高，直拉法硅单晶生长工艺的精确控制面临着越来越复杂的挑战[3][4]。该工艺具有固有的非线性特征、时变动力学特性以及强烈的多物理场耦合效应。此外，直接在线检测手段十分有限，往往无法实现实时质量评估，因此仅依靠经验调参已难以满足高精度生长控制的需求。

在直拉法硅单晶生长过程中，晶体质量受几何特性和内在缺陷共同影响。几何质量以晶圆直径作为衡量指标，而内在缺陷则源于结晶过程中产生的点缺陷[5]。根据V/G准则[6][7]，拉速与轴向温度梯度的比值决定了主导缺陷类型。当这一比值偏离临界值时，会导致空位丰富的空洞或位错团的形成，这两种缺陷都会严重降低器件良率。因此，必须将V/G值维持在接近临界值的状态。然而，轴向温度梯度是一个热力学量，实际上无法在线测量；而仅依靠拉速又因存在热滞后而不够准确。这些限制凸显出开发精准软感知框架以实时预测V/G值的迫切需求[8]。

近年来，工业互联网技术的进步使得高吞吐量数据采集成为可能，推动了直拉法硅单晶生长工艺向数据驱动的智能化方向发展。尽管像晶圆直径这样的几何参数已得到充分研究[9][10]，但由于复杂的物理化学机制，与缺陷相关的指标预测仍缺乏深入探索[11]。鉴于直接测量的困难，数据驱动的软传感器成为一种可行的替代方案[12]。深度学习技术，如堆叠自编码器[13]、长短期记忆网络[14][15]以及Transformer模型[16]，在捕捉非线性工艺动态和长距离依赖关系方面展现出巨大潜力。

不过，将通用深度学习模型应用于直拉法硅单晶生长工艺时存在诸多局限。首先，多尺度动力学过程相互交织，传统模型往往无法区分由热惯性主导的缓慢趋势与熔体不稳定性引发的快速波动，从而导致过拟合或响应不佳[14]。其次，多变量耦合关系建模不足，传统Transformer主要在时间维度上计算注意力，可能掩盖变量间的特定相互作用，例如磁场调制对熔体热场的重塑作用[17]。第三，传统具有固定激活函数的前馈网络难以准确描述非凸型界面动力学过程。虽然Kolmogorov-Arnold网络具有更强的表达能力[18]，但将其集成到工业时间序列建模中尚未得到研究。此外，高性能模型与工业边缘硬件之间的差异也构成了部署障碍[19]。尽管知识蒸馏技术为模型压缩提供了途径[20][21]，但现有的静态策略无法考虑学习过程的阶段差异性。另外，深度学习模型的“黑箱”特性也不利于在安全要求极高的制造环境中应用，因为操作人员需要透明的解释才能做出决策[22][23]。

为解决这些问题，本文提出了一种新型软感知框架，该框架将小波双流iTransformer-MKAN架构与强化学习调控的知识蒸馏相结合。其主要贡献如下：（1）引入最大信息系数驱动策略，用于识别并修正变量间的时间延迟，结合复合相似性重排序方法，可优化输入结构，有效保持局部非线性相关性。（2）采用小波变换将输入信号分解为趋势流和细节流，这种多尺度分解方式有助于精准描述长期工艺漂移和高频瞬态波动。（3）对传统iTransformer架构进行改进，用多阶Kolmogorov-Arnold网络取代传统前馈网络，并通过交叉注意力融合增强其功能，从而使该“教师”模型能够有效模拟复杂的非凸型工艺动力学。（4）提出基于强化学习的优化策略，用于调控从复杂“教师”模型到轻量级KAN“学生”模型的知识传递过程。这种动态调控方式能够在保持预测精度的同时实现高效压缩，同时结合SHAP分析为决策过程提供可解释性。

本文结构如下：第2节简要介绍直拉法硅单晶生长工艺及V/G预测方法；第3节和第4节详细阐述相关研究基础以及基于强化学习优化知识蒸馏的深度学习模型；第5节验证并分析所提方法的有效性；第6节对全文工作进行总结。

直拉法硅单晶生长工艺简介：直拉法硅单晶生长是一个复杂的热力学系统，涉及连续固液相变过程中的热传输和质量传输耦合效应。如图1所示，高纯度多晶硅在惰性氩气氛围下的石英坩埚中被熔化[24]。当温度稳定在约1412℃时，通过旋转的籽晶开始结晶，随后以恒定直径被向上拉出。整个工艺包括四个阶段：籽晶植入、肩部生长、恒径段生长等。

多变量时间延迟识别与对齐：直拉法硅单晶生长数据存在明显的热惯性引起的时间延迟，这会掩盖因果关系，增加控制难度。为实现精确的时间对齐，我们提出了一种基于最大信息系数的多变量时间延迟估计方法。与线性度量方法不同，该方法能够自然捕捉非线性依赖关系，并通过Z分数标准化确保结果的稳健性。假设存在N个具有显著影响的变量，采样间隔为T，共采集了M个样本。

小波变换用于多尺度数据分解：直拉法硅单晶生长过程中的工艺变量具有相互交织的多尺度动力学特性，缓慢的热趋势常常被高频熔体波动所掩盖。传统的傅里叶分析由于无法保持时间定位信息，难以分离这些成分。为此，我们采用离散小波变换将时间序列分解为正交的特征流。该分解过程使用Mallat金字塔算法，以Daubechies 4型母小波作为分解工具，因其具有良好的特性而被选用。

数据集描述与预处理：本研究中的实验数据来自工业现场12英寸硅单晶生长阶段的连续采样序列，采样间隔为2秒。文中选择了部分可测量的工艺变量，如拉速、加热功率、坩埚及晶体旋转速度等，具体见表1。需说明的是，本研究中使用的V/G序列并非在工业直拉法生长过程中直接测量得到的，而是通过重构获得的。

结论：本文针对直拉法硅单晶生长过程中晶体质量指标V/G难以直接观测的问题，提出了一种可靠的软感知框架。该框架的核心架构结合了小波双流iTransformer与多阶Kolmogorov-Arnold网络，通过交叉注意力融合技术，能够从多传感器信号中捕捉多尺度、非线性动力学特征。为满足工业边缘设备的限制，该框架还引入了强化学习优化的知识蒸馏机制，这种动态调控方式能够在保证预测精度的同时实现高效模型压缩，同时结合SHAP分析为决策过程提供可解释性。

作者贡献声明：任俊超负责文章的写作与编辑、原始草稿撰写、方法设计及实验分析；刘丁负责写作与编辑、资源协调及项目管理；黄子星负责可视化处理、结果验证及软件开发；万寅负责形式分析、数据整理及概念构思。

利益冲突声明：作者声明不存在任何可能影响本文研究的已知财务利益或个人关系。

致谢：本研究得到了中国国家自然科学基金项目（编号62303376、62503387）以及中国国家重大科学仪器设备开发专项项目（编号62127809）的支持。

任俊超|刘丁|黄子星|万寅
中国西安工业大学晶体生长设备与系统集成国家地方工程研究中心，西安710048