面向晶圆缺陷检测的高效鲁棒SEM图像去噪方法研究

《Microscopy and Microanalysis》：Efficient and Robust SEM Image Denoising for Wafer Defect Inspection

本研究针对扫描电子显微镜(SEM)图像中噪声干扰晶圆缺陷检测的难题，提出了一种结合松弛噪声到噪声(RN2N)框架与输入丢弃(Input Dropout)技术的ReNIn方法。该方法通过使用中等噪声水平的F08图像作为训练目标，在保证去噪性能接近监督学习方法(PSNR差距<0.5 dB)的同时，将数据采集成本降低8倍。输入丢弃机制有效提升了模型对未见过图像结构(如不规则圆形)的泛化能力，将圆形检测失败率从N2N的66.67%显著降低至1.08。该技术为半导体制造过程中的高效精准缺陷检测提供了实用解决方案。

　　

在半导体制造业中，扫描电子显微镜(SEM)如同高精度的“工业显微镜”，承担着检测晶圆表面缺陷的关键任务。然而，SEM图像在采集过程中会不可避免地引入噪声，这些噪声如同蒙在镜片上的雾气，严重干扰对微小缺陷的识别。传统解决方案是通过多次拍摄同一区域并取平均值来降噪，但这种方法不仅耗时耗力，还可能对样品造成损伤。随着人工智能技术的发展，基于深度学习的去噪方法为这一问题带来了新思路，但它们也面临着两大挑战：一方面，监督学习方法需要大量“干净-噪声”图像对进行训练，而获取高质量的干净SEM图像成本极高；另一方面，自监督方法虽然降低了数据需求，但在处理实际工业场景中结构复杂的SEM图像时，泛化能力往往不足。

针对这些难题，首尔国立大学Hyunwoong Bae等人在《Microscopy and Microanalysis》上发表的研究，提出了一种名为“带输入丢弃的松弛噪声到噪声(ReNIn)”的创新方法。该方法巧妙地在去噪性能与数据采集成本之间找到了平衡点，同时显著提升了模型对未知图像结构的适应能力。

研究人员采用了几项关键技术：首先构建了包含八种不同场景的半导体SEM图像数据集，图像分辨率达3072×2048像素，并通过帧平均获得不同噪声水平的图像(F01、F08、F32、F64)；其次提出了松弛噪声到噪声(RN2N)框架，使用中等噪声水平的F08图像作为训练目标，替代传统N2N中使用的单一噪声图像；最后引入了输入丢弃机制，在训练过程中随机屏蔽输入图像的像素，强制模型学习更鲁棒的特征表示。

松弛噪声到噪声框架的有效性

通过系统比较不同去噪方法的性能，研究发现ReNIn在PSNR(峰值信噪比)和SSIM(结构相似性指数)指标上均表现出色。与需要64帧图像平均的监督学习方法相比，ReNIn仅需8帧图像即可达到相近的去噪性能(PSNR差距小于0.5 dB)，数据采集成本降低8倍。如图1所示，ReNIn在性能-成本权衡曲线上位于理想位置，既远离了高成本高性能的监督学习极端，也避开了低成本低性能的N2N极端。

输入丢弃对泛化能力的提升

研究团队观察到，传统N2N方法在处理与训练图像结构差异较大的测试图像时表现不佳，特别是对不规则圆形边缘的保持能力较弱。如图2所示，当训练图像为规则圆形而测试图像为不规则凹凸圆形时，N2N的去噪效果明显下降。输入丢弃技术的引入有效解决了这一泛化问题，通过在训练阶段随机丢弃输入像素，模型被迫学习更全面的特征表示，从而在面对未知结构图像时也能保持稳定的去噪性能。

过拟合问题的解决

训练过程中的损失曲线清晰展示了输入丢弃对过拟合的抑制作用。如图4所示，传统N2N方法在训练后期出现训练损失下降而测试损失上升的典型过拟合现象，而ReNIn通过输入丢弃有效缓解了这一问题，使模型在训练和测试数据上表现一致。

圆形检测失败率的显著改善

从实际应用角度，研究评估了去噪后图像在圆形检测任务中的表现。圆形检测是半导体缺陷分析中的关键预处理步骤，其失败率直接影响到后续分析的准确性。如表3所示，ReNIn将圆形检测失败率从N2N的66.67%大幅降低至1.08%，证明其在保持图像结构完整性方面的卓越能力。图8直观展示了ReNIn在规则和不规则圆形图像上的一致良好表现。

噪声相关性分析

研究还深入分析了SEM图像中的噪声特性，发现其存在空间相关性，这与自监督去噪方法中假设的像素间噪声独立性相悖。如图11所示，通过计算噪声像素间的皮尔逊相关系数，证实了相邻像素间存在显著相关性，这解释了为何Noise2Void和FBI-denoiser等自监督方法在SEM图像去噪中表现不佳。

ReNIn方法通过松弛噪声到噪声框架和输入丢弃技术的有机结合，成功解决了SEM图像去噪中的效率与泛化难题。该方法不仅显著降低了数据采集成本，还提升了对未知图像结构的适应能力，为半导体制造业的高效精准缺陷检测提供了可靠技术支持。未来，这一方法有望扩展到其他显微成像领域，推动工业质检技术的进一步发展。