SFMambaSR: 用于晶圆图像超分辨率的空频增强 Mamba 网络

《Neural Networks》：SFMambaSR: A Spatial-Frequency Enhanced Mamba Network for Wafer Image Super-Resolution

　　

摘要晶圆缺陷检测对良率和可靠性至关重要，但缩小的缺陷尺寸要求更高的成像分辨率。虽然高倍光学镜头能提供分辨率，但其狭窄的视场限制了检测效率。为了平衡精度和吞吐量，我们提出了一种解决方案，通过超分辨率算法从大视场低倍捕获中重建高分辨率晶圆图像。该方法可以在不影响准确性的情况下提高检测效率。我们设计了一种专门针对晶圆显微图像的双域融合轻量级 SR 网络 (SFMambaSR)。在空域中，视觉状态空间模型 (VSSM) 和多尺度特征提取 (MSFE) 模块共同融合全局和局部表示，而在频域中，基于小波的频域变换 (FDT) 模块增强了高频缺陷细节。在我们大规模晶圆显微数据集上的实验表明，SFMambaSR 在 2×、3× 和 4× 放大因子下实现了最佳的 PSNR 以及具有竞争力或最佳的 SSIM，同时仅使用了 807K 参数。

引言随着自动驾驶、智能设备、数据中心和消费电子等行业的快速增长，对半导体芯片的需求急剧增加。作为芯片制造的核心材料，晶圆质量直接影响良率和生产成本。在关键制造步骤（如光刻、蚀刻、扩散和抛光）中，缺陷检测对于提高良率、降低成本和优化工艺至关重要。随着先进工艺节点推高制造成本，这使得高效、高精度的检测变得尤为重要。

存在各种检测技术，每种都有其局限性。接触式方法速度慢且存在损坏晶圆的风险。扫描电子显微镜 (Nakamae, 2021) 提供高分辨率，但速度低、成本高且操作要求严格，限制了可扩展性。暗场显微镜 (Gao 等人，2021) 对裸晶圆敏感，但由于背景散射，在有图形晶圆上容易出现误检或漏检。相比之下，明场显微镜 (McMackin 等人，2008) 通过反射光强度变化检测缺陷，具有低成本、技术成熟和快速大面积扫描的特点。它对划痕和颗粒等反射缺陷高度敏感，使其成为最广泛采用的工业解决方案。然而，随着器件特征缩小到 10 nm 以下，明场显微镜面临越来越多的挑战。光学衍射极限 (Zhu 等人，2022) 阻碍了亚波长缺陷的检测，导致误分类或漏检。此外，实现足够的分辨率需要高倍镜头，这会减小视场、延长扫描时间、降低吞吐量并增加制造成本。

为了解决这些挑战，图像超分辨率技术 (Lepcha 等人，2023) 提供了一种有前景的解决方案。通过应用超分辨率重建算法到低倍图像，可以生成质量堪比使用高倍物镜获得的高分辨率图像，同时保持大视场。这种方法不仅缩短了全晶圆检测的扫描时间，还提高了缺陷检测效率并降低了检测成本。此外，超分辨率方法表现出强大的通用性和适应性：它们可以无缝集成到现有检测系统中，无需复杂的硬件修改，并且适用于各种成像条件和缺陷类型。

近年来，超分辨率技术已在工业检测之外的各种先进成像应用中得到广泛探索。例如，在遥感领域，SR 已被用于提高卫星和航空图像的分辨率，用于土地覆盖分析、目标监测和细粒度场景解释，其中从有限分辨率观测中恢复空间细节具有重要的实际意义。最近的研究，如 EDiffSR (Xiao 等人，2023) 和 MPT (Hu 等人，2026)，进一步证明了先进的 SR 模型在遥感图像重建中的有效性。在医学影像领域，几种基于 AI 的图像处理技术，包括 SR，也被应用于如 MRI、CT、PET 和 OCT 等成像方式，以改善解剖细节的表示，同时减轻数据采集成本和扫描时间的限制 (Du, Yang, He, Wu, Qi, Zhang, 2025, Forigua, Escobar, Arbelaez, 2022, Huang, Liu, Tan, Hu, Wei, Chen, Sheng, 2023)。此外，SR 在视频和动画修复方面也显示出巨大潜力 (Chan, Wang, Yu, Dong, Loy, 2021, Wu, Wang, Li, Shan, 2022)，用于增强视觉质量、恢复精细纹理并提高低分辨率内容的时间一致性。这些成功的应用表明，SR 已逐渐演变成一种通用的高分辨率重建技术。然而，与上述场景相比，晶圆显微图像通常表现出更规则的重复结构、对局部缺陷更敏感，以及对重建保真度更严格的要求，这促使开发专门用于晶圆检测任务的 SR 框架。

与传统方法 (Elad, Feuer, 1997, Farsiu, Robinson, Elad, Milanfar, 2004, Thévenaz, Blu, Unser, 2002, Yang, Wright, Huang, Ma, 2010) 相比，基于深度学习的方法凭借其端到端训练能力、强大的非线性建模能力和自适应特征提取机制，在超分辨率重建中展现了显著优势。近年来，深度学习技术在恢复精细细节和保持结构保真度方面取得了突破性进展，从而为高效、准确的晶圆缺陷检测提供了有力支持。卷积神经网络 (CNNs) 作为基于深度学习的 SR 方法的早期代表，被广泛应用 (Dong, Loy, He, Tang, 2014, Dong, Loy, Tang, 2016, Han, Zhou, Xie, Zheng, Zhang, 2022, Kim, Lee, Lee, 2016, Lim, Son, Kim, Nah, Mu Lee, 2017, Shi, Caballero, Huszár, Totz, Aitken, Bishop, Rueckert, Wang, 2016)，但本质上受限于其有限的感受野，使其无法有效建模长程依赖。这种局限性对于包含大量分布在大区域中的重复结构的晶圆图像尤为关键，其中捕获结构相似性对于准确恢复细节至关重要。视觉 Transformer (ViTs) (Dosovitskiy 等人，2020) 通过全局自注意力机制扩展了感受野，并部分缓解了这一问题。然而，它们的计算复杂度随输入分辨率呈二次方增长，使其在高分辨率显微图像超分辨率方面效率低下。同时，生成对抗网络 (GANs) (Ledig, Theis, Huszár, Caballero, Cunningham, Acosta, Aitken, Tejani, Totz, Wang, et al., 2017, Wang, Yu, Wu, Gu, Liu, Dong, Qiao, Change Loy, 2018) 和扩散模型 (Gan, Li, Zhang, Fu, 2025, Saharia, Ho, Chan, Salimans, Fleet, Norouzi, 2022, Wang, Yang, Chen, Wang, Guo, Chau, Liu, Qiao, Kot, Wen, 2024, Xiang, Huang, Yin, Wang, Yu, 2025) 在自然图像 SR 中展示了令人印象深刻的性能，但它们的优化目标严重偏向感知质量，通常以牺牲纹理保真度为代价优先考虑视觉上令人愉悦的结果。因此，这些方法不太适合晶圆显微图像的超分辨率重建。

最近，Mamba (Gu 和 Dao, 2023)，一种新型状态空间模型 (SSM)，引起了自然语言处理社区的广泛关注，并逐渐演变成一种高效的骨干架构。Mamba 不仅有效地建模长程依赖，还显著降低了计算复杂度，同时充分利用了 GPU 并行性。这些特性使其在高分辨率显微图像超分辨率 (SR) 重建中极具前景。然而，原始的 Mamba 是为一维序列设计的，将其直接应用于二维非因果图像结构存在相当大的挑战。一个关键问题在于如何将二维图像有效地映射为一维序列。传统的线性扫描通常将空间上相邻的像素放在序列中较远的位置，从而破坏局部连续性。为了缓解这个问题，vMamba (Liu 等人，2024) 引入了四方向扫描策略，LocalMamba (Huang 等人，2024) 采用了分块扫描。虽然这些方法部分缓解了空间信息丢失，但它们仍然继承了线性扫描的局限性，并面临固有的性能瓶颈。MambaIR (Guo 等人，2024) 将 Mamba 扩展到超分辨率等图像修复任务，实现了性能提升，但它仍然受限于 vMamba 的四方向扫描，局部结构建模能力有限，且对频域信息的利用不足，而频域信息对于显微图像中的全局特征建模至关重要。

然而，对频域信息的有限利用仍然是基于 Mamba 的图像修复模型面临的重要挑战。频率表示对于捕获图像中的全局结构模式和长程相关性特别有价值。受此观察的启发，最近的研究开始将频域建模纳入基于 Mamba 的超分辨率框架。例如，FMSR (Xiao 等人，2024a) 通过引入基于 FFT 的频率选择模块 (FSM) 和混合门控模块 (HGM) 来增强基于 Mamba 的长程建模，并报告了在遥感图像超分辨率任务上的有前景的性能。这些研究表明，整合频域信息可以显著有益于基于 Mamba 的 SR 模型。尽管如此，晶圆显微 SR 在图像特征和重建目标上与遥感 SR 有着实质性差异。晶圆图像通常表现出高度重复的结构模式，以及极其细微的局部缺陷线索。这些特性要求模型能够同时捕获全局结构规律并保持细粒度的局部细节。因此，需要针对显微晶圆图像量身定制的更多结构感知空间建模和频域表示。

为了解解决上述挑战，本文提出了 SFMambaSR，一种专门针对晶圆显微图像超分辨率 (SR) 的新方法。SFMambaSR 包含两个核心模块：空域调制变换模块 (SDT) 和频域调制变换模块 (FDT)。SDT 集成了基于 Mamba 架构构建的视觉状态空间模块 (VSSM)，用于建模长程空间依赖，以及多尺度特征提取 (MSFE) 模块，以实现分层局部特征学习。FDT 利用小波变换捕获全局频率信息，并进一步在小波域中纳入 Mamba 机制，以建模频段间关系以及频域与空域之间的耦合。此外，受分形曲线 (Gotsman 和 Lindenbaum, 1996) 的启发，我们通过融合希尔伯特曲线与线性扫描来增强 Mamba 的扫描机制，有效地平衡了 2D 局部空间结构的保持与低计算复杂度。这种设计使 SFMambaSR 能够高效融合空间信息和频率信息，以及全局语义和局部结构细节。实验结果表明，SFMambaSR 在晶圆显微图像数据集上优于现有的最先进超分辨率方法，实现了最高的 PSNR 和 SSIM 得分。如图 1 所示，对模型复杂度与重建性能之间权衡的视觉分析表明，SFMambaSR 取得了良好的平衡——尽管其架构相对紧凑，但它始终保持卓越的重建精度，展示了优秀的参数效率和经过良好优化的结构设计。

本工作的主要贡献如下：
•我们提出了一种新颖的网络 SFMambaSR，专门针对明场图形晶圆图像设计。它实现了图像分辨率的显著提升，为高精度晶圆缺陷检测提供了可靠的图像基础。
•我们设计了一种创新的扫描策略，将基于希尔伯特曲线的非线性索引与线性扫描融合，有效地保持了局部空间连续性并提高了计算效率。
•我们将 Mamba 模块引入空间和频率域，实现了高效的长程依赖建模以及全局结构与局部细节的无缝集成。大量实验表明，SFMambaSR 在多个基准测试中优于最先进的方法，为显微图像超分辨率提供了高效且实用的解决方案。

片段超分辨率
图像超分辨率 (SR) 旨在从其低倍对应物重建高分辨率图像。传统方法，包括插值 (Thévenaz 等人，2002)、基于重建的算法 (Elad, Feuer, 1997, Farsiu, Robinson, Elad, Milanfar, 2004) 和字典学习 (Yang, Wright, Huang, Ma, 2010, Ying, Shi, et al., 2025)，主要依赖手工设计的先验或线性假设。因此，它们通常难以捕获复杂结构和精细细节。

预备知识
状态空间模型 (SSM) 是一个用于描述动态系统演化的数学框架。SSM 源于经典控制理论，旨在通过状态转换来建模连续时间动态系统。具体来说，对于一维输入序列 ???(??)∈?，相应的隐藏状态 ??(??)∈??? 和输出序列 ???(??)∈? 可以表述如下：
?′?(??)=?????(??)+??????(??),???(??)=?????(??)
其中 h′(t) 表示隐藏状态对时间的导数，??∈

方法
在本节中，我们首先介绍所提出的 SFMambaSR 模型的整体框架，然后详细解释其核心模块。具体来说，SFMambaSR 的基本单元是空间 - 频率块 (SFB)，由空间域变换模块 (SDT) 和频域变换模块 (FDT) 组成。这种设计使得能够提取空间和频率特征，同时采用高效的 Mamba 架构来捕获长程

数据集与实现细节
我们使用通过明场照明成像系统获取的 12 英寸图形晶圆图像构建了一个实验数据集。该系统主要由光源、相机、物镜和微机组成。

具体而言，光源为波长 266 nm、功率 100 mW 的单波段深紫外激光；相机像素尺寸为 11 μm，分辨率为 2048?×?2048 像素，曝光时间为 30 ms；物镜为高倍率
结论 在本工作中，我们提出了一种空间 - 频率增强 Mamba 网络（SFMambaSR），专门用于晶圆显微图像的超分辨率任务。该方法通过构建结合空间域变换模块（SDT）和频域变换模块（FDT）的双域调制框架，实现了全局上下文建模与局部细节重建的协同集成。此外，提出的希尔伯特 - 线性混合扫描机制
资助 本工作得到了 HIAS 创新项目（编号 2023HIAS-V001）的支持。
CRediT 作者贡献声明 Jinchang Xu：概念构思、方法论、软件、形式分析、调查、可视化、撰写——初稿。Xiangji Guo：方法论、调查、监督、可视化、撰写——审查与编辑。Guifan Zhang：验证。Fei Xie：数据整理。Ming Ming：概念构思、资源、项目管理、资金获取、监督。
利益冲突声明 我们声明，与所提交的工作相关联，我们没有任何代表利益冲突的商业或关联利益。
Jinchang Xu|Xiangji Guo|Guifan Zhang|Fei Xie|Ming Ming