基于物理原理的自监督重建技术，用于结构光显微成像

《Optics and Lasers in Engineering》：Physics-guided self-supervised reconstruction for structured illumination microscopy

　　

吴俊莉|严秋蓉|尹俊元|黄思颖|张浩然|文志强|罗晓龙

南昌大学信息工程学院，中国南昌，330031

摘要

结构化照明显微镜（SIM）能够实现宽场超分辨率成像，但实际重建仍易受到模式不匹配、剂量限制噪声以及样品依赖性像差的影响，这些因素会扭曲光传递函数（OTF）截止频附近的边带信号。我们提出了PG-SIM，这是一种基于物理模型的自监督框架，它在训练过程中嵌入了一个可微分的SIM正向模型——包括结构化图案调制、使用Zernike参数化的光圈、点扩散函数（PSF）和OTF链，以及Poisson-Gaussian相机模型。训练过程结合了来自Poisson-Gaussian相机模型的测量域数据保真度项和频率域一致性项，后者可以抑制带外泄漏并稳定OTF截止频附近的边带对称性。正向运算器使用的照明和相机参数通过一次性校准来确定，而辅助照明代理仅作为与校准一致的潜变量进行正则化，不会被写回正向模型中。分别针对3帧、6帧和9帧采集协议训练了专门的PG-SIM模型。在BioSR模拟中，PG-SIM-6将宽场成像的傅里叶环相关系数（FRC）分辨率从199.8纳米提升到了128.6纳米。在基于数字微镜（DMD）的SIM平台上，它生成的重建结果更清晰，线形轮廓指标（如半高全宽FWHM和峰谷比PVR）也优于传统的和基于学习的基线方法，尤其是在固定细胞和半导体幻影数据上。在另一个3×3的合成基准测试中，PG-SIM-9在相同的原始输入条件下也优于自适应相位校正SIM（APC-SIM）、稀疏反卷积SIM（Sparse-Deconv-SIM）和最新的自监督基线PRS-SIM。

引言

光学显微镜传统上受到阿贝衍射极限的限制，其分辨率大约是激发波长的一半[1]，[2]。尽管STED和单分子定位方法（如PALM/STORM）可以实现几十纳米的分辨率，但它们对高激光功率或数千帧图像的依赖严重限制了其在活细胞成像中的应用[3]，[4]。相比之下，结构化照明显微镜（SIM）提供了良好的平衡——低光照强度、快速采集和易于集成——使其成为最通用的超分辨率工具之一[5]，[6]，[7]，[8]。特别是，线性2D SIM通过空间调制照明将高频内容移出光传递函数（OTF）的检测范围，从而有效提高了理论分辨率，并在重建在校准误差范围内仍保持稳定的情况下，实现了实际的光学检测和微纳制造测量[9]，[10]。

传统的SIM重建方法——采用频率域拼接或规则化迭代算法——需要较高的信噪比（SNR）和精确的条纹调制参数[11]。早期的方法（如广义Wiener-SIM）通过组合光谱成分来抑制噪声[12]；后来的方法，包括最大后验SIM（MAP-SIM）[13]、Hessian-SIM[14]和Sparse-Deconv-SIM[15]，引入了空间先验以减轻散焦和噪声伪影。然而，在低光照条件下或存在系统像差的情况下，条纹调制和高频特征仍然容易受到噪声和波前畸变的影响，导致残余条纹、信息丢失和有效分辨率的降低[16]，[17]，[18]。

基于深度学习的监督重建方法（例如，rDL-SIM[19]、深度傅里叶通道注意力网络（DFCAN）[20]、残差通道注意力网络（RCAN）[21]和对比度鲁棒SIM（CR-SIM）[23]）通过端到端映射显著提升了SIM的重建质量。然而，这些模型严重依赖于大量高质量的真实数据，并且对分布差异敏感；训练集和测试集之间的不匹配可能导致人为结构或过度平滑，从而影响泛化能力[24]，[25]，[26]。

为了解决监督方法的局限性，出现了基于物理建模的自监督方法。DIP-SIM[27]利用深度图像先验来校正光谱而无需训练数据；PRS-SIM[28]仅使用含噪声的输入通过像素重排来去噪SIM图像；DRE-SIM[29]在自监督框架内使用物理约束网络进一步扩展空间分辨率。虽然在低剂量条件下有效，但这些方法主要侧重于空间噪声去除，缺乏明确的频率域约束或像差补偿，限制了它们同时保持分辨率和图像保真度的能力[30]，[31]。

为了解决这些挑战，我们提出了PG-SIM，这是一个基于物理模型的自监督重建框架，通过三个关键贡献改进了结构化照明显微镜（SIM）：

• 1.
  一个双域目标，它结合了来自Poisson-Gaussian相机模型的测量域数据保真度项和频率域一致性项，从而在保持边带对称性和高频保真度的同时抑制OTF截止频附近的带外泄漏。
• 2.
  考虑校准和像差的物理建模：将Zernike参数化的光圈/PSF/OTF链与一次性校准结合使用，该校准在校准过程中固定了正向运算器中的照明/相机参数，同时通过盒约束对辅助预测代理（调制深度和标准化空间频率）进行正则化，从而在仪器变化时稳定自监督过程，而无需在优化过程中更新正向运算器。
• 3.
  针对不同帧采集协议的自监督训练策略，通过生成3/6/9帧的测量数据并训练专门的PG-SIM-3/6/9模型；在BioSR模拟和基于DMD的SIM平台上验证了其鲁棒性，包括在匹配采集设置下的半导体线栅测量和固定细胞成像。

片段

方法

PG-SIM通过将一个可微分的SIM正向模型嵌入到自监督闭环中，并优化由测量域似然项和频率域一致性项组成的双域目标，从而在没有高分辨率标签的情况下学习SIM重建。正向模型通过Zernike参数化的光圈来识别像差，使训练目标能够反映真实的波前误差和剂量限制的采集条件。图1总结了这一闭环过程：

仿真研究

首先在受控的仿真环境中评估PG-SIM，以建立基线并分离噪声和像差的影响，然后再在硬件上进行测试。使用公开可用的BioSR数据集[20]作为虚拟真实值（在所有仿真图中标记为GT），每个高信噪比（SNR）的荧光图像被处理成1024×1024像素的 patches（根据需要通过裁剪和/或填充），并用于在三种采集协议下合成原始SIM测量数据，帧数N∈{3, 6, 9}。

实验

接下来，我们在自制的基于DMD的SIM平台上验证PG-SIM，在实际采集条件下评估其性能。在描述了光学布局和校准程序（第4.1节）后，我们将PG-SIM-6与使用相同照明模式和相机设置的半导体线图案幻影和固定细胞荧光样本上的代表性基线方法进行了比较。请注意，本手稿中报告的FRC/FIRE值仅限于BioSR仿真研究的结果。

讨论：分布外泛化与剩余限制

尽管PG-SIM在应对模式不匹配和复合相位像差方面表现出更好的鲁棒性，但其分布外（OOD）泛化能力仍受到校准后的正向模型有效性和训练增强空间支持的限制。在当前的实现中，稳定性的提升主要来自两个因素：测量一致的自监督优化，以及OTF边界附近频率域行为的显式正则化。

结论

我们提出了PG-SIM，这是一个基于物理模型的自监督框架，它嵌入了一个可微分的SIM正向模型，并优化了一个结合测量域似然和频率域一致性的双域目标。在没有高分辨率标签的情况下，PG-SIM能够在3/6/9帧采集协议下重建高保真度的SIM图像，并在低信噪比（SNR）下保持稳定。在仿真中，使用PG-SIM-6时，傅里叶环相关系数（FRC）分辨率从宽场成像的199.8纳米提升到了128.6纳米。

资助

本研究得到了中国国家自然科学基金（62165009，61865010）和江西省主要学科学术与技术带头人培训计划（20225BCJ22021）的财政支持。

CRediT作者贡献声明

吴俊莉：撰写——审阅与编辑，撰写——原始草稿，可视化，验证，软件，方法论，调查，形式分析，数据管理，概念化。严秋蓉：撰写——审阅与编辑，监督，资源管理，项目协调，资金获取，概念化。尹俊元：撰写——审阅与编辑，验证，形式分析。黄思颖：撰写——审阅与编辑，软件，方法论，形式分析。张浩然：撰写——审阅与

作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：严秋蓉报告获得了中国国家自然科学基金（NSFC）的财务支持； если还有其他作者，他们声明没有已知的财务利益或个人关系。

致谢

J. W. 和 S. H. 构建了神经网络并进行了数据分析。J. W. 和 H. Z. 进行了实验。J. Y.、Z. W.、S. H. 和 X. L. 参与了数据分析。J. W. 撰写了手稿。Q. Y. 监督了实验并与J. W.共同撰写了手稿。所有作者都参与了手稿的编辑。基于DMD的SIM系统是在中国科学院西安光学精密机械研究所姚宝利教授团队的帮助下开发的。