《Optics & Laser Technology》：Label-free super-resolution reconstruction microscopy through illumination diversity
编辑推荐：
无标记超分辨显微镜通常依赖荧光标记，在远场实现纳米尺度成像。包括拉曼散射（Raman scattering）和相干反射（coherent reflection）在内的无标记模态，仅能从衍射极限之外获得有限的分辨率提升。尽管衍射限制了显微镜传递的信息，但可利用先
无标记超分辨显微镜通常依赖荧光标记，在远场实现纳米尺度成像。包括拉曼散射（Raman scattering）和相干反射（coherent reflection）在内的无标记模态，仅能从衍射极限之外获得有限的分辨率提升。尽管衍射限制了显微镜传递的信息，但可利用先验知识和权衡来提高空间分辨率。研究人员表明，在图像扫描显微镜（ISM）中，通过偏心且多样的照明模式所获得的信息会增加。研究人员采用机器学习方法进行数据降维，并证明像素级重建神经网络能够利用这种照明多样性重建超分辨图像，并可选地通过后续步骤进一步优化重建。照明多样性图像扫描显微镜通过相干反射激光（635 和 532 nm）扫描显微镜进行了实验验证，在实空间分辨出 300 nm 和 150 nm Au 纳米颗粒的紧凑岛状聚集体。对于后者，重建图像的傅里叶分析与扫描电子显微镜（SEM）真值在低至 ca. 60 nm 尺度上良好匹配。将同样的像素级方法应用于非相干荧光 ISM（80 nm 深红色纳米颗粒，640 nm 激发）时，重建图像的两点分离为 190 nm，而共焦图像中测得值为 310 nm。该概念具有抗噪性、简单性，并且先验地适用于所有相干和非相干模态，前提是实现有用的多样性。
James Lillis、David O’Brien等围绕无标记超分辨成像开展研究。传统超分辨方法如受激发射损耗（STED，stimulated emission depletion）显微镜和单分子定位显微镜（SMLM，single molecule localisation microscopy）依赖荧光标记的可开关性，而无标记的拉曼散射、相干拉曼散射、中红外吸收、二次谐波产生、和频产生、线性散射、二色性、偏振等成像通常仍受衍射限制，或经线性方法仅获得有限提升，一般至多约两倍于等效宽场显微镜。衍射极限也可被理解为由空间带宽积决定的信息极限，理论上可通过在独立参数上编码/解码额外信息或引入样本与成像系统先验来提高分辨率；稀疏样本可利用压缩感知、反卷积、相干衍射成像及SMLM中的稀疏约束，深度学习也被用于从相干显微散射预测稀疏结构中的深亚波长特征，但噪声和先验准确性限制实际重建。图像扫描显微镜（ISM，image scanning microscopy）将样本视作稀疏，像素重分配可达到理想共焦分辨率，现代方法至多约为等效宽场显微镜的两倍。由此，研究人员提出照明多样性ISM（ID-ISM），利用高斯、甜甜圈及偏心照明获取的衍射限制图像，先以主成分分析（PCA，principal component analysis）或卷积自编码器进行无监督降维，再用像素级监督机器学习估计超分辨图像单像素，并可选 framewise 神经网络和定位算法优化；在相干反射激光扫描显微镜（LSM，laser scanning microscopy）中使用635和532 nm激光验证300 nm与150 nm Au纳米颗粒（Au NPs），在U-87 MG胶质母细胞瘤细胞背景的150 nm Au NPs上检验复杂散射环境，并在80 nm深红色荧光纳米颗粒的荧光ISM中以STED为真值验证非相干适用性；模拟用于说明多照明信息增益。该工作表明ID-ISM可同时适用于相干和非相干ISM，具有抗噪、简单和可迁移的特点，其意义在于无需荧光标记即可利用照明多样性和邻域扫描信息实现超分辨重建。
关键技术方法（≤250字）：定制相干反射ISM采用635/532 nm连续波二极管激光、1.35NA油浸物镜、CCD与压电台采集4D ISM数据；荧光ISM采用7×7单光子雪崩二极管（SPAD，single-photon avalanche diode）阵列、640 nm激发，并以775 nm STED图像为真值。样本包括购自Sigma Aldrich的300 nm和150 nm Au NPs、U-87 MG胶质母细胞瘤细胞及80 nm深红色荧光纳米珠。数据处理采用PCA或卷积自编码器无监督降维，像素级浅层人工神经网络（ANN，artificial neural network）或卷积神经网络（CNN，convolutional neural network）监督重建，辅以framewise生成CNN和反卷积样粒子定位。
研究结果：3.1 Simulations to verify the increase in independent information：一维非相干模拟中，20个非零值样本经中心高斯照明仅3个主成分解释99%方差，扫描高斯ISM为5个，高斯加甜甜圈为10个，说明偏心与多照明至少带来三倍独立可测量信息，并给出ID-ISM流程与相干反射装置。3.2 Pixelwise reconstructions on simulated samples：二维非相干模拟以随机多边形训练，数据集1为中心高斯，数据集2加入44邻域高斯，数据集3再加入甜甜圈；测试UL标识与径向正弦辐条时，网络1至3的均方误差（MSE，mean squared error）降低近一个数量级，网络3最匹配真值，能恢复周期4.0像素的弧线，远低于高斯点扩散函数（PSF，point spread function）22像素半高全宽（FWHM，full width at half maximum）；网络2/3优于内容感知图像恢复（CARE，content-aware image restoration），尽管可学习参数更少。3.3 Experimental ID-ISM demonstration with 300 nm Au NPs：635 nm连续波、1.35NA下采集91个300 nm Au NPs岛，78个训练、13个测试；ID-ISM将12×12传感器图像、25邻点及高斯/甜甜圈共7200值经PCA降至1001值输入浅层ANN，重建显示全部颗粒，而宽场、共焦和积分高斯图像存在不可辨或缺失颗粒；傅里叶变换（FT，Fourier transform）显示150 nm波矢，framewise CNN进一步改善；PCA解释98%方差所需主成分由高斯54、甜甜圈68增至邻域504/606，合并后1001，证明独立信息增加。3.4 Experimental ID-ISM demonstration for 150 nm Au NPs on glass and U-87 MG glioblastoma cells：532 nm下66个150 nm Au NPs岛，62训练、4测试；卷积自编码器将50×50传感器图像压缩为高斯8+甜甜圈8个潜在变量，像素级CNN重建；实空间两点分离中位163 nm、最小147 nm，FT与SEM在约150、75及<60 nm特征匹配，分辨率至少为波长1/3.5，傅里叶一致性低至约1/8波长；仅用共焦高斯+甜甜圈或仅潜在变量无邻域的网络表现很差，证明完整ID-ISM数据必要；在U-87 MG细胞复杂散射样本上ID-ISM明显优于高斯图像，进一步反卷积样算法给出可能颗粒排布，而原始共焦数据不适用。3.5 Experimental incoherent ID-ISM demonstration with 80 nm crimson fluorescent nanoparticles：640 nm激发荧光ISM记录29个SPAD值，2000×2000扫描、20 nm步长，以STED为真值；2幅图像分16个500×500子图，28训练、4测试，像素级CNN重建；ID-ISM单颗粒FWHM为7像素，共焦12像素、STED 6像素，约1.7×优于共焦；最小两点分离190 nm，共焦310 nm，约1.6×改善，且每个输出由4176个值计算提高信噪比（SNR，signal-to-noise ratio）。
讨论总结：ID-ISM通过照明多样性和邻域扫描增加用于恢复单像素的独立信息，混合无监督与监督机器学习可重建未见样本并超越衍射极限，适用于无标记相干反射和荧光ISM。相干反射中150 nm Au NPs波矢低至ca. 60 nm，最小相邻分辨距离147 nm，约3.7×小于波长；荧光中单颗粒FWHM约140 nm，约1.7×优于共焦，最小相邻分辨距离约190 nm，约3.3×小于波长。ID-ISM理论极限难以论证，因光学测量仍受衍射限制，重建依赖测量信息、样本和重建问题；与旋转相干散射（ROCS，Rotating Coherent Scattering）和散射超分辨光学涨落成像（sSOFI，scattering-based super-resolution optical fluctuation imaging）相比，ID-ISM可同时用于相干和非相干过程。像素级网络可在较少图像上训练并适用于任意尺寸扫描，网络结构尚未优化；未来可采用更快互补金属氧化物半导体（CMOS，complementary metal-oxide-semiconductor）传感器、纳入生物样本真值及三维邻域图，并可扩展到偏振、光谱等对比机制。
结论翻译：研究人员讨论了ISM中用于恢复单像素的独立信息量可因照明模式和偏心照明而增加，并证明混合无监督与监督机器学习可利用该信息重建未见样本、显著超越衍射极限；鉴于其利用ISM框架，ID-ISM预期可普遍适用于无标记和荧光显微。无荧光时超分辨方法更难发展；在相干反射ISM原理验证中，532 nm激光处理150 nm Au NPs岛可恢复低至ca. 60 nm的波矢，相邻可分辨颗粒最小距离147 nm，约为波长1/3.7；在80 nm深红色荧光纳米颗粒、640 nm激发的非相干荧光ISM中，ID-ISM重建单颗粒FWHM约140 nm，约1.7×优于共焦，相邻可分辨颗粒最小距离约190 nm，约为波长1/3.3。ID-ISM的理论极限难以论证，光学测量仍衍射限制，重建利用不同照明条件和邻域扫描位置的附加信息，亚衍射特征恢复程度取决于测量信息、样本和重建问题。该方法与ROCS等相干超分辨方法相比具有竞争力，且不同于依赖散射涨落的sSOFI，可适用于荧光等非相干成像。ID-ISM适用于相干和非相干ISM；像素级网络可在相对少图像上训练并 intrinsic 适用于任意尺寸扫描，网络映射显微镜和成像过程特性，快速训练简化实践；SEM衍生目标使网络从相干测量学习样本结构表示，包括颗粒间干涉，而无需非相干PSF模型。网络结构未优化，仍有改进空间；相干成像演示可通过更快CMOS传感器缩短采集时间，使具动态的生物样本成为可能；鉴于生物样本散射复杂，最好纳入此类样本真值进行训练以重建细胞特征；通过不同焦高记录数据并以覆盖三个扫描轴的邻域图输入像素级网络，可设想三维物体成像。ID-ISM是无标记方法，在训练前对产生光学图像的光物理性质不敏感，而依赖从不同照明条件和邻域扫描位置收集足够且相关信息；相干反射和荧光成像演示表明整体网络架构可迁移，除本文工作外，研究人员预计还可通过偏振、光谱响应等其它对比机制实现多样化。
