编辑推荐:
在材料科学和结构生物学中,透射电子显微镜(TEM)至关重要,但电子束成像存在固有缺陷,现有降噪方法也有局限。研究人员开展了 SHINE(Self-supervised High-throughput Image denoising Neural network for Electron microscopy)的研究。结果显示,SHINE 能有效降噪,提升成像质量,推动无损低剂量(S)TEM 发展。
在微观世界的探索中,透射电子显微镜(Transmission Electron Microscopy,TEM)堪称材料科学和结构生物学领域的 “火眼金睛”,它凭借高时空分辨率,能深入原子和分子层面,揭示材料的结构 - 性能关系以及结构动态变化,帮助科学家们看清材料内部原子的排列,确定单个原子的位置,解析蛋白质的动态变化和药物 - 靶点相互作用等。然而,这双 “火眼金睛” 也有其局限。电子束成像时,即使在低剂量应用下,也会对材料造成损害。而且,成像过程中会产生各种噪声,传统的降噪技术,如高斯滤波、维纳滤波等,容易丢失图像细节;基于神经网络的技术虽然有潜力,但大多需要无噪声的参考图像进行训练,在实际操作中,由于低剂量率导致信号减弱和样品漂移,获取这类参考图像困难重重。
为了突破这些困境,来自未知研究机构的研究人员开展了一项重要研究,他们提出了 SHINE(Self-supervised High-throughput Image denoising Neural network for Electron microscopy),即自监督高通量电子显微镜图像降噪神经网络。该研究成果发表在《SCIENCE ADVANCES》上,为电子显微镜技术的发展带来了新的曙光。
研究人员开展这项研究主要运用了以下关键技术方法:
首先,构建了基于高效盲点网络的带有扩张卷积的神经网络模型,其输入为包含当前帧和四个相邻帧的五维特征图。其次,采用盲点自监督降噪框架,通过计算原始图像的相关性来估计噪声统计信息,进而确定合适的盲点大小,以适应不同的噪声模式。在训练过程中,使用 L2 损失函数(均方误差损失,Mean Squared Error,MSE),并对数据进行增强,随机裁剪、旋转和镜像图像。
研究结果如下:
- 盲点视频降噪器提升 TEM 图像质量:设计的神经网络依据探测器接收电子信号生成(S)TEM 图像的原理构建,采用盲点网络实现自监督降噪。通过计算原始图像相关性估计噪声统计信息,确定盲点大小,在训练中使用 L2 损失函数并结合时间信息。
- 基于模拟数据集的降噪框架验证:生成两类液相 TEM(LPTEM)模拟数据集,包括氮化硅和石墨烯液体池 TEM。通过计算 2D 空间相关性估计噪声统计信息,确定盲点大小。结果显示,SHINE 在视觉质量和图像质量指标(峰值信噪比 PSNR 和结构相似性指数 SSIM)上优于其他方法。
- 盲点视频降噪器在原位(S)TEM 中的应用:将 SHINE 应用于多种原位 TEM 观测,如金纳米颗粒在石墨烯液体池中的溶解、MoS2单层催化剂的析氢反应(HER)、碳膜液体池 TEM 中钯纳米颗粒的生长以及时间序列 STEM 观测。在这些应用中,SHINE 均有效去除噪声,增强图像对比度,提升了对纳米颗粒和化学反应过程的分析能力。
- 盲点视频降噪器在低温电子断层扫描(cryo-ET)中的应用:对全细胞低温电子断层扫描(cryo-ET)数据集进行处理,使用 SHINE 降噪后,倾斜系列显微照片和细胞断层重建的质量得到显著提升,能够检测到细胞的详细特征,在低剂量重建方面也展现出良好效果。
研究结论和讨论部分指出,SHINE 克服了实际信号采集中信号扰动的负面影响,通过调整盲点大小匹配图像噪声特征,显著提升了图像质量。在不同的原位 TEM 方法中,包括液体池 TEM、时间序列 STEM 和 cryo-ET,SHINE 仅需极少训练数据就能发挥作用。它提高了高分辨率 TEM 图像中原子列识别和纳米颗粒尺寸测量的准确性,增强了 STEM 成像的质量,使在低剂量下进行更精确的原子级表征成为可能。在全细胞断层扫描中,即使在低剂量率下,SHINE 处理后的图像也能清晰分辨断层图的详细特征,这增强了低剂量测量的可信度,有望提升时间和空间分辨率。总之,SHINE 为高通量电子显微镜技术的发展提供了强大的支持,推动了材料科学和结构生物学等领域的研究进展,具有重要的科学意义和应用价值。