编辑推荐:
为解决现有单图像超分辨率(SISR)方法应用于长期成像时无法捕捉相邻帧间时间依赖关系及难以量化推理不确定性的问题,研究人员开展了基于神经网络的活细胞长期超分辨率成像研究,开发出 DPA-TISR 及贝叶斯 DPA-TISR 模型,实现高保真成像及可靠置信度量化,推动超分辨率显微镜在活细胞成像中的应用。
在生命科学的微观研究领域,细胞内部的奥秘一直吸引着众多科研人员不断探索。超分辨率(SR)显微镜的出现,让科学家们能够突破传统光学显微镜的分辨率限制,更清晰地观察细胞内的细微结构和动态过程。然而,这一技术也存在着诸多挑战。比如,在提高空间分辨率的同时,往往需要在速度和成像时长等方面做出牺牲。而且,现有的单图像超分辨率(SISR)神经网络在应用于时间推移数据时,暴露出两大严重缺陷:一方面,它无法有效捕捉相邻帧之间的时间依赖关系,这使得超分辨率重建的保真度大打折扣,图像在时间序列上的一致性也很差;另一方面,该模型仅能生成生物结构的单色强度图像,却不能对输出结果的置信度进行定量且可靠的评估,这让研究人员难以判断结果的可信度,严重阻碍了超分辨率神经网络在常规生物学成像实验中的广泛应用。
为了攻克这些难题,来自清华大学等国内研究机构的研究人员展开了深入研究。他们的研究成果发表在《Nature Biotechnology》上,为活细胞超分辨率成像领域带来了新的曙光。
研究人员为开展此项研究,运用了多种关键技术方法。首先,他们搭建了多模态结构光照明显微镜(Multi - SIM)系统,采集了大规模高质量的生物时间推移图像超分辨率(TISR)数据集 BioTISR,用于评估现有 TISR 神经网络模型。其次,通过自定义设计的通用 TISR 框架,对 TISR 网络架构中的时间信息传播和相邻特征对齐这两个关键组件进行了系统评估。此外,他们还引入了贝叶斯深度学习和蒙特卡罗随机失活(Monte Carlo dropout)方法,以实现对模型不确定性的量化和置信度评估。
下面来详细看看研究结果:
- TISR 神经网络基本组件评估:研究人员利用自制的 Multi - SIM 系统的多种成像模式,获取了包含五种不同生物结构的大量 TISR 数据集。通过对不同传播和对齐机制组合的模型进行评估发现,基于循环网络的传播(RNP)在时间一致性和图像保真度方面优于基于滑动窗口的传播(SWP),且可训练参数更少;基于可变形卷积(DC)的对齐在处理各类数据集时,总体表现优于其他两种对齐机制。
- DPA 机制:在综合评估现有方法的基础上,研究人员设计了 DPA 机制。该机制基于傅里叶变换的频移特性,能够在相空间中以亚像素精度自适应学习生物结构的大小运动。与传统的空间可变形对齐(DA)机制相比,DPA 在计算复杂度相似的情况下,能提供更高的超分辨率重建保真度。将 DPA 与最优 TISR 基线模型相结合,提出的 DPA - TISR 神经网络在重建精细细节方面表现出色,在处理噪声和背景荧光严重的区域时,比其他先进的 TISR 模型更具优势。
- DPA - TISR 实现快速、长期的超分辨率活细胞成像:研究人员训练了针对不同生物结构的 DPA - TISR 模型,应用于活细胞成像。在较低激发激光功率下,DPA - TISR 成功解析了 F - 肌动蛋白丝和网格蛋白包被小窝(CCPs)的结构,且观察窗口延长至 4800 个时间点,在输出图像质量和时间一致性方面显著优于 SISR 模型。对于线粒体等复杂细胞器的成像,DPA - TISR 也能生成高保真、时间一致的超分辨率结果,清晰呈现细胞器的动态变化。
- 贝叶斯 DPA - TISR 实现可靠的置信度量化:研究人员将贝叶斯深度学习和蒙特卡罗随机失活方法融入 DPA - TISR,构建了贝叶斯 DPA - TISR 模型。该模型能够同时重建超分辨率图像并估计每个像素的不确定性,生成置信度图。然而,模型存在过自信问题,为此研究人员设计了迭代微调框架,有效降低了预期校准误差(ECE),使校准后的置信度图能够可靠地指示输出结果的准确性。
- 贝叶斯 DPA - TISR 实现可量化置信度的超分辨率活细胞成像:研究人员利用贝叶斯 DPA - TISR 对线粒体与其他细胞器的相互作用进行了研究。通过长时间、高时空分辨率的成像,记录了线粒体与溶酶体、过氧化物酶体(PO)的相互作用,发现了新的生物学现象,如 PO 介导的线粒体裂变,为深入理解细胞器间的相互作用机制提供了重要依据。
在研究结论和讨论部分,研究人员开发的 BioTISR 数据集为计算超分辨率方法的发展提供了重要支持。DPA - TISR 和贝叶斯 DPA - TISR 模型的出现,极大地提升了活细胞超分辨率成像的能力,实现了长时间、高保真的成像以及可靠的置信度量化。这不仅有助于研究人员更深入地探究细胞内的微观世界,还为生命科学领域的相关研究提供了强有力的工具,推动了超分辨率显微镜在活细胞成像中的广泛应用。同时,研究人员也指出了该技术未来的发展方向,如通过添加正则化项提高输出图像的空间分辨率,以及开发自监督或无监督学习方案以减少对训练数据集的依赖等。相信在未来,这些改进将进一步拓展该技术的应用范围,为生命科学研究带来更多突破。