VMPicker:一种利用Vision Mamba和Segment Anything模型打造的新型冷冻电镜粒子挑选工具

《Micron》:VMPicker: A novel cryo-EM particle picker leveraging Vision Mamba and the Segment Anything Model

【字体: 大 中 小 】 时间:2026年01月15日 来源:Micron 2.7

编辑推荐:

  朱波|刘恩图|龙伟|胡凌希|周尚|叶勒曼希新|江林华|李耀王杭州工业大学,西安电子科技大学,中国杭州311231摘要冷冻电子显微镜技术已成为解析生物大分子三维结构的关键手段,而精确的粒子挑选则是实现高分辨率重建的重要前提。尽管卷积神经网络和基于Transformer的模型取得了最

  朱波|刘恩图|龙伟|胡凌希|周尚|叶勒曼希新|江林华|李耀王杭州工业大学,西安电子科技大学,中国杭州311231摘要冷冻电子显微镜技术已成为解析生物大分子三维结构的关键手段,而精确的粒子挑选则是实现高分辨率重建的重要前提。尽管卷积神经网络和基于Transformer的模型取得了最新进展,但现有的自动化方法在信噪比低以及背景复杂的情况下仍存在诸多难题。卷积神经网络在捕捉长距离依赖关系方面存在局限,而Transformer虽然擅长建模全局上下文,但在保留精细结构细节方面表现不佳,且需要大量的计算资源。在此,我们提出了VMPicker,这是一种整合了Vision Mamba和Segment Anything Model的框架。其核心是CryoVMUNet,该模型在标准U-Net的基础上加入了高阶视觉状态空间模块,并结合了卷积操作和注意力机制。这样的设计使得模型能够同时提取全局依赖关系和细粒度的局部特征,同时减少冗余信息。通过将CryoVMUNet的高精度预测与基于SAM的自动分割相结合,VMPicker能够在复杂的冷冻电镜图像中精准且可靠地识别蛋白质粒子。在10个公开可用的冷冻电镜数据集上的测试表明,VMPicker的表现始终优于现有最先进的方法,在精确度、F1分数和Dice系数方面平均提升了8.1%、11.2%和12.3%,同时保持了良好的召回率。此外,它在多个CryoPPP数据集中产生的重建密度图分辨率最高且最为稳定,显示出其生成高质量3D结构的潜力。另外,VMPicker由于采用了更为紧凑的模型设计,还具有更高的计算效率。据我们所知,这项研究是首次将Vision Mamba应用于冷冻电镜图像分析,体现了其在不同实验条件下提升粒子挑选准确性的潜力。引言冷冻电子显微镜技术作为结构生物学领域的革命性技术,能够在接近生理条件的情况下实现大分子复合物的近原子级分辨率测定。随着直接电子探测器的广泛使用以及图像处理算法的快速发展,冷冻电镜技术突破了传统晶体学的限制,无需高度有序的样本和高质量的晶体即可进行研究。它为研究诸如膜蛋白和动态大分子复合物等难以研究的对象提供了新的途径。在典型的单粒子分析流程中,3D重建的质量在很大程度上取决于从噪声较大的图像中准确提取出众多2D蛋白质粒子投影。这一关键步骤被称为粒子挑选,它直接影响最终结构的分辨率和可靠性。尽管成像系统和算法不断进步,但由于辐射损伤以及玻璃化样本带来的弱相位对比,冷冻电镜图像的信噪比仍然极低。此外,冰污染、碳膜干扰和蛋白质聚集等实验缺陷往往会导致复杂的背景噪声,进一步掩盖真实的粒子信号。研究表明,重建分辨率的倒数与粒子数量的对数呈线性关系,这凸显了准确挑选粒子的重要性,以确保有足够多的高质量粒子用于后续的重建工作。对于那些结构差异较大或粒子形态不规则的样本来说,这一挑战更为突出。现有的粒子挑选方法大致可分为传统方法和基于深度学习的方法。传统方法目前仍在许多冷冻电镜分析流程中被广泛应用,主要包括基于模板和基于斑块检测的技术,这些技术被应用于EMAN2、RELION和CryoSPARC等常用软件中。像RELION中的基于模板的方法,可以通过初始粒子生成参考投影,并通过互相关识别相似区域,对于均匀、对比度高的粒子具有较好的识别效果。而像RELION中的高斯拉普拉斯挑选器和CryoSPARC中的斑块挑选器则通过识别局部强度最大值来定位近似圆形的区域,是一种无需初始模板的快速替代方法。然而,这类方法在面对结构多样或对比度低的样本时性能往往会下降,而且冰污染或碳边缘等高强度的异常信号可能导致误检,因此需要额外的人工筛选或2D分类处理。近年来,基于深度学习的方法在自动粒子挑选方面展现出了巨大潜力。诸如DeepPicker、AutoCryoPicker、Topaz、crYOLO和CASSPER等基于CNN的方法在自动识别粒子方面取得了显著成果。不过,CNN本质上依赖于局部感受野,难以处理长距离依赖关系,因此在复杂背景或粒子密集且形态相似的情况下容易出现误检和漏检。为了解决这一问题,以全局上下文建模能力著称的Transformer架构成为了有力的替代方案。对于冷冻电镜图像而言,这种能力尤为重要,因为其中的粒子往往紧密排列且结构变化细微。像TransPicker和CryoTransformer这类采用视觉Transformer或其实变体的模型,能够捕获更丰富的全球特征,且对背景噪声和碳区域的敏感度较低。然而,它们较高的二次方计算复杂度导致了效率问题,而且其局部特征提取能力仍不如CNN,通常需要更大的标注数据集来进行训练。为了降低标注需求并提高泛化能力,何等人引入了Meta AI开发的Segment Anything Model,并将其应用于冷冻电镜粒子挑选任务中。通过利用提示机制引导模型关注图像中的关键区域,SAM无需重新训练即可提升分割性能。这种方法在降低标注和计算成本方面展现出良好前景。但由于SAM是在自然图像上预训练的,当应用于对比度低且噪声大的冷冻电镜图像时仍会面临挑战。一些混合策略,如CryoSegNet,将注意力门控U-Net与SAM相结合。在这种架构中,U-Net首先对冷冻电镜图像进行初步分割并生成掩码,该掩码作为输入传递给SAM的自动掩码生成器,从而优化分割结果。虽然这种方法在多种数据集上展现了更好的泛化能力,但它仍容易受到高对比度异常信号的干扰,假阳性率相对较高,且难以检测较小的粒子。最近,由于在长距离依赖关系建模、计算效率以及轻量级架构方面的优势,状态空间模型越来越受到关注。Mamba是一种具有时变参数机制的强大状态空间模型变体,它在保持较低参数量的同时提升了建模能力,已在多项任务中超越了传统的Transformer模型。基于状态空间模型的方法已被广泛应用于自然语言理解和其他通用视觉任务领域。例如,UMamba是一种用于医学图像分割的新型状态空间模型-CNN混合模型,而SegMamba则在编码器中融入状态空间模型,并在解码器中保留卷积操作,以实现高效的三维脑肿瘤分割。在计算机视觉领域,Vision Mamba将状态空间模型的优势应用到了图像任务中,它大大降低了高分辨率图像的内存占用,且具备出色的硬件适应性。在此基础上,刘等人提出了VMamba,该模型在骨干网络中整合了一系列视觉状态空间模块,并利用2D选择性扫描实现具有线性复杂度的全球感受野建模,从而大幅提升了准确性和效率。VMamba在各种任务和规模上均表现出优于传统CNN和其他状态空间模型变体的性能。虽然2D选择性扫描能够实现全球特征提取,但它可能会引入与任务无关的冗余信息。为了解决这个问题,吴等人受高阶交互机制的启发,提出了高阶2D选择性扫描。该模型分阶段构建多层全球依赖关系,以增强语义建模并抑制无关特征。此外,它还将2D选择性扫描与卷积操作相结合,从而在保持轻量级和高效设计的同时,提升分割的准确性和稳定性。为了解决现有基于CNN和Transformer的方法在复杂成像条件下的挑选精度不足的问题,我们提出了VMPicker,这是一种专为具有多样粒子形态和复杂结构的冷冻电镜图像设计的新型自动粒子挑选方法。我们的改进型分割模型CryoVMUNet以U-Net为骨干,整合了强化版的高阶视觉状态空间模块、卷积操作、注意力机制以及孔洞空间金字塔池化设计,从而能够同时捕捉全球依赖关系和精细的结构细节。VMPicker结合了CryoVMUNet的结构建模能力和SAM的自动掩码生成功能,实现了目标粒子的精准定位和分割。在多个真实世界的冷冻电镜数据集上进行的实验表明,VMPicker在准确性和计算效率之间取得了良好的平衡。它能够可靠地检测出大小和形状各异的粒子,同时显著减少了冗余和重叠现象。与现有的主流方法相比,VMPicker具有更高的挑选精度,为推进自动粒子挑选技术以及拓展视觉Mamba模型在结构生物学图像分析中的应用带来了巨大潜力。我们的主要贡献如下:(1)设计了一种新的分割网络CryoVMUNet,该网络整合了高阶视觉状态空间建模、孔洞空间金字塔池化以及空间和通道注意力模块,显著提升了冷冻电镜图像在复杂背景条件下的粒子识别准确性和稳定性。(2)提出了一种级联式的粒子挑选流程VMPicker,该流程结合了Topaz通用去噪模型、CryoVMUNet分割功能以及SAM自动掩码生成器,从而实现了更高效、更准确的粒子挑选。(3)本研究首次将先进的基于Vision Mamba的状态空间模型引入冷冻电镜粒子挑选领域。在10个公开可用且种类多样的冷冻电镜数据集上的广泛测试表明,所提出的方法在精确度、F1分数和Dice分数等方面始终优于CryoTransformer和CryoSegNet等现有最先进的方法,有效推动了冷冻电镜技术在高分辨率结构分析领域的应用。VMPicker工作流程概述VMPicker采用四级级联框架,以实现冷冻电镜图像中蛋白质粒子的超高精度识别和定位。如图1a所示,整个工作流程依次分为以下四个步骤:第一步:预处理。首先对原始图像进行运动校正和帧平均处理,然后利用预训练好的Topaz模型来抑制背景噪声并提升整体信噪比。为了进一步改善视觉对比度,数据集为了评估VMPicker的性能,我们在多个数据集上进行了实验,这些数据集的关键特点总结在表1中。我们使用了CryoPPP数据集,这是一个大规模的标注基准数据集,包含了来自EMPIAR的34个具有代表性的蛋白质数据集。该数据集可在以下地址获取:https://github.com/BioinfoMachineLearning/cryoppp。我们衷心感谢CryoPPP的作者们为该领域做出的宝贵贡献。每个CryoPPP讨论与结论在本研究中,我们提出了VMPicker,这是一种用于冷冻电镜图像粒子挑选的创新方法,旨在解决现有基于CNN和Transformer的方法的局限性,尤其是在高噪声和复杂背景条件下,这些方法的准确度较低且假阳性率较高。VMPicker的核心是基于改进版的CryoVMUNet,这是一种高阶的Vision Mamba U-Net模型,它首次探索了状态空间模型在冷冻电镜粒子挑选中的应用潜力。CRediT作者贡献声明朱波:撰写——初稿、验证、方法论。刘恩图:监督、资源提供、形式分析。周尚:项目管理、数据整理。叶勒曼希新:验证。龙伟:撰写——审阅与编辑、资源提供。胡凌希:可视化、研究、形式分析。江林华:撰写——审阅与编辑、监督、资金获取。李耀王:监督、研究。利益冲突声明作者声明没有已知的财务利益或个人关系可能影响本文所述的工作。致谢本研究部分得到了国家自然科学基金(编号62175037)以及其他资助项目的支持。我们还要感谢CryoSegNet、H-vmunet、VMamba及相关工作的作者和开发者们,他们为该领域做出的宝贵贡献为本研究的发展提供了帮助。此外,我们还要感谢各位同事和合作者们的深入讨论,以及相关机构的支持。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号