基于 Segment Anything 的显微镜图像分析新突破 ——μSAM 工具的诞生

Segment Anything for Microscopy （μSAM）建立在视觉基础模型上，用于在广泛的成像条件下（包括光学和电子显微镜）进行高质量图像分割。

　　

近期，Georg-August-University G?ttingen 的研究人员在《Nature Methods》期刊上发表了名为 “Segment Anything for Microscopy” 的论文。这一研究成果在显微镜图像分析领域具有重要意义，它将视觉基础模型应用于显微镜图像分析，为解决该领域的图像分析任务提供了新的思路和方法，有望推动生物成像等相关领域的发展。

一、研究背景

在生物学图像分析中，准确识别显微镜图像中的物体，如光学显微镜（LM）中的细胞和细胞核，以及电子显微镜（EM）中的细胞和细胞器，是关键任务之一。然而，显微镜成像方式多样，图像维度包括二维、三维以及时间维度，这使得物体识别任务极具挑战性。目前，深度学习方法在细胞和细胞核分割、细胞器分割以及细胞追踪等方面取得了显著成果，但这些方法存在局限性。例如，模型泛化能力有限，对于与训练数据差异较大的数据，分割质量会下降，且模型改进往往需要重新训练，而重新训练所需的标注数据依赖人工标注，耗时耗力。此外，缺乏一种统一的方法来处理不同模态下的各种分割任务。

与此同时，视觉基础模型在自然图像分析领域取得了显著进展。这些模型基于视觉 Transformer，在大规模数据集上进行训练，可作为灵活的骨干网络用于不同分析任务。其中，Segment Anything Model（SAM）在图像分割方面表现出色，能够在多种图像领域实现令人瞩目的交互式分割性能。然而，此类基础模型在显微镜图像分析中的应用仍较为有限。

二、研究材料和方法

（一）研究材料

研究使用了大量公开可用的数据集，如用于细胞分割的 LIVECell、DeepBacs、TissueNet、NeurIPS CellSeg、PlantSeg（Root）、Nucleus DSB，用于细胞追踪的 Cell Tracking Challenge 中的八个数据集，以及用于 EM 中细胞器和细胞核分割的 MitoLab、MitoEM、PlatyEM 等数据集。此外，还生成了新的数据集用于二维和三维用户研究。

（二）关键技术路线

1. 改进 SAM 模型：研究人员提出了一种迭代训练方案，对 SAM 模型进行微调。该方案重新实现了尚未开源的原始训练方法，并添加了一个新的解码器。新解码器基于 UNETR，能够预测前景、物体中心距离和边界距离，通过后处理获得自动实例分割结果，此方法称为 AIS。

2. 训练通用模型：分别为 LM 和 EM 训练通用模型。对于 LM 通用模型，研究人员整合了多个已发表数据集进行训练；对于 EM 通用模型，利用 MitoLab、MitoEM 和 PlatyEM 等数据集，专注于线粒体和细胞核的分割。

3. 开发 μSAM 工具：将改进后的模型集成到一个名为 μSAM 的工具中，该工具以 napari 插件的形式呈现，提供了二维图像分割、体积分割、时间序列数据追踪、多图像高通量分割以及模型微调等功能。

三、研究结果

（一）微调 SAM 改善细胞分割

研究人员在 LIVECell 数据集上对微调后的 SAM 模型进行了研究。通过模拟用户注释来评估交互式分割，结果表明，微调后的模型在所有设置下分割质量均有明显提升。例如，交互式分割中，专家模型的表现明显优于自动分割结果，且经过多次校正迭代后，默认模型的性能才能达到 CellPose 的水平。此外，研究还发现，微调模型的所有部分可获得最佳结果，且大部分改进可通过使用较小比例的训练集实现。

（二）LM 通用模型在多种条件下性能提升

为训练 LM 通用模型，研究人员构建了一个包含多个数据集的大型多样训练集。实验结果显示，与默认模型相比，专家模型和通用模型的分割性能均有显著提高。通用模型在大多数情况下表现与专家模型相似或更优，自动分割通过 AIS 实现，其性能与 CellPose 相当或更优。将通用模型应用于训练集中未直接包含的数据集时，结果表明该模型对其他显微镜设置的泛化能力有所提高。

（三）EM 中改进的线粒体分割

在 EM 通用模型训练方面，研究人员利用 MitoLab、MitoEM 和 PlatyEM 等数据集训练了用于线粒体和细胞核分割的模型。与默认 SAM 模型相比，在多个测试数据集上，微调后的模型在交互式分割方面表现更优。在自动线粒体分割方面，AIS 与 MitoNet 的性能总体相当，但 AIS 运行时间更短。此外，研究还发现，训练针对特定 EM 分割任务的专家模型是可行的，且能提高性能。

（四）资源受限环境下的推理和微调

研究人员探究了 SAM 在资源受限环境下（如用户笔记本电脑或普通工作站）的推理和微调情况。实验结果表明，在 GPU 上运行时，计算图像嵌入和自动分割的运行时间显著减少；在 CPU 上，交互式分割在预计算嵌入的情况下也是可行的。研究还发现，在资源受限环境下，对少量注释图像进行微调可明显改善模型结果，且从已有的模型开始微调能带来明显优势。

（五）μSAM 实现显微镜数据的快速注释

研究人员开发的 μSAM 工具提供了多种功能，通过用户研究评估了该工具在不同注释任务中的表现。在明场显微镜下的类器官分割任务中，μSAM 工具的默认模型在交互式分割方面表现较好，且经过微调后，注释时间和质量与 CellPose 相当，但在泛化能力上更优。在体积 EM 细胞核分割任务中，μSAM 工具比 ilastik 更快速，尤其是在使用微调模型时。在荧光显微镜细胞核追踪任务中，μSAM 工具的 LM 通用模型在交互式注释中表现更优，尽管目前速度稍慢，但注释质量更高。

四、研究结论与讨论

（一）研究结论

研究人员成功引入了一种针对显微镜数据微调 SAM 的方法，并基于此提供了 LM 和 EM 的通用模型。实验和用户研究表明，μSAM 工具能够加速多种应用中的数据注释和自动分割。同时，μSAM 工具在不同模态和维度的分割任务中表现出了通用性，为显微镜图像分析提供了强大的功能。

（二）讨论

该研究也存在一定的局限性。与基于卷积神经网络的方法相比，视觉 Transformer 的计算成本较高，这使得在处理大型数据集时效率较低，且微调模型所需时间较长，尤其是在 CPU 上。此外，目前 μSAM 工具还无法提供一个适用于多个显微镜领域的单一模型。

尽管存在这些局限性，μSAM 工具仍然为显微镜（交互式）分割提供了最通用的解决方案。未来，研究人员计划进一步训练用于生物医学应用的模型，改进自动追踪功能，探索更高效的微调方法，以及研究如何使模型具有语义感知能力，以实现更通用的显微镜实例分割模型。这一研究成果为未来显微镜图像分析的发展奠定了基础，有望推动该领域的进一步发展。